ProtFinder: An efficient machine learning framework for protein model selection on real data

Resumo Técnico do ProtFinder: Um Framework de Aprendizado de Máquina Eficiente para Seleção de Modelos de Proteínas em Dados Reais

Definição do Problema
A inferência filogenética depende fundamentalmente da seleção do melhor modelo de evolução de sequências para um determinado alinhamento de múltiplas sequências (MSA). Métodos tradicionais, como o ModelFinder, utilizam critérios de informação estatística (ex: BIC, AIC) para avaliar modelos candidatos. Embora precisos, essas abordagens baseadas em verossimilhança são computacionalmente dispendiosas, exigindo otimizações repetidas de máxima verossimilhança que se tornam proibitivas para grandes conjuntos de dados. Além disso, a aplicabilidade dos critérios de informação na filogenética tem sido questionada devido a potenciais violações de pressupostos subjacentes.

Abordagens de aprendizado de máquina (ML) existentes, como o ModelDetector, oferecem velocidade, mas sofrem de limitações significativas: são treinadas exclusivamente em dados simulados, o que leva a um desempenho insatisfatório em conjuntos de dados biológicos reais, e carecem de suporte para componentes críticos de modelos, como a heterogeneidade de taxas entre sítios (RHAS) e a determinação da frequência de aminoácidos.

Metodologia
Os autores introduzem o ProtFinder, um framework de ML eficiente projetado para prever três componentes distintos de modelos de evolução de proteínas:

1. QFinder: Seleciona a melhor matriz de substituição de aminoácidos (matriz de taxa de troca).
2. FFinder: Determina o modelo de frequência de aminoácidos (frequências empíricas fixas ao modelo [-F] ou calculadas a partir do MSA de entrada [+F]).
3. RHASFinder: Identifica o modelo de heterogeneidade de taxas entre sítios (Nenhum, +I, +G, ou +I+G).

Estratégia de Dados e Transfer Learning:
Para reduzir a lacuna entre simulação e realidade, o ProtFinder emprega uma estratégia de transferência de aprendizado em três estágios:

1. Treinamento Inicial: Pré-treinamento em um conjunto de dados simulados de larga escala (268.800 MSAs) gerados usando o AliSim. Os parâmetros de simulação foram derivados das funções de distribuição cumulativa empírica de dados reais (banco de dados EvoNAPS) para garantir o realismo.
2. Treinamento Conjunto: Treinamento em uma combinação de dados simulados (13.440 MSAs) e dados reais (15.330 MSAs do EvoNAPS).
3. Ajuste Fino (Fine-tuning): Treinamento final exclusivamente no conjunto de dados reais EvoNAPS para melhorar a generalização.

Extração de Características e Arquitetura de Rede:

• QFinder: Utiliza uma Rede Neural Convolucional (CNN) com blocos de Excitação e Compressão (SE). Ela processa uma matriz de 440 características derivada de 625 pares de sequências amostrados aleatoriamente por alinhamento, capturando frequências de substituição, contagens de invariabilidade e frequências de aminoácidos.
• FFinder: Utiliza XGBoost com hiperparâmetros otimizados via busca em grade (grid search). As características incluem frequências observadas de aminoácidos, divergências de Kullback–Leibler e Jensen–Shannon, além de estatísticas de alinhamento.
• RHASFinder: Emprega uma arquitetura Transformer. Ela processa características específicas de sítio (frequências relativas, entropia de Shannon, contagens de diversidade e indicadores de invariabilidade) juntamente com estatísticas globais de alinhamento (ex: proporção de sítios invariáveis, variância da entropia).

Detalhes de Treinamento:
O framework aborda o desequilíbrio de classes nos dados reais ponderando a função de perda pelo recíproco das contagens de amostras de classe. O treinamento utiliza o otimizador AdamW, regularização L2 e parada antecipada (early stopping).

Resultados Principais

• Precisão em Dados Simulados:
  • Modelos de Substituição: O QFinder alcançou 87,06% de precisão média, superando o ModelDetector (48,50%) e aproximando-se da precisão do ModelFinder (91,75%). A precisão melhorou significativamente com o comprimento do alinhamento e a contagem de táxons.
  • Modelos de Frequência: O FFinder superou significativamente o ModelFinder (96,93% vs. 87,73%), particularmente em alinhamentos curtos onde o ModelFinder apresenta dificuldades.
  • Modelos de RHAS: O RHASFinder superou ligeiramente o ModelFinder (76,75% vs. 74,63%), sendo a vantagem mais pronunciada em conjuntos de dados menores (menos táxons ou sequências mais curtas).
• Precisão em Dados Reais (Conjunto de Dados HSSP):
  • O ProtFinder demonstrou alta concordância com o ModelFinder em um conjunto de dados reais independente (HSSP). O QFinder alcançou 67% de concordância top-1 e 90,96% de concordância top-2.
  • O FFinder e o RHASFinder alcançaram concordâncias top-1 de 74,54% e 73,67%, respectivamente, com concordâncias top-2 superiores a 99%.
  • Em contraste, o ModelDetector teve um desempenho insatisfatório em dados reais (48,76% de concordância top-1), confirmando a necessidade de treinar com dados reais.
• Eficiência Computacional:
  • O ProtFinder é até 1.400 vezes mais rápido que o ModelFinder.
  • Enquanto o tempo de execução do ModelFinder escala rapidamente com o número de táxons e o comprimento do alinhamento, o tempo de execução do ProtFinder permanece quase constante. Para um alinhamento com 256 táxons e 1.000 sítios, o ModelFinder levou ~10 minutos, enquanto o ProtFinder levou 1,5 segundos.

Significância e Alegações
O artigo afirma que o ProtFinder representa um avanço significativo ao adaptar com sucesso o aprendizado de máquina para a seleção de modelos filogenéticos em dados biológicos reais, superando a principal limitação de métodos anteriores de ML. Suas principais contribuições são:

1. Escopo Abrangente: É o primeiro framework de ML a prever simultaneamente modelos de substituição, modelos de frequência e modelos de RHAS.
2. Aplicabilidade no Mundo Real: Através de transferência de aprendizado, alcança uma precisão comparável aos métodos de máxima verossimilhança (ModelFinder) em conjuntos de dados médios a grandes, enquanto é ordens de magnitude mais rápido.
3. Utilidade Prática: Os autores propõem uma estratégia de dois estágios onde o ProtFinder atua como um módulo de pré-triagem rápido para identificar um pequeno conjunto de modelos candidatos de alta probabilidade, que são então rigorosamente avaliados pelo ModelFinder. Esta abordagem visa manter a precisão dos métodos baseados em verossimilhança, reduzindo drasticamente os custos computacionais.

Os autores observam que, embora o ProtFinder se destaque em velocidade e precisão geral, distinguir entre modelos de substituição altamente correlacionados (ex: Q.pfam vs. LG) continua sendo um desafio tanto para ML quanto para métodos de verossimilhança devido aos padrões de substituição de aminoácidos semelhantes. Eles planejam integrar o ProtFinder ao software IQ-TREE para facilitar este fluxo de trabalho acelerado.