Resumo Técnico: ProtSent (Transformadores de Sentenças de Proteínas)

Declaração do Problema

Modelos de Linguagem de Proteínas (pLMs), como o ESM-2, geram representações por resíduo que capturam efetivamente informações evolutivas e estruturais. No entanto, seus embeddings de sequência padrão obtidos por média não são explicitamente treinados para refletir similaridade funcional, evolutiva ou estrutural entre proteínas inteiras. Consequentemente, a geometria do espaço de embeddings não garante que proteínas biologicamente relacionadas estejam espacialmente próximas. Essa limitação dificulta o uso de buscas simples por vizinho mais próximo para tarefas downstream, que tipicamente exigem o treinamento de classificadores específicos para a tarefa (sondas) sobre os embeddings congelados. Os autores traçam uma analogia com o Processamento de Linguagem Natural (PLN), onde modelos no estilo BERT enfrentaram limitações semelhantes até a introdução do Sentence-BERT, que utilizou aprendizado contrastivo para reestruturar o espaço de embeddings de modo que sentenças semanticamente semelhantes se tornem vizinhas.

Metodologia

Os autores propõem o ProtSent (Transformadores de Sentenças de Proteínas), um framework de ajuste fino contrastivo projetado para adaptar backbones de pLMs em modelos de embeddings de propósito geral.

Arquitetura e Treinamento

• Backbone: O framework utiliza o ESM-2 (ambas as variantes de 35M e 150M parâmetros) encapsulado no framework SentenceTransformers. Todas as camadas do Transformer são ajustadas finamente de ponta a ponta.
• Geração de Embeddings: Embeddings em nível de sequência são obtidos por meio de média sobre tokens de resíduos não preenchidos (non-padding).
• Função de Perda: O objetivo principal é a MultipleNegativesRankingLoss (MNRL), que otimiza a similaridade cosseno entre pares positivos, tratando outros positivos no lote como negativos. Para dados de Varredura de Mutação Profunda (DMS), que fornecem escores de aptidão contínuos em vez de pares discretos, os autores empregam a CoSENTLoss, um objetivo baseado em ranking que preserva a ordenação dos escores contínuos.
• Fontes de Dados: O ProtSent é treinado em cinco conjuntos de dados heterogêneos de pares de proteínas, amostrados em modo round-robin para garantir representação igual de diferentes sinais biológicos:
  1. Famílias Pfam: 32,9 milhões de domínios representando homologia evolutiva e funcional.
  2. Negativos Difíceis do Pfam: 1,8 milhão de âncoras com negativos "difíceis" derivados estruturalmente (mutantes com alta similaridade de sequência, mas efeitos deletérios) para forçar discriminação fina.
  3. Pares Estruturais do AlphaFold DB (AFDB): 133,9 milhões de sequências agrupadas por clusters estruturais do Foldseek, fornecendo supervisão estrutural em grande escala.
  4. STRING-DB: 36,5 milhões de pares de interação proteína-proteína (confiança média) capturando associações funcionais.
  5. Varredura de Mutação Profunda (DMS): 2,2 milhões de pares do ProteinGym e dados clínicos, utilizados como sinal de regressão auxiliar via CoSENTLoss.
• Protocolo de Avaliação: Os autores avaliam o desempenho usando um protocolo de embeddings congelados. O modelo ajustado finamente codifica sequências, e uma simples sonda de k-vizinhos mais próximos (KNN) (k=3, distância euclidiana) é treinada sobre os embeddings resultantes. Essa abordagem mede a qualidade intrínseca da geometria do espaço de embeddings em vez da capacidade de um classificador aprendido.

Contribuições Principais

1. Introdução do Framework: A apresentação do ProtSent, um framework de ajuste fino contrastivo que combina cinco conjuntos de dados distintos de pares de proteínas com amostragem round-robin para criar embeddings de propósito geral.
2. Ganhos de Desempenho: Demonstração de que o ajuste fino contrastivo produz melhorias substanciais em tarefas dependentes da qualidade do bairro de embeddings, especificamente detecção de homologia remota e recuperação estrutural, sem supervisão específica para a tarefa.
3. Escalabilidade: Validação de que as melhorias são consistentes em duas escalas de modelo (35M e 150M parâmetros) e abrangem diversas tarefas biológicas (função, estrutura, engenharia e mutação).
4. Análise de Ablação: Isolamento sistemático da contribuição de cada fonte de dados de treinamento e estratégia de amostragem, revelando que as famílias Pfam fornecem o sinal dominante, enquanto os negativos difíceis podem introduzir gradientes excessivamente agressivos para algumas tarefas.
5. Lançamento de Recursos: Disponibilização pública dos modelos, código, dados de treinamento e receitas de treinamento.

Resultados

Os autores avaliaram o ProtSent em 23 tarefas downstream (classificação binária, classificação multiclasse e regressão) e em um benchmark de recuperação estrutural (SCOPe-40).

• Desempenho da Sonda KNN:
  • ESM-2 150M: Melhorou 15 de 23 tarefas. Ganhos notáveis incluem +105% na detecção de homologia remota, +17% na previsão de efeito de variantes (GB1) e +19,9% de Recall@1 na recuperação estrutural SCOPe-40.
  • ESM-2 35M: Melhorou 16 de 23 tarefas. Ganhos notáveis incluem +40,5% na homologia remota e +15,5% de Recall@1 na SCOPe-40.
  • Especificidades das Tarefas: Tarefas de classificação binária (ex.: previsão de PPI, solubilidade) mostraram melhorias amplas. Tarefas de regressão mostraram resultados mistos; embora a fluorescência e a aptidão da beta-lactamase tenham melhorado, algumas tarefas de estabilidade degradaram, sugerindo que o objetivo contrastivo nem sempre preserva relações ordinais dentro do bairro mutacional de uma única proteína.
• Recuperação Estrutural (SCOPe-40): O ProtSent alcançou melhorias consistentes de dois dígitos no Recall@K em todos os limiares, indicando que o espaço de embeddings se reorganiza com sucesso para colocar proteínas estruturalmente semelhantes mais próximas umas das outras.
• Aprendizado Few-Shot: Em regimes de poucos dados (N=50 a N=1000), o ProtSent mostrou melhorias relativas significativas sobre a linha de base, particularmente em tarefas que exigem agrupamento estrutural ou funcional (ex.: +244,5% na homologia remota em N=100).
• Insights da Ablação:
  • A remoção das famílias Pfam causou a maior queda de desempenho, confirmando a homologia evolutiva como o sinal primário.
  • A remoção dos Negativos Difíceis surpreendentemente melhorou o delta médio entre as tarefas, sugerindo que apenas os negativos no lote podem ser suficientes e que os negativos difíceis podem perturbar o espaço de embeddings para certas tarefas.
  • A remoção de pares do AlphaFold DB reduziu significativamente o desempenho em tarefas de classificação estrutural e enzimática, destacando o valor da supervisão estrutural.
  • A amostragem round-robin provou ser robusta, com amostragem proporcional produzindo resultados comparáveis.

Significado e Afirmações

O artigo afirma que o ProtSent reestrutura com sucesso o espaço de embeddings de proteínas para capturar melhor a função e a estrutura das proteínas por meio de ajuste fino contrastivo, sem exigir supervisão específica para a tarefa. Os autores posicionam o ProtSent como um "modelo fundamental para uso universal", argumentando que, se o treinamento contrastivo reestruturar com sucesso a estrutura do bairro, uma simples sonda de identidade de vizinho deve ser o detector mais sensível de melhoria.

O trabalho distingue-se de esforços anteriores (ex.: ProtTucker, PLMSearch) por sua escala (treinamento em mais de 70 milhões de pares de proteínas de cinco fontes) e amplitude (avaliação em 23 tarefas diversas em vez de um único eixo de similaridade). Os autores reconhecem limitações, observando que os dados de treinamento estão restritos aos tipos de relação capturados pelas cinco fontes e que não há comparação direta contra sistemas de recuperação especializados em benchmarks correspondentes. Eles concluem que o ajuste fino contrastivo é uma estratégia amplamente aplicável para adaptar pLMs pré-treinados para recuperação, agrupamento e transferência few-shot.