EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

Resumo Técnico: EvoStruct

Problema: Colapso de Vocabulário no Projeto de CDRs Baseado em GNN
Os métodos mais avançados atuais para o projeto de Regiões Determinantes de Complementaridade (CDRs) de anticorpos dependem fortemente de Redes Neurais em Grafos Equivariantes (GNNs). Embora esses métodos alcancem altas taxas de recuperação de sequência, eles sofrem de um modo de falha crítico denominado "colapso de vocabulário". Nesse fenômeno, modelos treinados em dados estruturais limitados (aproximadamente 3.000 complexos anticorpo-antígeno) falham em aprender a distribuição completa de aminoácidos. Em vez disso, eles superestimam um subconjunto estreito de resíduos — especificamente tirosina e glicina — enquanto ignoram resíduos funcionalmente críticos, mas raros, como triptofano, cisteína e metionina.

Esse colapso ocorre porque os codificadores GNN tentam aprender padrões de substituição de aminoácidos de novo a partir de conjuntos de treinamento estruturais esparsos, descartando os ricos padrões de substituição evolutiva codificados em bancos de dados contendo centenas de milhões de sequências proteicas. Consequentemente, esses modelos exibem:

1. Redução da Diversidade: O vocabulário efetivo ($V_{eff}$) cai de um nativo ~15,5 para 3,0–5,5.
2. Aprendizado Deficiente de Pares de Ligação: Os modelos falham em capturar as correlações específicas entre pares de aminoácidos do parátopo (anticorpo) e do epítopo (antígeno).
3. Fraqueza em Posições de Contato: A recuperação de sequência é significativamente menor em posições de contato com o antígeno em comparação com posições não de contato, indicando uma falha em aprender a física de ligação específica ao antígeno.

Metodologia: Ponte entre Priors Evolutivos e Estruturais
Para resolver esses problemas, os autores propõem o EvoStruct, um framework que conecta um Modelo de Linguagem Proteica (PLM) congelado ao contexto estrutural 3D por meio de um adaptador de atenção cruzada. A arquitetura opera em dois caminhos paralelos:

1. Caminho Evolutivo (Backbone PLM): O modelo utiliza um ESM-2 congelado (650M parâmetros) para gerar embeddings para a cadeia pesada do anticorpo. Ao mascarar as posições de CDR durante a inferência, o ESM-2 fornece priores evolutivos de alta qualidade e um vocabulário de aminoácidos calibrado derivado de seu treinamento em mais de 250 milhões de sequências.
2. Caminho Estrutural (Codificador GNN): Um GNN equivariante E(3) consciente de relações codifica o grafo completo do complexo 3D anticorpo-antígeno. Ele captura a geometria espacial, interações de resíduos e proximidade do epítopo. Para gerenciar a memória, o GNN recorta o contexto do antígeno para os $K_{ag}$ resíduos mais próximos da CDR.
3. Mini Adaptador Estrutural: Esta é a inovação central. Ele realiza atenção cruzada onde:
   • Consultas ($Q$): Derivadas dos embeddings de CDR do ESM-2 (prior evolutivo).
   • Chaves ($K$) e Valores ($V$): Derivadas do contexto estrutural codificado pelo GNN (CDR + resíduos do antígeno recortados).
   • O adaptador projeta esses elementos em um espaço compartilhado, permitindo que a representação evolutiva consulte "em que ambiente estrutural estou?" e receba a resposta estrutural do GNN. A saída é projetada de volta para o espaço de embedding do ESM-2.
4. Cabeça de Sequência: As previsões finais são feitas por uma cabeça de sequência operando inteiramente dentro do espaço de embedding do PLM, preservando a calibração de vocabulário do ESM-2.

Estratégia de Treinamento
O EvoStruct emprega um regime de treinamento específico para evitar o esquecimento catastrófico de priores evolutivos enquanto se adapta a tarefas estruturais:

• Descongelamento Progressivo: Seguindo Howard & Ruder (2018), o backbone ESM-2 é inicialmente congelado enquanto o adaptador e o GNN são treinados. Fases subsequentes descongelam progressivamente as camadas superiores do transformador e, finalmente, ajustam finamente todos os parâmetros.
• Regularização de Consistência R-Drop: Para garantir robustez contra variações de dropout, o modelo realiza duas passagens forward com máscaras de dropout diferentes e penaliza a inconsistência entre as perdas de sequência resultantes.
• Perda Multi-Tarefa: O objetivo combina entropia cruzada de sequência, perda de coordenadas (Huber), perda contrastiva de pareamento (InfoNCE), perda de acoplamento e perda de parátopo sombra (supervisão de distância pairwise).

Principais Contribuições

1. Diagnóstico Quantitativo: O artigo fornece uma análise sistemática do colapso de vocabulário no projeto de CDRs usando vocabulário efetivo ($V_{eff}$) e métricas de correlação de pares de ligação, revelando que os métodos GNN recuperam apenas 20–35% da diversidade nativa de aminoácidos.
2. Adaptação Novel: Adapta o paradigma de ponte PLM-estrutura especificamente para o projeto de CDRs, introduzindo descongelamento progressivo e regularização R-Drop para abordar o tradeoff único entre diversidade e precisão neste domínio.
3. Validação Empírica: O estudo demonstra que a calibração de vocabulário de PLMs pode ser transferida com sucesso para o projeto de CDRs, quebrando o tradeoff tradicional onde alta precisão geralmente vem à custa de baixa diversidade.

Resultados
Avaliado no benchmark CHIMERA-BENCH contra 11 baselines (incluindo GNNs, modelos de difusão e métodos autoregressivos), o EvoStruct alcançou:

• Maior Recuperação de Sequência: 0,43 de Recuperação de Aminoácido (AAR), uma melhoria relativa de 16% sobre as melhores baselines GNN (0,37).
• Menor Perplexidade: 1,88 (uma redução de 43% em comparação com o RAAD), indicando previsões mais confiantes e calibradas.
• Diversidade Restaurada: Alcançou um vocabulário efetivo ($V_{eff}$) de 12,4, recuperando 80% da diversidade nativa, comparado a 4,7–5,3 para baselines GNN. Gerou 2,3× maior diversidade de aminoácidos.
• Correlação de Ligação Melhorada: Alcançou a maior correlação de pares parátopo-epítopo ($r=0,73$) e correlação de enriquecimento de interface ($r=0,81$), sugerindo o roteamento bem-sucedido de informações antigênicas para a cabeça de sequência.
• Qualidade Estrutural: Produziu backbones de CDR com RMSD de 1,84 Å, comparável aos melhores métodos GNN.

Significado e Limitações
O artigo afirma que o EvoStruct resolve a falha sistemática dos GNNs em aproveitar priores evolutivos, provando que conectar PLMs congelados com codificadores estruturais é uma estratégia eficaz para o projeto de anticorpos. Estabelece que a calibração de vocabulário de modelos como o ESM-2 é transferível para o projeto de CDRs, permitindo que os modelos alcancem simultaneamente alta precisão e alta diversidade.

No entanto, os autores são modestos quanto às métricas de ligação. Embora o EvoStruct lidera na qualidade da sequência, não alcança as métricas mais altas de interface de ligação (por exemplo, $fnat$ e DockQ); notavelmente, o RefineGNN (que não condiciona no antígeno) alcançou pontuações de ligação ligeiramente mais altas. Os autores atribuem isso ao adaptador de atenção cruzada não explorar totalmente as informações estruturais do antígeno para a previsão de interface e observam que a recuperação de posições de contato permanece um desafio para todos os métodos. Eles sugerem que trabalhos futuros devem explorar arquiteturas de adaptador mais ricas e objetivos alternativos para melhorar ainda mais as previsões de ligação específicas ao antígeno.