Resumo Técnico: ABOPD – Design de CDR de Anticorpos via Destilação On-Policy

1. Definição do Problema

O design computacional de Regiões Determinantes de Complementaridade (CDRs) de anticorpos é um desafio crítico na engenharia de proteínas, uma vez que esses loops flexíveis determinam o reconhecimento de antígenos. Embora modelos generativos recentes baseados em difusão tenham avançado o campo, existe um desajuste fundamental entre o objetivo de treinamento e o processo de inferência:

• Distribuição de Treinamento: O treinamento de denoising padrão supervisiona os modelos em "estados derivados de referência", que são estruturas ruidosas geradas pela perturbação de CDRs nativos (ground truth).
• Distribuição de Inferência: Durante a geração, o modelo produz estados recursivamente com base em suas próprias previsões anteriores.
• O Desajuste: À medida que a trajetória de geração avança, os erros de previsão se acumulam, fazendo com que o modelo visite estados que se desviam significativamente da distribuição derivada de referência usada durante o treinamento. Isso é particularmente prejudicial para CDRs flexíveis como o CDR-H3, onde pequenos desvios no backbone podem se propagar, levando a choques estéricos e geometrias incorretas voltadas ao antígeno.

Estratégias de pós-treinamento existentes, como o Ajuste Fino Supervisionado (SFT) ou a destilação offline, continuam a operar na distribuição derivada de referência, falhando em corrigir erros que surgem especificamente ao longo da própria trajetória de geração do modelo.

2. Metodologia: Estrutura ABOPD

Os autores propõem o ABOPD (estrutura de design de anticorpos construída sobre On-Policy Distillation), uma estratégia de pós-treinamento projetada para alinhar a supervisão estrutural com os estados realmente encontrados durante a geração recursiva. A estrutura consiste em três etapas principais:

A. Pré-treinamento Híbrido (H-DiffAb)

Para estabelecer uma inicialização robusta, os autores pré-treinam um único modelo, o H-DiffAb, através de diversos cenários de masking: CDR único, múltiplos CDRs e máscaras de alvo de todos os seis CDRs. Este modelo serve como a inicialização tanto para o estudante quanto para o professor, garantindo comparações justas.

B. Adaptação do Professor Consciente do Backbone

Um modelo "Professor" é derivado do H-DiffAb ao incorporar informação privilegiada disponível apenas durante o treinamento: a geometria nativa dos resíduos alvo.

• Arquitetura: O professor utiliza adaptadores MLP residuais leves para codificar coordenadas $C_\alpha$ nativas, máscaras de validade de átomos (N, $C_\alpha$, C, O, $C_\beta$) e características de distância alvo-complexo.
• Função: Esses descritores privilegiados condicionam a previsão de denoising sem alterar a representação do estado de difusão. O professor é otimizado em estados derivados de referência para minimizar erros de coordenadas e orientação, resultando em um modelo com capacidades de previsão geométrica superiores em comparação ao H-DiffAb base.

C. Destilação On-Policy (A Inovação Central)

O modelo "Estudante" é pós-treinado usando uma abordagem de objetivo misto:

1. Rollout do Estudante: O estudante gera trajetórias de denoising reverso (rollouts) começando de estados totalmente ruidosos.
2. Correspondência de Estado: Em passos de tempo específicos ($t \in \{80, 70, \dots, 5\}$), o Professor congelado avalia o mesmo estado gerado pelo estudante ($R^S_t$) que o estudante está processando no momento.
3. Destilação de Transição de Coordenadas: O estudante é treinado para corresponder ao ruído de coordenada previsto pelo Professor ($\hat{\epsilon}^{pos}$) nesses estados de rollout. Isso é formulado como uma minimização de divergência reverse-KL, simplificada para uma perda $L_2$ nas previsões de ruído de coordenada:
   $$\mathcal{L}_{OPD}^{pos} = \mathbb{E} \left[ \sum_{t \in \mathcal{T}} \sum_{i \in \mathcal{G}} \| \hat{\epsilon}^{pos}_{S, t, i} - \hat{\epsilon}^{pos}_{T, t, i} \|^2_2 \right]$$
   Crucialmente, esta supervisão é aplicada apenas às coordenadas $C_\alpha$, pois elas controlam diretamente a geometria do backbone e o posicionamento do loop. As previsões de sequência e orientação não são destiladas nesta etapa para evitar o overfitting às previsões de sequência potencialmente imperfeitas do professor.
4. Âncora de Denoising Offline: Para preservar o objetivo conjunto de sequência-estrutura-orientação aprendido durante o pré-treinamento, a perda de denoising original ($\mathcal{L}_{anchor}$) é mantida em estados derivados de referência amostrados independentemente.
5. Objetivo Final: $\mathcal{L}_{ABOPD} = \mathcal{L}_{anchor} + \beta \mathcal{L}_{OPD}^{pos}$ (com $\beta=0.6$).

3. Principais Contribuições

1. Identificação do Desajuste de Distribuição de Estado: O artigo destaca que a lacuna entre os estados derivados de referência e os estados de rollout do estudante aumenta durante o processo de denoising, particularmente nos estágios posteriores de refinamento.
2. Estrutura ABOPD: A proposta de um método de destilação on-policy que combina a destilação de transição de coordenadas $C_\alpha$ em rollouts de estudantes com uma âncora de denoising offline.
3. Professor Consciente do Backbone: A demonstração de que um modelo professor aumentado com geometria nativa privilegiada fornece alvos geométricos significativamente mais precisos do que os modelos padrão, mesmo que sua precisão de sequência não seja superior.

4. Resultados Experimentais

O método foi avaliado em dois benchmarks: redesign simultâneo de múltiplos CDRs (19 complexos SAbDab) e geração de RAbD CDR-H3 (60 casos alvo).

• Desempenho RAbD CDR-H3: O ABOPD reduziu o RMSD de $C_\alpha$ de 2.37 Å para 1.95 Å (uma melhoria de 0.42 Å) em comparação com a linha de base H-DiffAb. Também superou os controles de SFT e destilação offline.
• Redesign de Multi-CDR: O ABOPD melhorou o RMSD em todos os seis CDRs, com o ganho mais significativo no CDR-H3 (2.94 Å $\to$ 2.48 Å). Também reduziu significativamente as taxas de choque intra-CDR e CDR–antígeno (de 0.93% para 0.42% e 1.58% para 0.67%, respectivamente).
• Fidelidade Geométrica: Melhorias foram observadas no lDDT, TM-score e DockQ, indicando melhor geometria local, estrutura da cadeia pesada global e posicionamento de interface.
• Análise de Mecanismo: A análise por passo de tempo revelou que a "vantagem do Professor" (a redução de erro fornecida pelo professor sobre o modelo base) torna-se positiva apenas nos passos de tempo mais tardios ($t \le 50$). Isso confirma que a supervisão on-policy é mais eficaz durante os estágios finais de refinamento geométrico, quando a trajetória do estudante já divergiu da distribuição de referência.
• Estudos de Ablação: A destilação apenas do ramo de coordenadas rendeu os melhores resultados. Adicionar destilação de sequência ou orientação não proporcionou benefícios adicionais e, em alguns casos, degradou o desempenho.

5. Significância e Alegações

O artigo afirma que o ABOPD oferece um caminho para um design de proteínas de maior fidelidade ao abordar as limitações específicas das estratégias de pós-treinamento padrão.

• Abordagem Complementar: Os autores posicionam o ABOPD como uma direção complementar ao pré-treinamento de grande escala e a novas arquiteturas generativas. Demonstra que o pós-treinamento estrutural eficaz não depende apenas do sinal de supervisão, mas de aplicar esse sinal aos estados corretos (ou seja, aqueles visitados durante a geração).
• Escopo Modesto: Os autores declaram explicitamente que o método melhora a recuperação do backbone e a precisão geométrica, mas não pretende necessariamente resolver todos os aspectos do design de anticorpos (por exemplo, os ganhos de recuperação de sequência foram modestos). A principal contribuição é a validação da destilação on-policy para corrigir erros geométricos acumulados na geração de anticorpos baseada em difusão.