EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

Resumen Técnico: EvoStruct

Problema: Colapso del Vocabulario en el Diseño de CDR Basado en GNN
Los métodos más avanzados actuales para el diseño de Regiones Determinantes de Complementariedad (CDR) de anticuerpos dependen en gran medida de Redes Neuronales de Grafos Equivariantes (GNN). Aunque estos métodos logran altas tasas de recuperación de secuencias, sufren un modo de fallo crítico denominado "colapso del vocabulario". En este fenómeno, los modelos entrenados con datos estructurales limitados (aproximadamente 3.000 complejos anticuerpo-antígeno) no logran aprender la distribución completa de aminoácidos. En su lugar, sobre-predicen un subconjunto estrecho de residuos, específicamente tirosina y glicina, mientras ignoran residuos funcionalmente críticos pero raros como triptófano, cisteína y metionina.

Este colapso ocurre porque los codificadores GNN intentan aprender patrones de sustitución de aminoácidos de novo a partir de conjuntos de entrenamiento estructurales dispersos, descartando los ricos patrones de sustitución evolutiva codificados en bases de datos que contienen cientos de millones de secuencias proteicas. En consecuencia, estos modelos exhiben:

1. Diversidad Reducida: El vocabulario efectivo ($V_{eff}$) desciende de un valor nativo de ~15.5 a 3.0–5.5.
2. Mala Aprendizaje de Pares de Unión: Los modelos no logran capturar las correlaciones específicas entre pares de aminoácidos del paratopo (anticuerpo) y el epítopo (antígeno).
3. Debilidad en Posiciones de Contacto: La recuperación de secuencias es significativamente menor en las posiciones de contacto con el antígeno en comparación con las posiciones no contactantes, lo que indica un fallo en aprender la física de unión específica del antígeno.

Metodología: Puente entre Priors Evolutivos y Estructurales
Para resolver estos problemas, los autores proponen EvoStruct, un marco que conecta un Modelo de Lenguaje de Proteínas (PLM) congelado con un contexto estructural 3D mediante un adaptador de atención cruzada. La arquitectura opera en dos vías paralelas:

1. Vía Evolutiva (Columna Vertebral PLM): El modelo utiliza un ESM-2 congelado (650M de parámetros) para generar incrustaciones para la cadena pesada del anticuerpo. Al enmascarar las posiciones de CDR durante la inferencia, ESM-2 proporciona priores evolutivos de alta calidad y un vocabulario de aminoácidos calibrado derivado de su entrenamiento en más de 250 millones de secuencias.
2. Vía Estructural (Codificador GNN): Un GNN equivariante E(3) consciente de las relaciones codifica el grafo completo del complejo 3D anticuerpo-antígeno. Captura la geometría espacial, las interacciones de residuos y la proximidad al epítopo. Para gestionar la memoria, el GNN recorta el contexto del antígeno a los $K_{ag}$ residuos más cercanos al CDR.
3. Adaptador Estructural Mini: Esta es la innovación central. Realiza atención cruzada donde:
   • Consultas ($Q$): Derivadas de las incrustaciones de CDR de ESM-2 (prior evolutivo).
   • Claves ($K$) y Valores ($V$): Derivadas del contexto estructural codificado por GNN (CDR + residuos de antígeno recortados).
   • El adaptador proyecta estos elementos en un espacio compartido, permitiendo que la representación evolutiva consulte "¿en qué entorno estructural me encuentro?" y reciba la respuesta estructural del GNN. La salida se proyecta de nuevo al espacio de incrustaciones de ESM-2.
4. Cabeza de Secuencia: Las predicciones finales se realizan mediante una cabeza de secuencia que opera enteramente dentro del espacio de incrustaciones del PLM, preservando la calibración del vocabulario de ESM-2.

Estrategia de Entrenamiento
EvoStruct emplea un régimen de entrenamiento específico para prevenir el olvido catastrófico de los priores evolutivos mientras se adapta a tareas estructurales:

• Descongelamiento Progresivo: Siguiendo a Howard & Ruder (2018), la columna vertebral de ESM-2 se mantiene inicialmente congelada mientras se entrenan el adaptador y el GNN. Las fases posteriores descongelan progresivamente las capas superiores del transformador y finalmente ajustan finamente todos los parámetros.
• Regularización de Consistencia R-Drop: Para garantizar la robustez frente a variaciones de dropout, el modelo realiza dos pasadas forward con diferentes máscaras de dropout y penaliza la inconsistencia entre las pérdidas de secuencia resultantes.
• Pérdida Multi-tarea: El objetivo combina entropía cruzada de secuencia, pérdida de coordenadas (Huber), pérdida contrastiva de emparejamiento (InfoNCE), pérdida de acoplamiento y pérdida de paratopo sombra (supervisión de distancia pairwise).

Contribuciones Clave

1. Diagnóstico Cuantitativo: El artículo proporciona un análisis sistemático del colapso del vocabulario en el diseño de CDR utilizando vocabulario efectivo ($V_{eff}$) y métricas de correlación de pares de unión, revelando que los métodos GNN recuperan solo el 20–35% de la diversidad nativa de aminoácidos.
2. Adaptación Novel: Adapta el paradigma de puente PLM-estructura específicamente para el diseño de CDR, introduciendo descongelamiento progresivo y regularización R-Drop para abordar el único compromiso diversidad-precisión en este dominio.
3. Validación Empírica: El estudio demuestra que la calibración del vocabulario de PLM puede transferirse con éxito al diseño de CDR, rompiendo el compromiso tradicional donde la alta precisión suele venir a costa de una baja diversidad.

Resultados
Evaluado en el benchmark CHIMERA-BENCH contra 11 líneas base (incluyendo GNNs, modelos de difusión y métodos autoregresivos), EvoStruct logró:

• Máxima Recuperación de Secuencia: 0.43 de Recuperación de Aminoácidos (AAR), una mejora relativa del 16% sobre las mejores líneas base GNN (0.37).
• Menor Perplejidad: 1.88 (una reducción del 43% comparado con RAAD), indicando predicciones más confiables y calibradas.
• Diversidad Restaurada: Logró un vocabulario efectivo ($V_{eff}$) de 12.4, recuperando el 80% de la diversidad nativa, comparado con 4.7–5.3 para las líneas base GNN. Generó 2.3× mayor diversidad de aminoácidos.
• Correlación de Unión Mejorada: Logró la mayor correlación de pares paratopo-epítopo ($r=0.73$) y correlación de enriquecimiento de interfaz ($r=0.81$), sugiriendo un enrutamiento exitoso de la información del antígeno a la cabeza de secuencia.
• Calidad Estructural: Produjo esqueletos de CDR con RMSD de 1.84 Å, comparable a los mejores métodos GNN.

Significado y Limitaciones
El artículo afirma que EvoStruct resuelve el fallo sistemático de los GNNs para aprovechar los priores evolutivos, demostrando que conectar PLMs congelados con codificadores estructurales es una estrategia efectiva para el diseño de anticuerpos. Establece que la calibración del vocabulario de modelos como ESM-2 es transferible al diseño de CDR, permitiendo a los modelos lograr simultáneamente alta precisión y alta diversidad.

Sin embargo, los autores son modestos respecto a las métricas de unión. Aunque EvoStruct lidera en calidad de secuencia, no logra las métricas más altas de interfaz de unión (por ejemplo, $fnat$ y DockQ); notablemente, RefineGNN (que no condiciona al antígeno) logró puntuaciones de unión ligeramente superiores. Los autores atribuyen esto a que el adaptador de atención cruzada no explota completamente la información estructural del antígeno para la predicción de la interfaz y señalan que la recuperación de posiciones de contacto sigue siendo un desafío para todos los métodos. Sugieren que el trabajo futuro debería explorar arquitecturas de adaptador más ricas y objetivos alternativos para mejorar aún más las predicciones de unión específicas del antígeno.