EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

Résumé Technique : EvoStruct

Problème : Effondrement du vocabulaire dans la conception de régions déterminantes de complémentarité (CDR) basée sur des GNN
Les méthodes actuelles les plus avancées pour la conception des régions déterminantes de complémentarité (CDR) des anticorps reposent fortement sur des réseaux de neurones graphiques équivariants (GNN). Bien que ces méthodes atteignent des taux de récupération de séquence élevés, elles souffrent d'un mode de défaillance critique qualifié d'« effondrement du vocabulaire ». Dans ce phénomène, les modèles entraînés sur des données structurelles limitées (environ 3 000 complexes anticorps-antigène) échouent à apprendre la distribution complète des acides aminés. Au lieu de cela, ils sur-prédisent un sous-ensemble restreint de résidus — spécifiquement la tyrosine et la glycine — tout en ignorant des résidus fonctionnellement critiques mais rares comme le tryptophane, la cystéine et la méthionine.

Cet effondrement se produit parce que les encodeurs GNN tentent d'apprendre les motifs de substitution d'acides aminés de novo à partir d'ensembles de données structurelles éparses, écartant ainsi les riches motifs de substitution évolutifs encodés dans des bases de données contenant des centaines de millions de séquences protéiques. Par conséquent, ces modèles présentent :

1. Une diversité réduite : Le vocabulaire effectif ($V_{eff}$) chute d'environ 15,5 natifs à 3,0–5,5.
2. Une mauvaise apprentissage des paires de liaison : Les modèles échouent à capturer les corrélations spécifiques entre les paires d'acides aminés du paratope (anticorps) et de l'épitope (antigène).
3. Une faiblesse aux positions de contact : La récupération de séquence est significativement plus faible aux positions en contact avec l'antigène par rapport aux positions non en contact, indiquant un échec à apprendre la physique de liaison spécifique à l'antigène.

Méthodologie : Relier les priors évolutifs et structurels
Pour résoudre ces problèmes, les auteurs proposent EvoStruct, un cadre qui relie un modèle de langage protéique (PLM) figé à un contexte structurel 3D via un adaptateur par attention croisée. L'architecture opère sur deux voies parallèles :

1. Voie Évolutive (Squelette PLM) : Le modèle utilise un ESM-2 figé (650 millions de paramètres) pour générer des plongements (embeddings) pour la chaîne lourde de l'anticorps. En masquant les positions CDR lors de l'inférence, ESM-2 fournit des priors évolutifs de haute qualité et un vocabulaire d'acides aminés calibré dérivé de son entraînement sur plus de 250 millions de séquences.
2. Voie Structurelle (Encodeur GNN) : Un GNN équivariant E(3) sensible aux relations encode le graphe complet du complexe 3D anticorps-antigène. Il capture la géométrie spatiale, les interactions entre résidus et la proximité de l'épitope. Pour gérer la mémoire, le GNN découpe le contexte antigénique aux $K_{ag}$ résidus les plus proches du CDR.
3. Mini Adaptateur Structurel : C'est l'innovation centrale. Il effectue une attention croisée où :
   • Requêtes ($Q$) : Dérivées des plongements CDR d'ESM-2 (prior évolutif).
   • Clés ($K$) et Valeurs ($V$) : Dérivées du contexte structurel encodé par le GNN (CDR + résidus antigéniques découpés).
   • L'adaptateur projette ces éléments dans un espace partagé, permettant à la représentation évolutive de demander « dans quel environnement structurel suis-je ? » et de recevoir la réponse structurelle du GNN. La sortie est projetée de nouveau dans l'espace de plongement d'ESM-2.
4. Tête de Séquence : Les prédictions finales sont effectuées par une tête de séquence opérant entièrement dans l'espace de plongement du PLM, préservant ainsi le calibrage du vocabulaire d'ESM-2.

Stratégie d'Entraînement
EvoStruct emploie un régime d'entraînement spécifique pour empêcher l'oubli catastrophique des priors évolutifs tout en s'adaptant aux tâches structurelles :

• Dégel Progressif : Suivant Howard & Ruder (2018), le squelette ESM-2 est initialement figé tandis que l'adaptateur et le GNN sont entraînés. Les phases suivantes dégèlent progressivement les couches supérieures du transformateur et finissent par affiner tous les paramètres.
• Régularisation de Cohérence R-Drop : Pour assurer la robustesse face aux variations de dropout, le modèle effectue deux passes avant avec des masques de dropout différents et pénalise l'incohérence entre les pertes de séquence résultantes.
• Perte Multi-Tâche : L'objectif combine la perte d'entropie croisée de séquence, la perte de coordonnées (Huber), la perte contrastive d'appariement (InfoNCE), la perte d'amarrage et la perte de paratope fantôme (supervision par distance paire).

Contributions Clés

1. Diagnostic Quantitatif : L'article fournit une analyse systématique de l'effondrement du vocabulaire dans la conception de CDR en utilisant le vocabulaire effectif ($V_{eff}$) et des métriques de corrélation de paires de liaison, révélant que les méthodes GNN ne récupèrent que 20–35 % de la diversité native des acides aminés.
2. Adaptation Nouvelle : Il adapte le paradigme de liaison PLM-structure spécifiquement pour la conception de CDR, introduisant un dégel progressif et une régularisation R-Drop pour répondre au compromis unique diversité-précision dans ce domaine.
3. Validation Empirique : L'étude démontre que le calibrage du vocabulaire des PLM peut être transféré avec succès à la conception de CDR, brisant le compromis traditionnel où une haute précision s'accompagne généralement d'une faible diversité.

Résultats
Évalué sur le benchmark CHIMERA-BENCH contre 11 références (incluant des GNN, des modèles de diffusion et des méthodes autorégressives), EvoStruct a atteint :

• La Meilleure Récupération de Séquence : 0,43 de récupération d'acides aminés (AAR), soit une amélioration relative de 16 % par rapport aux meilleures références GNN (0,37).
• La Perplexité la Plus Faible : 1,88 (une réduction de 43 % par rapport à RAAD), indiquant des prédictions plus confiantes et mieux calibrées.
• Diversité Restaurée : Atteint un vocabulaire effectif ($V_{eff}$) de 12,4, récupérant 80 % de la diversité native, contre 4,7–5,3 pour les références GNN. Il a généré une diversité d'acides aminés 2,3 fois supérieure.
• Corrélation de Liaison Améliorée : A atteint la plus haute corrélation de paires paratope-épitope ($r=0,73$) et la plus haute corrélation d'enrichissement d'interface ($r=0,81$), suggérant un routage réussi des informations antigéniques vers la tête de séquence.
• Qualité Structurelle : A produit des squelettes de CDR avec un RMSD de 1,84 Å, comparable aux meilleures méthodes GNN.

Signification et Limites
L'article affirme qu'EvoStruct résout l'échec systématique des GNN à exploiter les priors évolutifs, prouvant que la liaison de PLM figés avec des encodeurs structurels est une stratégie efficace pour la conception d'anticorps. Il établit que le calibrage du vocabulaire de modèles comme ESM-2 est transférable à la conception de CDR, permettant aux modèles d'atteindre simultanément une haute précision et une haute diversité.

Cependant, les auteurs sont modestes concernant les métriques de liaison. Bien qu'EvoStruct soit leader en qualité de séquence, il n'atteint pas les métriques d'interface de liaison les plus élevées (par exemple, $fnat$ et DockQ) ; notons que RefineGNN (qui ne conditionne pas sur l'antigène) a obtenu des scores de liaison légèrement supérieurs. Les auteurs attribuent cela au fait que l'adaptateur par attention croisée n'exploite pas pleinement les informations structurelles de l'antigène pour la prédiction d'interface et notent que la récupération des positions de contact reste un défi pour toutes les méthodes. Ils suggèrent que les travaux futurs devraient explorer des architectures d'adaptateur plus riches et des objectifs alternatifs pour améliorer davantage les prédictions de liaison spécifiques à l'antigène.