EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

Technische Samenvatting: EvoStruct

Probleem: Woordenschatinstorting in GNN-gebaseerd CDR-ontwerp
De huidige state-of-the-art methoden voor het ontwerpen van Complementair Bepalende Regio's (CDR's) van antilichamen maken zwaar gebruik van Equivariante Graph Neural Networks (GNN's). Hoewel deze methoden hoge sequentieherstelpercentages bereiken, lijden ze onder een kritieke faalmodus die "woordenschatinstorting" wordt genoemd. Bij dit fenomeen falen modellen die zijn getraind op beperkte structurele data (ongeveer 3.000 antilichaam-antigeencomplexen) om de volledige verdeling van aminozuren te leren. In plaats daarvan voorspellen ze overdreven een smalle subset van residuen – specifiek tyrosine en glycine – en negeren ze functioneel kritieke maar zeldzame residuen zoals tryptofaan, cysteïne en methionine.

Deze instorting treedt op omdat GNN-encoders proberen aminozuursubstitutiepatronen de novo te leren uit schaarse structurele trainingssets, waarbij ze de rijke evolutionaire substitutiepatronen die zijn gecodeerd in databases met honderden miljoenen eiwitsequenties, verwerpen. Bijgevolg vertonen deze modellen:

1. Verminderde Diversiteit: De effectieve woordenschat ($V_{eff}$) daalt van een native ~15,5 naar 3,0–5,5.
2. Slechte Leerprestaties voor Bindende Paren: Modellen slagen er niet in de specifieke correlaties tussen paratope (antilichaam) en epitope (antigeen) aminozuurparen te vangen.
3. Zwakke Posities bij Contact: De sequentieherstel is significant lager op posities die contact maken met het antigeen in vergelijking met posities zonder contact, wat wijst op een falen om antigeenspecifieke bindingsfysica te leren.

Methodologie: Het Overbruggen van Evolutionaire en Structurele Priors
Om deze problemen op te lossen, stellen de auteurs EvoStruct voor, een raamwerk dat een bevroren Protein Language Model (PLM) overbrugt met een 3D-structurele context via een cross-attention adapter. De architectuur werkt op twee parallelle paden:

1. Evolutionair Pad (PLM-ruggengraat): Het model maakt gebruik van een bevroren ESM-2 (650M parameters) om embeddings te genereren voor de zware keten van het antilichaam. Door CDR-posities tijdens inferentie te maskeren, levert ESM-2 hoogwaardige evolutionaire priors en een gekalibreerde aminozuurwoordenschat die is afgeleid van zijn training op >250 miljoen sequenties.
2. Structureel Pad (GNN-encoder): Een relatiebewust E(3)-equivariant GNN encodeert het volledige 3D-antibody-antigeencomplexgrafiek. Het vangt ruimtelijke geometrie, residu-interacties en epitopen nabijheid. Om het geheugen te beheren, knipt de GNN de antigeencontext in tot de $K_{ag}$ dichtstbijzijnde residuen bij de CDR.
3. Mini Structurele Adapter: Dit is de kerninnovatie. Het voert cross-attention uit waarbij:
   • Queries ($Q$): Afgeleid van de ESM-2 CDR-embeddings (evolutionaire prior).
   • Keys ($K$) en Values ($V$): Afgeleid van de door de GNN gecodeerde structurele context (CDR + ingeknipte antigeenresiduen).
   • De adapter projecteert deze naar een gedeelde ruimte, waardoor de evolutionaire representatie kan vragen "in welke structurele omgeving bevind ik me?" en het structurele antwoord van de GNN ontvangt. De output wordt teruggeprojecteerd naar de ESM-2 embeddingruimte.
4. Sequentiehoofd: De uiteindelijke voorspellingen worden gedaan door een sequentiehoofd dat volledig binnen de embeddingruimte van de PLM werkt, waardoor de woordenschatkalibratie van ESM-2 behouden blijft.

Trainingsstrategie
EvoStruct hanteert een specifiek trainingsregime om catastrofale vergetelheid van evolutionaire priors te voorkomen terwijl het zich aanpast aan structurele taken:

• Progressief Ontvriezen: Volgend op Howard & Ruder (2018) is de ESM-2-ruggengraat aanvankelijk bevroren terwijl de adapter en GNN worden getraind. In daaropvolgende fasen worden de bovenste transformerlagen progressief ontdooid en tot slot worden alle parameters fijn afgestemd.
• R-Drop Consistentie Regularisatie: Om robuustheid te waarborgen tegen variaties in dropout, voert het model twee forward passes uit met verschillende dropout-masks en straft het de inconsistentie tussen de resulterende sequentieverliezen af.
• Multi-Task Loss: Het doelwit combineert sequentie cross-entropy, coördinaatverlies (Huber), koppelend contrastief verlies (InfoNCE), dockingverlies en schaduw-paratopeverlies (paarsgewijze afstandsupervisie).

Belangrijkste Bijdragen

1. Kwantitatieve Diagnose: Het artikel biedt een systematische analyse van woordenschatinstorting in CDR-ontwerp met behulp van effectieve woordenschat ($V_{eff}$) en correlatiemetingen voor bindende paren, waarbij wordt aangetoond dat GNN-methoden slechts 20–35% van de native aminozuurdiversiteit herstellen.
2. Nieuwe Adaptatie: Het past het paradigma van het overbruggen van PLM en structuur specifiek toe op CDR-ontwerp, en introduceert progressief ontvriezen en R-Drop regularisatie om de unieke afweging tussen diversiteit en nauwkeurigheid in dit domein aan te pakken.
3. Empirische Validatie: De studie toont aan dat woordenschatkalibratie van PLM's succesvol kan worden overgebracht naar CDR-ontwerp, waardoor de traditionele afweging wordt doorbroken waarbij hoge nauwkeurigheid meestal ten koste gaat van lage diversiteit.

Resultaten
Geëvalueerd op de CHIMERA-BENCH benchmark tegen 11 baselines (waaronder GNN's, diffusiemodellen en autoregressieve methoden), behaalde EvoStruct:

• Hoogste Sequentieherstel: 0,43 Aminozuurherstel (AAR), een relatieve verbetering van 16% ten opzichte van de beste GNN-baselines (0,37).
• Laagste Perplexiteit: 1,88 (een reductie van 43% ten opzichte van RAAD), wat wijst op zekerere en beter gekalibreerde voorspellingen.
• Herstelde Diversiteit: Behaalde een effectieve woordenschat ($V_{eff}$) van 12,4, waarmee 80% van de native diversiteit wordt hersteld, vergeleken met 4,7–5,3 voor GNN-baselines. Het genereerde 2,3× meer aminozuurdiversiteit.
• Verbeterde Bindingscorrelatie: Behaalde de hoogste paratope-epitope paarcorrelatie ($r=0,73$) en interfaceverrijkingcorrelatie ($r=0,81$), wat suggereert dat antigeeninformatie succesvol naar het sequentiehoofd wordt gerouteerd.
• Structurele Kwaliteit: Produceerde CDR-ruggengraten met een RMSD van 1,84 Å, vergelijkbaar met top GNN-methoden.

Betekenis en Beperkingen
Het artikel beweert dat EvoStruct het systematische falen van GNN's om evolutionaire priors te benutten oplost, en bewijst dat het overbruggen van bevroren PLM's met structurele encoders een effectieve strategie is voor antilichaamontwerp. Het stelt vast dat de woordenschatkalibratie van modellen zoals ESM-2 overdraagbaar is naar CDR-ontwerp, waardoor modellen tegelijkertijd hoge nauwkeurigheid en hoge diversiteit kunnen bereiken.

Echter, de auteurs zijn bescheiden wat betreft bindingsmetrieken. Hoewel EvoStruct leidt in sequentiekwaliteit, bereikt het niet de hoogste bindingsinterface-metrieken (bijv. $fnat$ en DockQ); opvallend genoeg behaalde RefineGNN (dat niet conditieert op het antigeen) iets hogere bindingscores. De auteurs schrijven dit toe aan het feit dat de cross-attention adapter de structurele informatie van het antigeen niet volledig benut voor interfacevoorspelling, en merken op dat herstel van contactposities een uitdaging blijft voor alle methoden. Zij suggereren dat toekomstig werk rijkere adapterarchitecturen en alternatieve doelstellingen moet verkennen om antigeenspecifieke bindingsvoorspellingen verder te verbeteren.