Technische Samenvatting: IGLOO – ImmunoGlobulin LOOp Tokenizer

Probleemstelling

De Complementarity-Determining Regions (CDR's) van antilichamen zijn lusstructuren die cruciaal zijn voor antigeenherkenning en binding. Historisch gezien is de diversiteit van deze lussen gecategoriseerd in "canonieke clusters" op basis van backbone dihedrale hoeken (Chothia & Lesk, 1987; North et al., 2011). Bestaande canonieke clustering-benaderingen kampen echter met drie primaire beperkingen:

1. Beperkte Dekking: Een aanzienlijk deel van de antilichaam-lussen, met name de zeer diverse H3-lussen (76,3%), mist een bekende overeenkomstige canonieke cluster.
2. Gebrek aan Sequentie-integratie: Bestaande clusters vertrouwen uitsluitend op backbone-coördinaten of dihedrale hoeken, waarbij sequentie-informatie wordt genegeerd.
3. Incompatibiliteit met Foundation Models: Huidige clusteringmethoden kunnen niet eenvoudig worden geïntegreerd in proteïne taalmodellen (PLM's) of multimodale foundation models, die doorgaans tokeniseren op aminozuurniveau in plaats van op het niveau van de substructuur-lus.

Hoewel recente multimodale PLM's structuurtokens hebben opgenomen, richten zij zich over het algemeen op reconstructie op aminozuurniveau en houden zij geen rekening met de hogere mate van modulariteit van proteïnedomeinen. Er blijft een openstaande uitdaging in het tokeniseren van immunoglobuline-lussen om zowel structurele als sequentiële diversiteit te vangen voor effectieve representatie-lering.

Methodologie: IGLOO

De auteurs introduceren IGLOO (ImmunoGlobulin LOOp Tokenizer), een multimodale tokenizer die ontworpen is om antilichaam-lussen te coderen door sequentie en backbone dihedrale hoeken te combineren.

Architectuur en Input

IGLOO opereert op het niveau van de substructuur-lus. Voor een lus van lengte $n$ bestaat de input uit:

• Sequentie: Een sequentie van aminozuren $a = (a_1, \dots, a_n)$.
• Structuur: Backbone dihedrale hoeken $\phi, \psi, \omega \in (-\pi, \pi]^n$.

De dihedrale hoeken worden geprojecteerd op de eenheidscirkel $(\cos \theta, \sin \theta)$ en door een lineaire laag gestuurd. De sequentie wordt gecodeerd met behulp van leerbare embeddings voor de 20 canonieke aminozuren. Deze twee modaliteiten worden bij elkaar opgeteld om een multimodale embedding $X$ te creëren. Een Transformer-architectuur (gebaseerd op ESM-2) verwerkt deze residuen en produceert een continue classificatie-token $t$ die de gehele lus representeert, en residue-niveau multimodale tokens $x_i$.

Trainingsdoelstellingen

IGLOO wordt getraind met behulp van een zelf-gesuperviseerd contrastief leerkader met vier doelstellingen:

1. Gemaskeerde Reconstructie: Het voorspellen van gemaskeerde dihedrale hoeken en gemaskeerde aminozuuridentiteiten.
2. Contrastief Leren van Backbones: De kerninnovatie. IGLOO leert lussen met vergelijkbare backbone dihedrale hoeken dichter bij elkaar te brengen in de latente ruimte. Gelijkenis wordt gedefinieerd door de dihedrale afstand $D$ (North et al., 2011), die de chirale aard van proteïnen en zij-keten positionering beter houdt rekening houdt dan RMSD.
   • Positieve Paren: Lussen met dezelfde lengte waarbij $D < 0,1$.
   • Negatieve Paren: Lussen met verschillende lengtes of dezelfde lengte waarbij $D > 0,47$.
   • Een marge wordt toegepast om overfitting op de specifieke drempelwaarde die gebruikt wordt voor de definitie van canonieke clusters te voorkomen.
3. Codebook Leren: Een vector-kwantisatie verlies wijst lussen toe aan discrete tokens ($\hat{t}$) uit een codeboek, wat snelle retrieval en vergelijking faciliteert.

Integratie in Taalmodellen

De auteurs demonstreren twee methoden voor het integreren van IGLOO-tokens in proteïne taalmodellen, gefinetuned vanaf het basis-antilichaammodel IgBert:

• IGLOOLM: Voegt de continue classificatie-token $t$ in aan het begin van elke CDR-lus. Dit vangt de algemene conformationele context van de lus op.
• IGLOOALM: Voegt zowel de classificatie-token $t$ als de multimodale residue-tokens $x_i$ voor elk aminozuur in de lus in. Dit biedt structurele context op residue-niveau.

Belangrijkste Resultaten

1. Paratoop Retrieval

IGLOO werd geëvalueerd op het ophalen van vergelijkbare lusstructuren uit de SAbDab database.

• Prestaties: IGLOO behaalde state-of-the-art prestaties bij het ophalen van lussen met vergelijkbare backbone structuren (gedefinieerd door $D < 0,47$ en RMSD $< 1$ Å).
• H3-lus Specificaties: Voor de zeer diverse H3-lus presteerde IGLOO 5,9% beter dan de beste bestaande structuur-tokenizer (Amino Aseed) en 69,8% beter dan het beste proteïne taalmodel (ESM-2) in termen van precisie bij rank 20 voor dihedrale afstand retrieval.
• Efficiëntie: IGLOO presteerde beter dan grotere modellen (bijv. ESM-2 3B) ondanks dat het aanzienlijk kleiner is, wat de efficiëntie van lus-niveau tokenisatie aantoont.

2. Herstel van Canonieke Clusters

IGLOO werd getest op zijn vermogen om bekende canonieke clusters te herstellen, gedefinieerd door Kelow et al. (2022).

• Zuiverheid: De gekwantiseerde tokens bereikten een hoge clusterzuiverheid (bijv. 0,983 voor Heavy CDR4, 0,900 voor Heavy CDR2).
• Dekking: In tegenstelling tot traditionele methoden wijst IGLOO tokens toe aan alle lussen, waarmee het de dekkingskloof oplost waar voorheen 20,3% van de lussen geen canonieke match had. Het reproduceert succesvol bekende canonieke conformaties voor 90,6% van de lussen in SAbDab.

3. Voorspelling van Bindingsaffiniteit

IGLOOLM werd geëvalueerd op het voorspellen van de bindingsaffiniteit van zware keten varianten over 10 antilichaam-antigeen targets (AbBiBench).

• Prestaties: IGLOOLM presteerde beter dan het basis IgBert model op 8 van de 10 targets.
• Vergelijking: Het presteerde op gelijke hoogte met of beter dan modellen met 7× meer parameters (bijv. ESM-2 3B).
• Observatie: Modellen die alleen de classificatie-token gebruiken (IGLOOLM) presteerden beter dan die met residue-niveau structurele tokens (IGLOOALM) voor deze specifieke taak, wat suggereert dat voor deep mutational scanning waarbij sequenties slechts door enkele mutaties verschillen, de samenvatting van de lusconformatie robuuster is dan potentieel ruisgevoelige residue-niveau structurele voorspellingen.

4. Controleerbare Lus Sampling

IGLOOALM werd gebruikt om antilichaam-lussen te samplen met gemaskeerde sequenties.

• Diversiteit vs. Consistentie: De gesamplede lussen vertoonden een hoge sequentie-diversiteit terwijl ze de structurele consistentie met de originele lus behielden.
• Casestudy: Bij het herontwerpen van de H3-lus van een SARS-CoV-2 antilichaam (PDB 7TCQ), genereerde IGLOOALM sequenties met een gemiddelde edit distance van 6,6 ten opzichte van de originele, terwijl de voorspelde structuren de originele bèta-hairpin vouwing behielden met een gemiddelde RMSD van 0,79 Å. Dit presteerde beter dan state-of-the-art antilichaam inverse folding modellen (AbMPNN, AntiFold).

Betekenis en Claims

Het artikel claimt dat IGLOO het voordeel aantoont van het introduceren van multimodale tokens specifiek voor antilichaam-lussen. Door de diverse landschappen van lusconformaties te coderen via een combinatie van sequentie en dihedrale hoeken, verbetert IGLOO:

• Foundation Models: Verhoogt de expressiviteit van proteïne taalmodellen, waardoor zij in staat zijn structurele motieven te vangen die door sequentie-alleen modellen worden gemist.
• Oplossen van Dekkingsproblemen: Biedt een tokenisatie-schema dat het volledige landschap van antilichaam-lussen dekt, inclusief die welke voorheen onclassificeerbaar waren door canonieke methoden.
• Vooruitgang in Rationeel Ontwerp: Faciliteert toepassingen zoals bindingsaffiniteit-voorspelling en de controleerbare generatie van diverse, structureel consistente antilichaam-lussen, wat cruciaal is voor antilichaam engineering en lead optimalisatie.

De auteurs merken op dat hoewel IGLOOALM sterke in silico resultaten laat zien, uitgebreide wet-lab validatie vereist is om te bevestigen dat herontworpen antilichamen daadwerkelijk de antigeenbinding behouden. Zij zien toekomstige uitbreidingen voor ogen die alle-atoom structuren, epitoop informatie en bindingsaffiniteit direct als modaliteiten bevatten.