Contrastive learning for antibody-antigen sequence-to-specificity prediction

In dit artikel wordt CALM voorgesteld, een taalmodel dat via contrastief leren een gedeelde inbeddingsruimte creëert om de specifieke binding tussen antilichamen en antigenen direct te voorspellen op basis van hun aminozuurvolgorde.

De kern

Stel je voor dat je een enorme bibliotheek hebt met miljarden boeken (de antilichamen, je immuunsysteem) en een andere bibliotheek met miljarden andere boeken (de antigenen, zoals virussen of bacteriën).

Het grote probleem is: hoe weet je precies welk boek uit de ene bibliotheek perfect past bij welk boek uit de andere? Welk antilichaam grijpt precies welk virus vast?

Tot nu toe was dit voor computers een onmogelijke puzzel. Wetenschappers konden wel de vorm van de boeken analyseren (de 3D-structuur), maar ze konden niet goed voorspellen welke tekst (de aminozuur-sequentie) bij welke andere tekst paste, zonder eerst de hele structuur te bouwen.

Hier komt CALM (Cross-attention Adaptive Immune Receptor–Antigen Language Model) in beeld. Dit is een nieuwe, slimme computerprogramma dat deze puzzel probeert op te lossen.

Hoe werkt CALM? De "Taalvertaler"

Stel je voor dat CALM een tweesprongige vertaler is die twee vreemde talen leert begrijpen: de taal van het antilichaam en de taal van het virus.

1. Het Leerproces (Contrastief Leren):
   CALM krijgt duizenden paren te zien: een antilichaam dat wel werkt bij een specifiek virus, en duizenden paren die niet werken.

   • De analogie: Denk aan een dansschool. CALM leert dat als twee mensen (antilichaam en virus) echt goed bij elkaar passen, ze dicht bij elkaar in de danszaal moeten staan. Als ze niet bij elkaar horen, moet de leraar (het algoritme) ze ver uit elkaar duwen.
   • Na veel oefening heeft CALM een "geheugenkaart" (een embedding space) gemaakt waar alle goede paren dicht bij elkaar staan en de slechte paren ver weg.

2. De Twee Richtingen (Bidirectioneel):
   Het mooie aan CALM is dat het in twee richtingen werkt:

   • Van Antilichaam naar Virus: "Ik heb dit antilichaam, welk virus valt het aan?"
   • Van Virus naar Antilichaam: "Ik heb dit virus, welk antilichaam kan het verslaan?"
     Dit is als een vertaler die zowel van Nederlands naar Frans als van Frans naar Nederlands perfect kan vertalen.

3. De Focus op de "Handdruk" (Paratope en Epitope):
   Niet het hele boek is belangrijk, alleen de pagina waar de twee boeken aan elkaar plakken. CALM kan zich focussen op de exacte plek waar het antilichaam het virus vastpakt (de "handdruk"). Door alleen naar deze belangrijke stukjes te kijken, wordt het voorspellen nog nauwkeuriger.

Wat hebben ze ontdekt?

De onderzoekers hebben CALM getest met een grote verzameling data (uit een database genaamd SAbDab). Ze hebben het heel streng getest: ze gaven het antilichamen en virussen die het programma nog nooit eerder had gezien.

• Het resultaat: CALM slaagde erin om het juiste paar te vinden in een grote stapel van duizenden opties.
  • Bij de moeilijkste tests (waar de virussen heel anders waren dan die in de training) kon CALM in ongeveer 7% van de gevallen het juiste antwoord als eerste keuze geven.
  • Als je kijkt naar de top 10 keuzes, lukt het in ongeveer 16-19% van de gevallen.
• Waarom is dit goed? Als je willekeurig zou raden (zoals een aap die op een typemachine slaat), zou je maar in 0,6% van de gevallen het juiste antwoord hebben. CALM doet het dus veel beter dan toeval, zelfs bij nieuwe, onbekende virussen.

Waarom is dit belangrijk?

Vroeger duurde het jaren om een nieuw medicijn te vinden dat een specifiek virus aanvalt. Je moest duizenden monsters in een lab testen.

Met CALM kunnen we in de toekomst:

1. Snel zoeken: Direct een lijst maken van de beste antilichamen voor een nieuw virus, zonder jarenlang te experimenteren.
2. Nieuwe medicijnen ontwerpen: Het systeem kan helpen om helemaal nieuwe antilichamen te "schrijven" die nog nooit bestaan hebben, maar wel perfect passen bij een ziekte.
3. Diagnose: Het kan helpen om te begrijpen wat er in het bloed van een patiënt gebeurt door te kijken welke antilichamen er actief zijn.

Samenvatting in één zin

CALM is als een slimme zoekmachine die de geheime taal van ons immuunsysteem heeft geleerd, zodat we in de toekomst in een seconde kunnen vinden welk medicijn precies welk virus verslaat, zelfs als we dat virus nog nooit eerder hebben gezien.

Let op: Dit is een nieuw onderzoek (een "preprint"). Het werkt nu nog als een slimme zoekmachine in de computer, maar de onderzoekers werken eraan om het ook echt nieuwe medicijnen te laten "schrijven" en dit in het lab te testen.

Technische samenvatting

Probleemstelling

Het voorspellen van welke antilichamen (Ab) aan welke antigenen (Ag) binden, puur op basis van hun primaire aminozuurvolgorde, blijft een grote uitdaging in de biotechnologie en immunologie. Hoewel er grote vooruitgang is geboekt in eiwitvouwing (bijv. AlphaFold) en op structuur gebaseerd ontwerp, bestaat er nog geen betrouwbare methode om de "sequentie-naar-specificiteit" relatie te modelleren op schaal van het hele immuunrepertoire of proteoom.

• Huidige beperkingen: Bestaande structurele ontwerpfraamwerken kunnen antilichamen ontwerpen voor een specifiek epitool, maar lossen niet het omgekeerde probleem op: het vinden van het juiste epitool voor een gegeven antilichaam.
• Het doel: Een fundamenteel model (Foundation Model) ontwikkelen dat zowel de voorwaartse richting (ontwerp van nieuwe therapeutica) als de omgekeerde richting (interpretatie van immuunrepertoires voor diagnostiek) kan hanteren, zonder afhankelijk te zijn van structurele inferentie tijdens de toepassing.

Methodologie: CALM Architectuur

De auteurs introduceren CALM, een dual-encoder architectuur die antilichaam-antigeen herkenning behandelt als een moleculaire vertaaltask.

1. Architectuur:

   • Dual-Encoder: Het model gebruikt twee aparte encoders: één voor antilichamen (paratope) en één voor antigenen (epitope).
   • Initialisatie: De antilichaam-encoder is geïnitieerd met AntiBERTy (gespecialiseerd in immuunrepertoires) en de antigeen-encoder met ESM-2 (een algemeen eiwittaalmodel).
   • Cross-Attention Decoder (Conceptueel): Het artikel schetst een autoregressieve decoder met cross-attention die in de toekomst zou kunnen worden gebruikt voor generatieve taken (bijv. het genereren van een antilichaam op basis van een epitool), maar deze is in deze studie niet getraind of geëvalueerd. De focus ligt volledig op de dual-encoder.

2. Trainingsdoel (Contrastive Learning):

   • Het model wordt getraind met een contrastief leerdoel (geïnspireerd door CLIP voor beeld-taal).
   • Het doel is om de embedding-ruimte zo te leren dat paren van echte binders (cognate epitool-paratool) dicht bij elkaar liggen, terwijl niet-binders ver uit elkaar worden geduwd.
   • Verliesfunctie: Er wordt gebruikgemaakt van een symmetrische multi-positieve contrastieve loss (InfoNCE-variant) om omgang te maken met batches waar meerdere positieve paren kunnen voorkomen.
   • Maskering: Er kunnen binaire masks worden toegepast om de encoder alleen de residuen te laten zien die binnen 5 Å van het bindingsoppervlak liggen (paratope/epitope masks), waardoor ruis van niet-bindende sequentiedelen wordt verwijderd.

3. Data en Validatie:

   • Dataset: 4.138 gecurateerde antilichaam-antigeen paren afkomstig van de SAbDab (Structural Antibody Database).
   • Leakage-gecontroleerde splits: Om overfitting te voorkomen, werden de data gesplitst op basis van antigeen-sequentie-identiteit (40%, 60%, 80%). Dit betekent dat de testset antigenen bevat die significant verschillen van die in de trainset, wat een echte uitdaging voor generalisatie vormt.
   • In-distribution vs. Out-of-Distribution (OOD): Er werden ook tests gedaan waarbij de splits gebaseerd waren op antilichaam-identiteit (90%/95%) om in-distribution prestaties te meten.

Belangrijkste Resultaten

De prestaties werden gemeten aan de hand van Recall@k (R@k), waarbij k=1, 5, en 10, in beide richtingen (Antilichaam → Antigeen en Antigeen → Antilichaam).

• Out-of-Distribution (OOD) Prestaties (Antigeen-clustering):

  • Bij de strengste test (40% identiteit, zeer nieuwe antigenen): CALM bereikte een R@1 van ~2% en R@10 van ~9%. Dit is significant hoger dan de willekeurige baseline (R@1 ~0,6%).
  • Bij 80% identiteit (minder strenge OOD): De prestaties verbeterden naar een R@1 van ~6-7% en R@10 van ~16-19%.
  • Symmetrie: De prestaties waren consistent in beide richtingen (Ab→Ag en Ag→Ab), wat aangeeft dat het model een gebalanceerde gedeelde embedding-ruimte heeft geleerd.

• Invloed van Maskering:

  • Het gebruik van masks die alleen de bindingsinterface (paratope/epitope) tonen, leverde systematisch betere resultaten op dan het gebruik van volledige sequenties. Dit suggereert dat het focussen op interface-residuen de signaal-ruisverhouding verbetert.

• In-Distribution Prestaties (Antilichaam-clustering):

  • Wanneer getest werd op antigenen die bekend waren bij het model (maar met nieuwe antilichamen), steeg de prestatie aanzienlijk: R@1 van ~18-19% en R@10 van ~33-35%.
  • Dit toont aan dat het model effectief kan generaliseren binnen bekende antigen-distributies.

Belangrijkste Bijdragen

1. Eerste Sequence-Native Foundation Model: CALM is een van de eerste modellen dat probeert antilichaam-antigeen specificiteit direct vanuit sequenties te leren zonder structurele input, met als doel een "Immune Specificity Foundation Model" (ISFM) te worden.
2. Bidirectionele Retrieval: Het model lost zowel het "zoek" probleem op (welk antilichaam past bij dit antigeen?) als het "ontwerp" probleem (welk epitool past bij dit antilichaam?) binnen één raamwerk.
3. Contrastief Leren voor Immunologie: Het toont aan dat contrastief leren (vergelijkbaar met CLIP) effectief is voor het aligneren van heterogene biologische modaliteiten (immunoglobulines en antigenen) in een gedeelde vectorruimte.
4. Data-efficiëntie: Ondanks een relatief kleine dataset (~3.000-4.000 paren) presteert het model significant beter dan willekeurig, wat suggereert dat de wiskunde van contrastief leren goed overeenkomt met de wiskunde van immuunherkenning (clonale selectie).

Significantie en Toekomstperspectief

• Paradigmaverschuiving: CALM biedt een pad naar een schaalbaar systeem dat het immuunrepertoire kan "lezen" voor diagnostiek en nieuwe therapeutica kan "ontwerpen" zonder dure en tijdrovende experimentele screening.
• Brug naar Generatief Ontwerp: Hoewel de decoder in deze studie nog niet is getraind, legt de dual-encoder de basis voor een toekomstig model dat niet alleen kan zoeken, maar ook sequenties kan genereren (generatieve design).
• Theoretische Implicaties: De auteurs suggereren dat de data-efficiëntie van het model kan worden verklaard door de wiskundige equivalentie tussen de softmax-attention in transformers en de Boltzmann-verdeling van antilichaam-antigeen interacties. Dit zou betekenen dat immunologische schaalwetten anders kunnen zijn dan de bekende power-law wetten in deep learning.
• Beperkingen: Het model is momenteel beperkt tot retrieval-taken; er is nog geen experimentele validatie (wet-lab) uitgevoerd en de generatieve component moet nog worden ontwikkeld.

Kortom, CALM zet een fundamentele stap in het oplossen van het "sequentie-naar-specificiteit" probleem en biedt een veelbelovend raamwerk voor de toekomstige ontwikkeling van geavanceerde immunologische AI-modellen.