AbAffinity: A Large Language Model for Predicting Antibody Binding Affinity against SARS-CoV-2

In deze studie presenteren de auteurs Ab-Affinity, een nieuw groot taalmodel dat de bindingsaffiniteit van antilichamen tegen SARS-CoV-2 nauwkeurig kan voorspellen om zo het ontwerp van neutraliserende antilichamen te ondersteunen.

De kern

Hier is een uitleg van het onderzoek over Ab-Affinity, vertaald naar begrijpelijk Nederlands met behulp van creatieve vergelijkingen.

De Grote Uitdaging: Een Sleutel voor een Slot

Stel je voor dat het immuunsysteem van ons lichaam een enorme sleutelkast is. Antilichamen zijn de sleutels, en virussen (zoals SARS-CoV-2) zijn de sloten. Om een virus te verslaan, moet je de perfecte sleutel vinden die precies in het slot past.

Het probleem is dat het vinden van die perfecte sleutel vaak als een gokspel is. Wetenschappers moeten duizenden potentiële sleutels maken, ze fysiek testen in een laboratorium en kijken welke het beste past. Dit proces is als het zoeken naar een naald in een hooiberg, maar dan duurt het jaren, kost het een fortuin en vereist het veel dierenproeven.

De Oplossing: Een "Super-Lesboek" voor AI

De auteurs van dit paper hebben een nieuwe kunstmatige intelligentie (AI) bedacht die Ab-Affinity heet. Je kunt je dit voorstellen als een super-slimme student die een enorme bibliotheek heeft gelezen.

In plaats van dat deze student fysiek naar het laboratorium gaat om sleutels te testen, heeft hij miljoenen voorbeelden gelezen van hoe sleutels (antilichamen) eruitzien en hoe goed ze werken. Hij heeft een "gevoel" ontwikkeld voor welke vorm van een sleutel het beste in welk slot past.

Hoe werkt het precies?

1. Het Leermateriaal (De Dataset)
De AI is getraind op een gigantische verzameling data: bijna 72.000 verschillende varianten van antilichamen die zijn ontworpen om te vechten tegen een specifiek stukje van het coronavirus (de HR2-peptide). Het is alsof de AI heeft geoefend met een doos vol met 72.000 verschillende sleutels, waarbij hij voor elke sleutel precies wist: "Deze past perfect" of "Deze past niet".

2. De Architectuur (De Breinstructuur)
De AI gebruikt een technologie die BERT heet (dezelfde technologie die achter Google Translate zit, maar dan aangepast voor eiwitten).

• Vergelijking: Stel je voor dat een eiwit (antilichaam) een zin is in een taal. De AI leert niet alleen welke letters (aminozuren) er staan, maar ook hoe ze samenwerken. Net zoals je in een zin weet dat "de hond" en "blaft" bij elkaar horen, leert de AI welke delen van het antilichaam bij elkaar horen om het virus te grijpen.
• De AI kijkt naar de hele zin (het antilichaam) en begrijpt de langeafstandsrelaties tussen de verschillende letters.

3. Wat levert het op? (De Resultaten)
De onderzoekers hebben de AI getest en vergeleken met andere slimme methoden. Het resultaat was indrukwekkend:

• Precisie: De AI kon voorspellen hoe goed een antilichaam zou werken, bijna net zo goed als een fysieke test, maar dan in een split seconde.
• De "Kleurkaart": Als je de antilichamen op een kaart zet, zie je dat de AI ze netjes ordent. De "beste" sleutels zitten bij elkaar, en de "slechte" sleutels zitten verder weg. Andere methoden maakten een rommelige brij van punten.
• Verborgen Talent: Het meest verrassende is dat de AI, zonder dat iemand het haar specifiek had geleerd, ook begreep welke antilichamen hittebestendig zijn. Ze wist welke sleutels niet zouden smelten als het warm wordt. Dit is alsof je een student leert om sleutels te maken, en hij plotseling ook weet welke sleutels van roestvrij staal zijn gemaakt.

4. Het "Waarom" (De Aandachtskaarten)
De AI kan niet alleen voorspellen, maar ook uitleggen waarom. De onderzoekers keken naar de "aandachtskaarten" van de AI.

• Vergelijking: Het is alsof de AI een vergrootglas pakt en aangeeft: "Kijk hier! Dit stukje van de sleutel (de CDR-regio's) is het allerbelangrijkste om het slot te openen."
• Dit helpt wetenschappers om te begrijpen welke delen van het antilichaam ze moeten aanpassen om het nog beter te maken.

Waarom is dit belangrijk?

Voorheen duurde het jaren om een nieuwe medicijnkandidaat te vinden. Met Ab-Affinity kunnen wetenschappers nu:

1. Duizenden ontwerpen in de computer testen in plaats van in het lab.
2. Alleen de allerbeste kandidaten fysiek gaan testen.
3. Sneller reageren op nieuwe virusvarianten (zoals nieuwe mutaties van het coronavirus).

Conclusie

Ab-Affinity is als een visionair architect die een gebouw (een medicijn) kan ontwerpen dat perfect past bij de bestaande fundering (het virus), zonder dat hij eerst het hele gebouw hoeft te bouwen om te zien of het staat. Het maakt het proces van het vinden van nieuwe geneesmiddelen sneller, goedkoper en slimmer.

De code en het model zijn gratis beschikbaar voor iedereen die het wil gebruiken, zodat de wereld sneller kan vechten tegen infectieziekten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "AbAffinity: A Large Language Model for Predicting Antibody Binding Affinity against SARS-CoV-2", geschreven in het Nederlands.

Probleemstelling

Het ontwerpen van neutraliserende antilichamen tegen infectieziekten, zoals COVID-19, vereist een nauwkeurige voorspelling van de bindingsaffiniteit (hoe sterk een antilichaam bindt aan een specifiek antigeen, zoals het SARS-CoV-2 spike-eiwit).

• Huidige uitdagingen: Traditionele experimentele methoden (zoals SPR, ELISA en BLI) zijn tijdrovend, duur en vereisen vaak dierproeven om kandidaat-antilichamen te selecteren.
• Computational gap: Bestaande computationele modellen voor het voorspellen van eiwit-eiwit interacties hebben moeite met de specifieke complexiteit van antilichamen. Veel modellen zijn getraind op "generieke" eiwitten of multi-target datasets en zijn niet optimaal voor de hoge specificiteit van antilichaam-antigeen bindingen, vooral bij flexibele regio's (intrinsiek ongeordende eiwitregio's) die vaak voorkomen in antilichamen.
• Specifieke noodzaak: Er is een efficiënt model nodig dat specifiek is getraind op SARS-CoV-2-gerelateerde data om de lijst van kandidaat-antilichamen voor experimentele testen effectief in te perken.

Methodologie

De auteurs introduceren Ab-Affinity, een nieuw Large Language Model (LLM) dat is ontworpen voor deze specifieke taak.

1. Dataset:

   • Het model is getraind op een dataset van 104.972 mutante varianten van drie "seed"-antilichamen (Ab-14, Ab-91, Ab-95).
   • De sequenties zijn afgeleid van een phage display library en bevatten mutaties in de zware en lichte ketens.
   • De doelwitpeptide is het HR2-gebied van het SARS-CoV-2 spike-eiwit (een gebied dat geconserveerd is over verschillende varianten van SARS en MERS).
   • De bindingsaffiniteit ($K_D$) is experimenteel bepaald via een competitieve bindingassay. Na preprocessing (verwijderen van outliers en middelen van replicaten) bleven 71.834 unieke antilichamen over voor training.
   • Het model leert de voorspelling van de log-getransformeerde bindingsaffiniteit ($\log_{10}(K_D)$).

2. Model Architectuur:

   • Basis: Het model is gebaseerd op de BERT-architectuur, zoals geïmplementeerd in ESM-2 (Evolutionary Scale Modeling 2).
   • Structuur: Het bestaat uit $N$ sequentiële encoder-blokken met multi-head attention en feed-forward lagen. De auteurs hebben $N=6, 12$ en $33$ getest.
   • Selectie: Het beste model heeft 33 lagen (650M parameters) en is fine-tuned op de pre-trained ESM-2 weights. Dit maakt gebruik van de kennis die ESM-2 heeft opgedaan over de hele eiwitdatabase, maar specialiseert het model voor SARS-CoV-2 bindingsdata.
   • Output: Het model genereert een sequentie-embedding (vectorrepresentatie) die wordt gebruikt voor twee doelen:
     1. Directe regressie naar bindingsaffiniteit via een volledig verbonden laag.
     2. Generatie van intra-residue attention maps om interacties tussen aminozuren te visualiseren.

3. Training:

   • Loss-functie: Mean Squared Error (MSE).
   • Optimizer: Adam.
   • Verdeling: 85% training, 15% validatie.
   • Hardware: NVIDIA A100 GPU's.

Belangrijkste Bijdragen

1. Specifiek LLM voor SARS-CoV-2: Ab-Affinity is het eerste model dat specifiek is getraind op een grote dataset van geengineerde antilichamen gericht op het SARS-CoV-2 HR2-peptide, in plaats van generieke eiwit-databases.
2. Interpreteerbaarheid: Het model levert attention maps op die inzicht geven in welke aminozuur-residu-interacties (vooral in de Complementarity Determining Regions, CDRs) cruciaal zijn voor sterke versus zwakke binding.
3. Veelzijdigheid: De embeddings van Ab-Affinity blijken niet alleen nuttig voor regressie (affiniteit), maar ook voor downstream classificatietaken en het voorspellen van thermostabiliteit, hoewel het model niet expliciet daarop is getraind.
4. Open Source: De code en het model zijn beschikbaar gesteld via GitHub en PyPi, wat de reproduceerbaarheid en adoptie in de gemeenschap faciliteert.

Resultaten

De prestaties van Ab-Affinity werden vergeleken met state-of-the-art methoden zoals DG-Affinity, ESM-2 (zonder fine-tuning op deze specifieke data), en AbLang.

• Voorspellende Accuraatheid:

  • Ab-Affinity behaalde de hoogste Pearson- en Spearman-correlatiecoëfficiënten op de testset.
  • Terwijl DG-Affinity een lage correlatie had (0,194), presteerde Ab-Affinity aanzienlijk beter. De scatterplots toonden een steilere regressielijn, wat wijst op superieure voorspelling.
  • Ook op specifieke datasets (14H en 14L mutaties) behaalde Ab-Affinity de hoogste correlaties (Pearson 0,652 en 0,712).

• Latente Ruimte Analyse (t-SNE):

  • De t-SNE visualisatie van de embeddings toonde een gladde gradiënt van bindingsaffiniteit. Dit betekent dat antilichamen met vergelijkbare affiniteit dicht bij elkaar in de vectorruimte liggen.
  • In tegenstelling hieraan toonden de embeddings van het generieke ESM-2-model geen duidelijke gradiënt voor affiniteit.

• Downstream Classificatie:

  • Bij het classificeren van antilichamen in categorieën (Hoog/Medium/Low affiniteit) en het bepalen of een mutatie de binding verbetert, presteerden classifiers gebaseerd op Ab-Affinity embeddings aanzienlijk beter (hoge AUC-waarden) dan die gebaseerd op ESM-2.

• Thermostabiliteit:

  • Opmerkelijk genoeg scheidde de t-SNE visualisatie van Ab-Affinity embeddings antilichamen duidelijk op basis van hun experimenteel bepaalde thermostabiliteit. Dit suggereert dat het model "inheemse regels" heeft geleerd die zowel de bindingsfysica als de eiwitstabiliteit omvatten.

• Attention Maps:

  • De analyse van residue-residue contacten toonde aan dat het model zich concentreert op de CDR-regio's (CDR-H1, CDR-H2, CDR-L1) en de aangrenzende gebieden, wat biologisch consistent is met de locatie van het bindingsparatope.

Significantie

Ab-Affinity markeert een aanzienlijke vooruitgang in het veld van computationele antilichaamontwerp:

• Efficiëntie: Het model kan de dure en tijdrovende experimentele screening van kandidaat-antilichamen aanzienlijk versnellen door de lijst van veelbelovende kandidaten te filteren.
• Algemene Toepasbaarheid: Het bewijs dat het model ook thermostabiliteit kan voorspellen zonder expliciete training, suggereert dat het diepgaandere biologische principes van eiwitstructuur en -stabiliteit heeft geleerd.
• Toekomstperspectief: De beschikbaarheid van het model als Python-pakket maakt het een krachtig instrument voor onderzoekers om nieuwe therapeutische antilichamen tegen SARS-CoV-2 en mogelijk andere virussen te ontwerpen en te optimaliseren.

Kortom, Ab-Affinity combineert de kracht van Large Language Models met specifieke biomedische data om een nauwkeurig, interpreteerbaar en veelzijdig hulpmiddel te bieden voor de strijd tegen infectieziekten.