Structural Plausibility Without Binding Specificity: Limits of AI-Based Antibody-Antigen Structure Prediction Confidence Scores

Deze studie toont aan dat, ondanks het genereren van structureel plausibele complexen, de interne betrouwbaarheidsscores van AI-gestuurde structuurvoorspellingsmethoden zoals AlphaFold3 vaak falen in het onderscheiden van echte antilichaam-antigeen interacties van onjuiste koppelingen, wat aangeeft dat deze scores niet inherent gekalibreerd zijn voor bindingspecificiteit.

De kern

Titel: Waarom de slimste AI-robots nog steeds niet weten wie echt verliefd is

Stel je voor dat je een enorme bibliotheek hebt met duizenden unieke sleutels (antilichamen) en duizenden unieke sloten (antigenen). De grote droom van de farmaceutische wereld is om met een supercomputer te zeggen: "Deze sleutel past perfect in dit slot, en alleen in dit slot!" Dit zou het vinden van nieuwe medicijnen enorm versnellen.

De auteurs van dit onderzoek hebben gekeken naar de nieuwste, slimste AI-robots (zoals AlphaFold3, Boltz-2 en Chai-1) die dit moeten doen. En hun conclusie is verrassend en een beetje zorgwekkend: Deze robots zijn goed in het bouwen van mooie huizen, maar ze weten niet welke sleutel bij welk slot hoort.

Hier is de uitleg in simpele taal:

1. De Grote Test: De "Verwarde Bibliotheek"

Om te testen of de AI echt slim is, hebben de onderzoekers een gruwelijke proef opgezet.

• De echte paren: Ze namen 106 bekende combinaties van sleutel en slot die in de natuur bestaan (bijvoorbeeld een virus en een antilichaam dat het aanvalt).
• De nep-paren: Ze namen diezelfde 106 sleutels en 106 sloten en mixten ze volledig door elkaar. Ze maakten 11.000 nep-combinaties. Een sleutel die eigenlijk voor een virus was, kregen ze bij een eiwit dat daar niets mee te maken heeft.

Vervolgens lieten ze de AI-robots al deze combinaties voorspellen. De vraag was: Kan de AI zien welk paar echt bij elkaar hoort en welke paren gewoon "mooi lijken" maar in het echt nooit werken?

2. Het Probleem: "Mooie Huisjes" zonder Bestemming

De AI-robots waren verrassend goed in het bouwen van structuren. Ze maakten complexe 3D-modellen van hoe een sleutel in een slot zou kunnen zitten.

• De illusie: Bij de echte paren (de goede combinaties) bouwden ze prachtige, stabiele structuren.
• De valstrik: Maar bij de nep-paren (de verkeerde combinaties) bouwden ze ook prachtige, stabiele structuren!

Het is alsof je een architect vraagt om een deur te ontwerpen. Hij maakt een prachtige deur die perfect in een kozijn past. Maar als je hem vraagt of die deur bij jouw huis hoort of bij het huis van je buurman, zegt hij: "Nou, het ziet er allemaal heel stevig en logisch uit, dus ja, het past wel."

De AI kan niet onderscheiden tussen "structuur die er goed uitziet" en "biologische waarheid".

3. De Vertrouwensmeter: De "Zelfverzekerdheid" van de Robot

De AI-robots hebben een ingebouwde meter die zegt: "Ik ben 90% zeker dat dit klopt." Dit noemen ze de confidence score.

• De onderzoekers hoopten dat deze meter hoog zou zijn voor de echte paren en laag voor de nep-paren.
• De teleurstelling: De meter was vaak hoog voor beide groepen. De robot was net zo zelfverzekerd over een fout antwoord als over een goed antwoord.
• De analogie: Het is alsof een gokker die blindelings raadt, maar elke keer met een glimlach zegt: "Ik weet het zeker!" De zelfverzekerdheid zegt niets over de juistheid.

4. Meer Rekenkracht Lost het Niet Op

Een logische gedachte is: "Als we de AI maar langer laten rekenen en meer varianten laten proberen, wordt het dan beter?"

• Wat er gebeurt: Ja, de structuur wordt soms net iets mooier (de sleutel past nog strakker in het slot).
• Wat er NIET gebeurt: De AI wordt niet beter in het kiezen van het juiste slot. Als de AI in de eerste seconde de verkeerde richting opkijkt, blijft hij daar vastzitten, zelfs als hij 100 keer meer rekentijd krijgt.
• De les: Het is alsof je een GPS hebt die je naar de verkeerde stad stuurt. Als je hem urenlang laat rekenen, berekent hij misschien de snelste route naar die verkeerde stad, maar hij zal je nooit vertellen dat je eigenlijk naar een andere stad moet.

5. Wat betekent dit voor de toekomst?

Dit onderzoek is een noodkreet voor de wetenschap. We kunnen niet zomaar vertrouwen op de "zelfverzekerdheid" van AI om nieuwe medicijnen te vinden.

• Het risico: Als bedrijven nu duizenden kandidaten laten screenen met deze AI, zullen ze veel "valse positieven" vinden. Ze denken dat ze een medicijn hebben gevonden, maar het is alleen maar een mooie, nep-structuur.
• De oplossing: We moeten de AI niet alleen laten bouwen, maar ook laten testen tegen "nep-voorbeelden" (zoals in dit onderzoek). We moeten de AI leren dat "mooi zien" niet hetzelfde is als "werken".

Kortom:
De AI-robots zijn geweldige architecten die prachtige gebouwen kunnen ontwerpen. Maar ze zijn nog geen detectives die kunnen zeggen welke sleutel bij welk slot hoort. Ze bouwen vaak een perfect huis voor de verkeerde bewoner, en ze zijn er dan ook nog eens heel zeker van dat het de juiste bewoner is. Voor echte medicijnontdekking moeten we dus nog een stapje verder gaan dan alleen naar de computer te kijken.

Technische samenvatting

Probleemstelling

Het voorspellen van de binding tussen antilichamen (of nanobodies/VHH's) en antigenen blijft een centrale uitdaging voor AI-gedreven therapeutische ontdekking. Hoewel moderne deep-learning modellen (zoals AlphaFold3, Boltz-2 en Chai-1) uitstekende prestaties leveren bij het voorspellen van de structuur van individuele eiwitten en sommige complexen, is het nog steeds moeilijk om te onderscheiden tussen:

1. Cognate interacties: De biologisch correcte binding tussen een specifieke antilichamensequentie en zijn echte doelwit.
2. Niet-cognate interacties: Foutieve koppelingen die structureel plausibel lijken (geometrisch mogelijk), maar biologisch incorrect zijn.

In de praktijk van in silico screening worden vaak duizenden kandidaten gegenereerd en gefilterd op basis van interne betrouwbaarheidsscores (zoals ipTM). De auteurs stellen dat deze scores mogelijk niet gekalibreerd zijn op "bindingsspecificiteit", wat leidt tot veel vals-positieven waarbij modellen een hoge confidence score geven aan fysisch onmogelijke of biologisch irrelevante complexen.

Methodologie

De auteurs introduceerden een gecontroleerd, method-agnostisch evaluatiekader om bindingsspecificiteit te testen onder realistische omstandigheden.

• Dataset: Ze gebruikten 106 experimenteel bepaalde nanobody-antigeencomplexen (VHH-Ag) uit de PDB.
• Real vs. Shuffled Design:
  • Real (Cognate): De originele, experimenteel bewezen koppelingsparen.
  • Shuffled (Niet-cognate): Kunstmatig gegenereerde paren waarbij een VHH uit het ene experimenteel complex werd gekoppeld aan een antigeen uit een ander complex. Deze paren zijn biologisch incorrect en fungeren als "ground-truth decoys".
  • Dit resulteerde in een totale set van ongeveer 11.342 geschudde paren (plus de 106 echte paren), wat een "all-vs-all" benchmark creëerde.
• Geëvalueerde Modellen: Drie state-of-the-art structurele voorspellingsmodellen: AlphaFold3 (AF3), Boltz-2, en Chai-1.
• Schaal: Voor elk systeem werden 50 stochastische replicaten (samples) gegenereerd, wat neerkomt op ongeveer 1,8 miljoen gegenereerde complexen in totaal.
• Evaluatiemetrics:
  • ipTM: Interface predicted TM-score (interne confidence score).
  • DockQ: Een strenge structuurkwaliteitsmeting (alleen toepasbaar op echte paren met een referentiestructuur).
  • Epitope Recall: Het percentage van de experimenteel gedefinieerde epitope-residuen dat door het model wordt geraakt.
  • Clash Scores: Maat voor steric clashes (geometrische plausibiliteit).
  • Computational Cost: Energieverbruik (Wh) en tijdsduur voor verschillende steekproefdieptes (sampling depth).

Belangrijkste Bijdragen

1. Nieuwe Benchmark: Een robuust "Real vs. Shuffled" benchmarkkader dat specifiek test op specificiteit in plaats van alleen op geometrische plausibiliteit.
2. Datapublicatie: De release van ongeveer 1,8 miljoen AI-genererde complexstructuren en bijbehorende scripts voor community-benchmarking.
3. Kritische Analyse van Confidence Scores: Het aantonen dat interne scores (ipTM) niet gekalibreerd zijn voor het onderscheiden van ware binders van niet-bindende decoys.
4. Sampling vs. Specificiteit: Een analyse van de relatie tussen het verhogen van het aantal samples (sampling) en de verbetering van de voorspellingskwaliteit versus de betrouwbaarheidsscore.

Resultaten

1. Gebrek aan Specificiteit in Confidence Scores

• De interne confidence scores (ipTM) van alle drie de modellen faalden om realistische complexe paren onderscheidend te maken van geschudde (foute) paren.
• Heatmaps: De interactielandschappen toonden geen duidelijke verrijking langs de diagonaal (ware paren). Geschudde paren kregen vaak vergelijkbare hoge scores als de echte paren.
• PR-AUC (Precision-Recall): De prestaties waren laag. AlphaFold3 scoorde het beste (AP = 0,187), maar dit is nog steeds ver weg van een betrouwbare scheiding. Boltz-2 gaf bijna overal hoge scores (veel vals-positieven), terwijl Chai-1 over het algemeen lage scores gaf.
• Conclusie: Een hoge ipTM betekent niet dat de binding biologisch correct is; het betekent vaak alleen dat de structuur geometrisch plausibel is.

2. Discrepantie tussen Structuurkwaliteit en Confidence

• Calibratie: Er is een duidelijke disconnectie tussen de voorspelde confidence en de werkelijke structuurkwaliteit (gemeten met DockQ).
  • Boltz-2: Systematisch oververzekerd (overconfident). Het gaf hoge scores aan structuren met slechte DockQ-waarden.
  • Chai-1: Systematisch onderverzekerd (underconfident). Veel structuren met goede DockQ-waarden kregen lage scores.
  • AlphaFold3: Toonde de beste kalibratie, maar nog steeds niet perfect.
• Sampling Effect: Het verhogen van het aantal samples (van 1 tot 100) verbeterde de structuurkwaliteit (DockQ) aanzienlijk, vooral bij AF3 en Boltz-2. Echter, de ipTM-scores veranderden hier nauwelijks door. De confidence scores waren "vastgezet" (locked-in) aan de initiële hypothese en reageerden niet op structurele verbeteringen die door verdere sampling werden bereikt.

3. Epitope Herkenning

• Modellen konden vaak wel een plausibel contactgebied op het antigeen vinden, zelfs bij geschudde paren. De "epitope recall" (het vinden van de juiste epitope-residuen) was laag en overlapte sterk tussen echte en geschudde paren.
• Het verhogen van het aantal samples verhoogde de schijnbare verrijking van epitope-contacten, maar dit gebeurde even snel voor zowel echte als geschudde paren, wat suggereert dat modellen generieke contactvoorkeuren volgen in plaats van specifieke biologische interacties te leren.

4. Computatiekosten en Efficiëntie

• Er zijn grote verschillen in energiegebruik tussen de modellen. Chai-1 was het duurst per sample, terwijl AF3 een hoge basislast had (door MSA-berekening) maar lagere marginale kosten voor extra samples.
• Diminishing Returns: De meeste kwaliteitswinst (DockQ) wordt behaald met een beperkt aantal samples (ongeveer 10-25). Verdere sampling levert weinig extra kwaliteit op ten opzichte van de extra rekenkosten.
• Seed Variabiliteit: De keuze van de random seed had een enorme impact op de uitkomst. Het is vaak effectiever om over meerdere onafhankelijke seeds te spreiden dan om diep te boren in één enkele seed.

Betekenis en Conclusie

De studie concludeert dat structurele plausibiliteit niet gelijkstaat aan bindingsspecificiteit. De huidige AI-modellen zijn uitstekend in het genereren van geometrisch plausibele complexen, maar hun interne confidence scores zijn onbetrouwbaar als filter voor biologische correctheid in een screening-context.

Praktische Implicaties:

• Geen "High Confidence = Correct": Het vertrouwen op interne scores (zoals ipTM) om binders te selecteren in grote bibliotheken zal leiden tot een overvloed aan vals-positieven.
• Nieuwe Workflow: Voor effectieve ontdekking moeten workflows verschuiven van het gebruik van absolute confidence-thresholds naar:
  1. Het gebruik van negatieve controles (zoals geschudde paren) om scores te kalibreren binnen een specifieke context.
  2. Het benutten van ensemble-consistentie (hoe stabiel is de voorspelling over verschillende seeds?) in plaats van alleen de hoogste score.
  3. Het integreren van biofysische filters (zoals moleculaire dynamica) om de plausibiliteit van de binding te verifiëren, aangezien statische AI-voorspellingen dynamische aanpassingen (induced fit) vaak missen.

Kortom, de auteurs waarschuwen dat de AI-gemeenschap en de farmaceutische industrie moeten stoppen met het blindelings vertrouwen op interne confidence scores voor bindingsspecificiteit en moeten investeren in betere benchmarking, kalibratie en post-predictie filtering.