Benchmarking antibody-antigen co-folding on human monomeric antigens

In de microscopische wereld van het menselijke immuunsysteem fungeren antilichamen als hooggespecialiseerde sleutels, ontworpen om perfect te passen in de sloten die worden gepresenteerd door invallende virussen of schadelijke eiwitten. Decennialang hebben wetenschappers gedroomd van het vermogen om precies te voorspellen hoe deze sleutels en sloten op elkaar passen door enkel naar hun chemische blauwdrukken te kijken. Deze vaardigheid zou de geneeskunde revolutioneren, waardoor onderzoekers nieuwe medicijnen en vaccins kunnen ontwerpen zonder elke versie in een laboratorium te hoeven bouwen en te testen. Deze voorspelling is echter een van de meest hardnekkige puzzels in de biologie gebleven. Hoewel computers uitstekend zijn geworden in het raden hoe twee eiwitten aan elkaar kunnen plakken, zijn antilichamen een speciaal geval. In tegen tegenstelling tot de meeste eiwitten die meevolleren met hun partners, evolueren antilichamen onafhankelijk, wat betekent dat ze de gedeelde evolutionaire geschiedenis missen die computers helpt bij het maken van nauwkeurige gissingen. Bovendien is het deel van het antilichaam dat daadwerkelijk de doelwit grijpt, een flexibele, wiebelige lus die voortdurend van vorm verandert, wat het extreem moeilijk maakt om met standaardinstrumenten te modelleren.

Een team van onderzoekers zette zich schar toe om te meten hoe ver de nieuwste generatie computerprogramma's is gekomen in het oplossen van deze specifieke puzzel. Ze verzamelden een enorme collectie van 412 real-world voorbeelden van antilichamen die gebonden zijn aan menselijke eiwitten, waardoor ze een rigoureuze testset creëerden die de computerprogramma's niet hadden gezien voordat ze werden gebouwd. Door tien verschillende voorspellingsmethoden tegen deze nieuwe data te draaien, ontdekten ze dat de meest recente software een dramatische sprong voorwaarts heeft gemaakt, waarbij ze erin slaagden de juiste vorm te voorspellen voor ongeveer de helft van de nieuwe, ongeziene gevallen. De studie toonde echter ook aan dat zelfs de beste programma's nog steeds worstelen met de meest flexibele delen en dat simpelweg vaker gokken niet altijd leidt tot een beter antwoord. De onderzoekers ontdekten dat als ze de computer precies konden vertellen waar het antilichaam het doelwit moest raken, de oudere programma's de nieuwere programma's konden inhalen, wat suggereert dat de belangrijkste hindernis niet alleen de intelligentie van de software is, maar het vermogen om het juiste startpunt te vinden in een enorme zee van mogelijkheden.

De onderzoekers begonnen met het samenstellen van een benchmark genaamd HuMonoAg-Bench, een gecureerde bibliotheek van 412 antilichaamcomplexen die menselijke eiwitten omvatten. Ze verdeelden deze collectie zorgvuldig in twee groepen op basis van wanneer de structuren werden ontdekt. Eén groep bestond uit 2nd 278 complexen die vóór september 2021 werden gepubliceerd, een datum die dient als een afkappunt voor de trainingsdata van veel moderne voorspellingsinstrumenten. De andere groep bevatte 134 complexen die na die datum werden gepubliceerd, wat ervoor zorgde dat de computerprogramma's deze specifieke vormen nog nooit hadden gezien. Om de test nog preciezer te maken, verdeelden ze de nieuwe groep verder in die betrokken bij antigenen die zeer vergelijkbaar waren met oudere, en die die volledig nieuw waren. Deze opzet stelde hen in staat om te testen of de computers simpelweg oude voorbeelden aan het onthouden waren of echt leerden hoe ze nieuwe interacties moeten voorspellen. Vervolgens draaiden ze tien verschillende co-folding protocollen — methoden die simuleren hoe twee eiwitten samen vouwen — tegen deze dataset, waarbij ze de resultaten vergeleken met de werkelijke experimentele structuren om te zien hoe dicht de voorspellingen erbij lagen.

De resultaten toonden een duidelijke en significante verbetering van de nieuwste methoden vergeleken met oudere methoden. Bij het voorspellen van de structuren van de nieuwe, ongeziene complexen slaagden de oudere software erin om in slechts ongeveer 16 tot 22 procent van de gevallen een correcte of bijna correcte vorm te vinden. In contrast hiermee slaagden de meest geavanceerde methoden, zoals Protenix v2, IntelliFold-2 en ESMFold2, erin om voor ongeveer 33 tot 52 procent van dezelfde gevallen een model van gemiddelde of betere kwaliteit te vinden. De beste presteerder, Protenix v2, behaalde een succespercentage van 52 procent voor standaard antilichamen en een nog hoger percentage van 82 procent voor een specifiek type single-domain antilichaam wanneer het antigeen bekend was. Ondanks deze vooruitgang benadrukte de studie dat bijna de helft van de nieuwe doelwitten nog onopgelost bleef, wat aangeeft dat hoewel het veld snel is gevorderd, een groot deel van de antilichaaminteracties nog steeds buiten het bereik van de huidige technologie ligt. De onderzoekers merkten op dat deze verbetering niet simpelweg kwam doordat de nieuwere programma's meer data hadden gezien, aangezien ze vergelijkbare trainingsafkappingen deelden, maar eerder te danken was aan fundamentele verbeteringen in hoe ze de complexe vormen modelleren.

Een diepere blik op waarom sommige voorspellingen slaagden en andere faalden, wees naar een specifiek structureel kenmerk: de CDRH3-lus. Dit is een flexibele, haarspeldachtige structuur op het antilichaam die fungeert als het primaire contactpunt met het doelwit. De studie vond dat de nauwkeurigheid van deze enkele lus de sterkste indicator was of een voorspelling succesvol zou zijn. Terwijl de computers over het algemeen goed waren in het modelleren van de rigide delen van het antigeen en de andere, stabielere lussen van het antilichaam, bleef de CDRH3-lus het moeilijkste onderdeel om goed te krijgen, vooral wanneer deze lang was. De nieuwere methoden vertoonden een duidelijke verbetering in het modelleren van deze specifieke lus, wat direct correleerde met hun hogere algehele succespercentages. Echter, zelfs wanneer de lokale structuur van de lus goed werd gemodelleerd, garandeerde dit niet dat het gehele antilichaam correct ten opzichte van het doelwit zou worden gepositioneerd, wat aantoont dat het goed krijgen van de onderdelen niet hetzelfde is als het correct assembleren van de hele puzzel.

De onderzoekers testten ook wat er zou gebeuren als ze de computerprogramma's een hint gaven over waar het antilichaam zou binden. In een real-world scenario weten wetenschappers misschien een paar belangrijke plekken op het doelwit-eiwit waar een antilichaam zich aan hecht, maar zij weten niet de exacte vorm van het antilichaam. Door deze beperkte informatie als een beperking (constraint) aan te leveren, zagen de oudere methoden hun succespercentages met 20 tot 30 procentpunten stijgen, waardoor ze op het niveau van de sterkste onbeperkte methoden kwamen. Deze bevinding suggereert dat de primaire beperking voor de oudere software niet een gebrek aan begrip van de fysica was, maar een onvermogen om de juiste bindingsmodus te vinden tussen miljarden mogelijkheden. Wanneer de zoekruimte door een hint werd vernauwd, konden de oudere programma's de oplossing vinden. Echter, dit voordeel hing sterk af van de nauwkeurigheid van de hint; als de verstrekte informatie slechts gedeeltelijk correct was, verdween de verbetering.

Ten slotte onderzochten het team of het vaker draaien van de simulaties de resterende problemen zou oplossen. Ze ontdekten dat voor de onbeperkte methoden het hoofdbestanddeel "sampling failure" was: de juiste vorm verscheen simpelweg nooit in de gegenereerde modellen. Wanneer ze het aantal simulatieruns verhoogden, vonden ze inderdaad meer correcte vormen, maar ze vonden ook dat het rankingsysteem van de computer vaak naliet om de beste als het topantwoord te kiezen. Dit creëerde een nieuwe bottleneck: zelfs wanneer het juiste antwoord werd gegenereerd, herkende de software het niet altijd als de beste optie. De studie concludeerde dat hoewel het verhogen van het aantal pogingen helpt, het vermogen om het beste model te ranken en te selecteren net zo belangrijk wordt als het vermogen om ze te genereren. De resterende onopgeloste gevallen waren een diverse mix van moeilijke doelwitten zonder één enkel gemeenschappelijk kenmerk, wat suggereert dat de weg vooruit vereist dat meerdere verschillende soorten uitdagingen worden opgelost in plaats van slechts één specifiek probleem aan te pakken.