KinConfBench: A Curated Benchmark for Cofolding Models on Kinase Conformational States

Deze studie introduceert KinConfBench, een benchmark voor het evalueren van cofolding-modellen op kinases, en onthult dat deze modellen ondanks een redelijke classificatie-accuraatheid lijden aan mode collapse, gebrek aan structurele diversiteit en een neiging om de ligand-vrije toestand te voorspellen, wat aantoont dat het vastleggen van conformationele diversiteit essentieel is voor de toekomstige structuur-gebaseerde geneesmiddelenontwikkeling.

De kern

De "KinConfBench": Een Nieuwe Test voor De Toekomst van Geneesmiddelenontwikkeling

Stel je voor dat je een enorme bibliotheek hebt met bouwplannen voor duizenden verschillende sleutels (eiwitten) die deuren openen in ons lichaam. Sommige deuren moeten open, andere dicht. De sleutels die we zoeken zijn medicijnen. In de afgelopen jaren hebben superkrachtige computers (AI) geleerd om deze bouwplannen te tekenen op basis van alleen de beschrijving van de sleutel. Dit noemen we "cofolding" modellen.

Maar er is een groot probleem: deze AI's zijn zo goed in het tekenen van de vorm van de sleutel, dat ze vergeten hoe de sleutel zich gedraagt als hij in het slot zit.

Dit artikel introduceert KinConfBench, een nieuwe, zeer strenge test die ontdekt dat deze slimme AI's vaak in de valkuil lopen. Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Vaste Beeld" Valstrik

Stel je een danser voor (het eiwit) die twee houdingen kan aannemen:

• Houding A (Actief): De danser staat strak en klaar om te springen.
• Houding B (Inactief): De danser buigt door en maakt ruimte.

Een medicijn (de danspartner) komt binnen en wil de danser in een specifieke houding dwingen. Als je een medicijn wilt maken dat de danser stilzet, moet je de danser in Houding B dwingen.

De huidige AI-modellen (zoals Boltz-2, Chai-1 en Protenix) zijn fantastisch in het tekenen van de danser en de partner die perfect bij elkaar passen. Ze zeggen: "Kijk, ze passen perfect! De afstand tussen hun neuzen is 0,5 centimeter!" (Dit noemen ze de ligand RMSD).

Maar hier zit de valstrik: De AI tekent de danser soms in de verkeerde houding, terwijl de partner er perfect bij past. Het is alsof je een foto maakt van iemand die op een stoel zit, maar de stoel is omgekeerd. De persoon zit er perfect op, maar de stoel is kapot. De AI denkt: "Perfect!", maar in werkelijkheid werkt het medicijn niet omdat het eiwit de verkeerde vorm heeft aangenomen.

2. De Oplossing: KinConfBench

De auteurs van dit papier hebben een nieuwe testbank gemaakt, genaamd KinConfBench.

• Ze hebben 2.225 hoogwaardige voorbeelden van menselijke "kinasen" (een soort moleculaire schakelaars) verzameld.
• In plaats van alleen te kijken of het medicijn "past", kijken ze nu of het medicijn het eiwit in de juiste danshouding heeft gedwongen.
• Ze gebruiken een soort "dansscore" (de KinCoRe-labels) die meet of de knieën, ellebogen en rug van het eiwit in de juiste stand staan.

3. Wat Vonden Ze? (De Verbluffende Resultaten)

Toen ze de drie populairste AI-modellen op deze test lieten springen, zagen ze drie grote problemen:

• De "Alles-of-Niets" Probleem: De AI's zijn niet echt creatief. Als ze een fout maken, maken ze alle 20 pogingen die ze doen op dezelfde manier fout. Ze proberen niet verschillende danspassen uit. Het is alsof je een danser vraagt om 20 verschillende dansjes te doen, en hij doet 20 keer exact hetzelfde, zelfs als dat verkeerd is.
• De "Geen Medicijn" Drift (Apo-drift): Dit is het meest verrassende. Zelfs als je een medicijn toevoegt, neigen de AI's er sterk toe om het eiwit te tekenen alsof er geen medicijn is. Ze vergeten dat het medicijn er is en tekenen het eiwit in zijn "ruststand". Het is alsof je een foto maakt van iemand die een zware tas draagt, maar de AI tekent de persoon alsof hij niets draagt, omdat dat wat hij vaker heeft gezien.
• De Valse Veiligheid: De AI's hebben vaak een heel hoog zelfvertrouwen (een hoge score) over hoe goed het medicijn past, maar ze hebben het volledig mis over de vorm van het eiwit. Je kunt dus niet blindelings vertrouwen op de "score" van de AI.

4. Waarom Is Dit Belangrijk?

Voor het ontwikkelen van nieuwe medicijnen is het niet genoeg om te weten dat een medicijn "past". Je moet weten of het het eiwit in de juiste stand zet om de ziekte te bestrijden.

Als een AI een medicijn tekent dat perfect past, maar het eiwit in de verkeerde stand zet, zal het medicijn in de praktijk niet werken. Het is een mooie tekening, maar een slechte machine.

Conclusie

De boodschap van dit papier is helder: We moeten stoppen met alleen kijken naar hoe mooi de puzzelstukjes passen, en gaan kijken of het hele plaatje klopt.

De huidige AI's zijn geweldige tekenaars, maar ze zijn nog geen echte "denkers" die begrijpen hoe medicijnen de vorm van eiwitten veranderen. Met KinConfBench hopen de auteurs dat de volgende generatie AI's niet alleen mooie tekeningen maakt, maar ook de juiste danspassen leert, zodat we sneller betere medicijnen kunnen vinden.

Technische samenvatting

Probleemstelling

Hoewel data-gedreven modellen voor eiwitstructuurvoorspelling (zoals AlphaFold3) en "cofolding"-modellen (die complexen van eiwitten en kleine moleculen voorspellen) grote vooruitgang hebben geboekt, vertonen ze fundamentele tekortkomingen in de context van structurele geneesmiddelenontwikkeling (SBDD).

• Staticiteit vs. Dynamiek: Bestaande benchmarks focussen voornamelijk op de geometrische plaatsing van het ligand (RMSD) en de globale vouw van het eiwit. Ze behandelen het eiwitreceptor echter als een statisch frame, terwijl kinases dynamische moleculaire schakelaars zijn die tussen actieve en inactieve conformatiestaten wisselen.
• Induced-Fit: Het succes van geneesmiddelen (bijv. Type-I vs. Type-II remmers) hangt af van het vermogen van het model om de specifieke, door het ligand geïnduceerde conformatieveranderingen (induced-fit) te voorspellen, niet alleen de binding in een vaste pocket.
• Generalisatie: Er is een gebrek aan benchmarks die testen of modellen echt de fysica van moleculaire herkenning begrijpen of dat ze simpelweg trainingsdata memoriseren, wat leidt tot fouten bij nieuwe ligand-eiwitcombinaties.

Methodologie

De auteurs introduceerden KinConfBench, een zorgvuldig samengestelde benchmark om de prestaties van drie toonaangevende cofolding-modellen te evalueren: Boltz-2, Chai-1 en Protenix.

1. Dataverzameling en Cursatie:

   • Er werden 437 menselijke kinasedomijnen geïdentificeerd en hun bijbehorende PDB-entries opgehaald.
   • Na strikte filtering (oplossingskwaliteit < 4.5 Å, uitsluiting van NMR, verwijdering van pseudokinases en gefosforyleerde ketens) bleven er 2.225 hoogwaardige kinaseketens over.
   • Deze dataset omvat 43 unieke apo-doelen (ligand-vrij) en 1.377 unieke holo-complexen (ligand-gebonden).

2. Conformatie-Labeling (KinCoRe):

   • In plaats van alleen RMSD te gebruiken, werd de KinCoRe-software gebruikt om elke structuur te labelen op basis van acht categorische structurele kenmerken (o.a. oriëntatie van de DFG-motief, $\alpha$C-helix, zoutbrug, en activatielussen).
   • Een voorspelling wordt alleen als "correct" beschouwd als deze alle acht labels exact overeenkomt met de experimentele grondwaarheid.

3. Evaluatieprotocollen:

   • Geometrische filters: Eerst werd gekeken naar globale vouwkwaliteit (lDDT-C$\alpha$), pocket-geometrie (lDDT-PLI) en ligand-RMSD.
   • Ensemble-analyse: Per doelwit werden 20 structuren gegenereerd om de diversiteit en "mode collapse" (het voorspellen van slechts één type structuur) te testen.
   • Apo-to-Holo Generalisatie: Een cruciale test waarbij modellen werden getest op holo-toestanden die na hun trainingscutoff in de PDB verschenen. Dit testte of modellen de door het ligand veroorzaakte verschuiving van de apo- naar de holo-toestand konden voorspellen, of dat ze terugvielen in de gememoriseerde apo-toestand ("apo-drift").

Belangrijkste Resultaten

1. Geometrie vs. Conformatie:

   • Er is een zwakke correlatie tussen een succesvolle geometrische ligandplaatsing en de correcte voorspelling van de kinase-conformatiestaat. Modellen konden een perfecte ligand-RMSD bereiken terwijl ze de eiwitstructuur in de verkeerde conformatie (bijv. verkeerde DFG-oriëntatie) voorspelden.

2. Algoritme Prestaties:

   • Alle drie de modellen (Boltz-2, Chai-1, Protenix) bereikten een classificatie-accuratie van ongeveer 65-75% voor kinase-conformatie.
   • Er werd echter een ernstige "mode collapse" waargenomen: bij het genereren van 20 samples per doelwit waren de resultaten vaak "alles-of-niets". Als de top-1 voorspelling fout was, waren de andere 19 vaak ook fout, wat wijst op een gebrek aan graduele onzekerheid in het ensemble.

3. Beperkte Structurele Diversiteit:

   • Zelfs binnen correct gelabelde ensembles was de structurele spreiding (standaardafwijking in afstanden en hoeken) extreem klein (< 0.1 Å en < 5°). Dit is veel minder dan de thermische fluctuaties die nodig zijn om echte induced-fit bewegingen te simuleren.

4. Apo-Drift (Memorisatie):

   • Bij het testen van nieuwe holo-toestanden (die niet in de trainingsdata zaten), vertoonden alle modellen een sterke "apo-drift". Ze neigden er sterk toe om de kinase te voorspellen in de ligand-vrije (apo) toestand, in plaats van de door het ligand geïnduceerde holo-toestand. Dit suggereert dat de modellen de baselines van de trainingsdata memoriseren in plaats van de fysica van ligand-binding te generaliseren.

5. Case Study (MAP4K1):

   • Voor het systeem MAP4K1 (PDB: 7M0M) faalden alle modellen om de juiste geïnduceerde conformatie te vinden, ondanks perfecte ligandplaatsing. Ze vielen terug in een alternatieve DFG-in basin, wat de beperking van huidige modellen illustreert.

Bijdragen

• KinConfBench: De creatie van een gestandaardiseerde, hoogwaardige benchmark van 2.225 kinaseketens die specifiek is ontworpen om conformatieve fideliteit te testen in plaats van alleen geometrische fitting.
• Nieuwe Evaluatiemetrics: De invoering van KinCoRe-labels als grondwaarheid, wat een veel strengere en biologisch relevantere maatstaf biedt dan traditionele RMSD-metingen.
• Kritische Analyse van Bestaande Modellen: Het aantonen dat hoge confidence-scores en goede pocket-metrics niet garanderen dat het model de juiste functionele staat van het eiwit heeft voorspeld.

Betekenis en Toekomstperspectief

Dit onderzoek benadrukt dat voor de volgende generatie structurele geneesmiddelenontwikkeling het voorspellen van de juiste conformatiestaat (conformational correctness) cruciaal is, niet alleen het vinden van een geometrisch passende vouw.

• Implicaties: Huidige cofolding-modellen zijn nog niet betrouwbaar genoeg voor rationeel drugdesign waarbij specifieke induced-fit toestanden nodig zijn (bijv. voor Type-II remmers).
• Toekomst: De auteurs pleiten voor benchmarks die zich richten op:
  • Het modelleren van post-translatiële modificaties (PTMs) en mutaties.
  • Het evalueren van covalente remmers.
  • Het simuleren van competitieve dynamiek (meerdere liganden tegelijk), wat dichter bij de fysiologische realiteit ligt.

Kortom, KinConfBench blootlegt een kritieke kloof tussen de huidige staat van de kunst in eiwitvoorspelling en de eisen die worden gesteld aan modellen voor daadwerkelijke therapeutische toepassing.