On the Reliability of AI Methods in Drug Discovery: Evaluation of Boltz-2 for Structure and Binding Affinity Prediction

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je op zoek bent naar de perfecte sleutel voor een heel specifieke, ingewikkelde slot. Dat slot is een ziekteverwekkend eiwit in je lichaam, en de sleutel is een nieuw medicijn. Als de sleutel perfect past, werkt het medicijn. Als hij niet past, doet hij niets.

Deze wetenschappelijke studie is als een grote test van een nieuwe, supersnelle robot (genaamd Boltz-2) die beloofd heeft om duizenden sleutels in een flits te ontwerpen en te zeggen welke het beste past. De onderzoekers wilden weten: is deze robot echt zo slim als ze zeggen, of is het gewoon een dure tovertruc?

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De Belofte vs. De Realiteit

De robot (Boltz-2) is gebaseerd op kunstmatige intelligentie (AI). Hij is getraind op miljoenen voorbeelden en kan in een paar seconden voorspellen hoe een medicijn aan een eiwit plakt. Dat is ongelooflijk snel.

De droom: De robot zou de dure, trage natuurkundige berekeningen kunnen vervangen die wetenschappers nu gebruiken.
De test: De onderzoekers lieten de robot 38.000 verschillende "sleutels" (moleculen) ontwerpen voor twee verschillende "sloten" (eiwitten die betrokken zijn bij corona en kanker). Vervolgens vergelijkt ze deze met de oude, vertrouwde methode: een zeer nauwkeurige, maar trage natuurkundige simulatie (genaamd ESMACS).

2. Het Grote Misverstand: De Sleutel past niet altijd

Toen ze de ontwerpen van de robot bekeken, zagen ze een vreemd fenomeen:

De robot droomt: De robot lijkt te denken dat er niet één perfecte plek is waar de sleutel past, maar dat hij overal kan plakken. Soms zag hij de sleutel in een heel andere kamer van het huis hangen dan waar hij eigenlijk moet zitten.
De trage methode: De oude, trage natuurkundige methode zag precies waar de sleutel moest zitten.
Het probleem: De robot is zo snel, maar hij is soms zo creatief dat hij vergeten is dat een sleutel maar op één manier in een slot past. Hij ziet soms een sleutel die wel past, maar dan ondersteboven of op zijn kop.

3. De "Gouden Top 100" en de Teleurstelling

De onderzoekers keken naar de 100 beste sleutels die de robot had geselecteerd. Ze dachten: "Oké, de robot is misschien niet perfect voor alles, maar hij moet toch wel de allerbeste vinden."

Het resultaat: Niets was minder waar. Als je deze top 100 vergelijkt met de trage, nauwkeurige methode, was er geen enkele overeenkomst. De robot had totaal andere 100 sleutels gekozen dan de natuurkunde.
De analogie: Het is alsof de robot een lijst maakt van de 100 snelste auto's ter wereld, maar hij vergeet dat hij eigenlijk op zoek is naar de auto's die het beste over een modderweg rijden. Hij kijkt naar de snelheid, maar niet naar de bruikbaarheid.

4. De "Chemische Foutjes" (De Verkeerde Kleur)

Er was nog een gekke ontdekking. De robot ontwierp moleculen die er chemisch gezien niet helemaal goed uitzagen.

Voorbeeld: Stel je voor dat de robot een auto tekent, maar hij maakt de wielen van rubber in plaats van metaal, of hij tekent een auto die net iets te veel brandstof heeft.
In de studie zag men dat de robot soms atomen (de bouwstenen van het medicijn) verkeerd "satureerde". Hij maakte een ring van koolstofatomen soms te onstabiel of veranderde de vorm van een staartje. Dit lijkt klein, maar in de chemie is het alsof je de sleutel van koper maakt in plaats van staal: hij breekt of past niet meer.

5. Waarom is dit belangrijk?

De onderzoekers concluderen dat AI (zoals Boltz-2) geweldig is voor het snel scannen van enorme lijsten. Het is als een metaalzoeker op het strand: hij piept snel als hij iets metaals voelt.

Maar: Hij kan je niet vertellen of het een gouden munt is of een oude blikje. Voor dat laatste heb je de "oude, trage methode" nodig (de natuurkundige simulaties).
De robot mist de energetische precisie. Hij kan zeggen "dit lijkt op een sleutel", maar hij kan niet precies berekenen "hoe stevig deze sleutel in het slot draait".

De Conclusie in één zin

Boltz-2 is een snelle, slimme assistent die je kan helpen om duizenden ideeën te filteren, maar je kunt hem niet blindelings vertrouwen om de uiteindelijke winnaar te kiezen. Je moet zijn ideeën altijd controleren met de zware, betrouwbare natuurkunde, anders bouw je medicijnen op een fundering van zand.

Kortom: AI is een fantastische schetsmaker, maar voor de feitelijke bouw van medicijnen hebben we nog steeds de oude, nauwkeurige ingenieurs nodig.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het artikel "On the Reliability of AI Methods in Drug Discovery: Evaluation of Boltz-2 for Structure and Binding Affinity Prediction", vertaald en samengevat in het Nederlands.

Titel

Betrouwbaarheid van AI-methoden in de geneesmiddelenontdekking: Evaluatie van Boltz-2 voor structuur- en bindingsaffiniteitsvoorspelling

1. Het Probleem

Ondanks de enorme hype rondom kunstmatige intelligentie (AI) in de geneesmiddelenontwikkeling, is er tot nu toe nog geen enkel door AI ontdekt medicijn dat reguliere goedkeuring heeft gekregen. Een van de grootste uitdagingen blijft het nauwkeurig kwantificeren van interactie-energetica voor het identificeren van "hits" en het optimaliseren van leidende verbindingen.

Huidige situatie: Traditionele fysisch gebaseerde methoden (zoals ESMACS en TIES) zijn nauwkeurig maar computergewijs zeer duur, waardoor ze beperkt blijven tot kleine datasets. AI-methoden (zoals AlphaFold 2 en generatieve modellen) zijn snel, maar missen vaak fysische onderbouwing en kunnen de bindingsaffiniteit niet betrouwbaar voorspellen.
De uitdaging: Er is behoefte aan een model dat de snelheid van AI combineert met de precisie van natuurkunde. Boltz-2, een recent ontwikkelde biomoleculaire "foundation model", claimt deze kloof te overbruggen door een gezamenlijke "co-folding"-benadering te gebruiken voor zowel structuurvoorspelling als kwantitatieve bindingsaffiniteit, met een nauwkeurigheid die zou kunnen lijken op die van vrije-energieperturbatie (FEP).

2. Methodologie

De auteurs hebben een uitgebreide evaluatie uitgevoerd van Boltz-2 tegen twee grote, therapeutisch relevante datasets:

Datasets: 16.780 verbindingen voor SARS-CoV-2 main protease (3CLPro) en 21.702 verbindingen voor Tankyrase 2 (TNKS2).
Vergelijkingsbenchmark:
- Structuur: Vergelijking van de voorspelde proteïne-ligand complexen met traditionele docking-methoden en röntgenkristallografie (X-ray).
- Affiniteit: Vergelijking van de door Boltz-2 voorspelde bindingsaffiniteiten met bindingsvrije energieën ( $\Delta G$ ) berekend via het ESMACS-protocol (Enhanced Sampling of Molecular Dynamics with Approximation of Continuum Solvent). ESMACS is een ensemble-gebaseerde, fysisch gebaseerde methode die statistische onzekerheid kwantificeert en bekend staat om zijn hoge nauwkeurigheid.
Specifieke analyses:
1. Globale analyse: Analyse van de volledige datasets (RMSD, LDDT, correlaties).
2. Top-100 analyse: Een gefocuste studie op de 100 best gerangschikte verbindingen volgens Boltz-2, vergeleken met fijnkorrelige (fine-grained) ESMACS-simulaties.
3. Foutanalyse: Onderzoek naar chemische inconsistenties (zoals verzadigingsniveaus en protonatiestatus) in de door Boltz-2 gegenereerde structuren.

3. Belangrijkste Resultaten

A. Structurele Voorspellingen

Proteïne-conformaties: Voor 3CLPro voorspelde Boltz-2 één conformatie die dicht bij de X-ray-structuur lag. Voor TNKS2 werden echter aanzienlijke variaties waargenomen, met meerdere pieken in de RMSD-verdeling, wat suggereert dat het model meerdere mogelijke conformaties genereert in plaats van één geconvergeerde "native" toestand.
Ligand-posities: Er werden significante afwijkingen gevonden. Bij 3CLPro voorspelde Boltz-2 dat een aanzienlijk deel van de liganden bindt op plekken die volledig afwijken van de experimenteel bepaalde bindingsplek. Bij TNKS2 was de nauwkeurigheid beter, maar werden er nog steeds fouten in de oriëntatie (rotatie/flip) van de ligand binnen de juiste pocket waargenomen.
Vertrouwensscores: De interne "confidence scores" van Boltz-2 waren over het algemeen zeer hoog (>0.8) en sterk geconcentreerd, wat wijst op oververzekerdheid van het model zonder dat dit noodzakelijk correleert met de werkelijke nauwkeurigheid.

B. Voorspelling van Bindingsaffiniteit

Globale correlatie: Er werd slechts een zwakke tot matige correlatie gevonden tussen de voorspellingen van Boltz-2 en de ESMACS-berekeningen over de volledige datasets (Pearson $r \approx 0.24$ voor 3CLPro en $0.45$ voor TNKS2).
Top-100 Analyse: Cruciaal genoeg was er geen enkele correlatie tussen de voorspellingen van Boltz-2 en de ESMACS-resultaten voor de top-100 verbindingen. De correlatiecoëfficiënten vielen dicht bij nul.
Chemische inconsistenties: Bij analyse van de top-100 verbindingen bleek dat Boltz-2 systematische fouten maakte in de chemische structuur:
- Ringstructuren werden vaak voorspeld als te onverzadigd (aromatisch in plaats van verzadigd).
- Alifatische ketens werden vaak te verzadigd voorspeld.
- Deze fouten in de chemische identiteit (hybridisatie en verzadiging) hebben directe gevolgen voor de berekende bindingsenergieën, aangezien deze sterk afhankelijk zijn van de exacte 3D-structuur.

C. Reproduceerbaarheid

Hoewel de voorspellingen van Boltz-2 intern consistent waren (hoge correlatie tussen onafhankelijke runs), konden de absolute waarden van de bindingsaffiniteit variëren met ongeveer 1,5 kcal/mol. Dit is significant voor het rangschikken van kandidaten in het smalle bereik waarin het model voorspellingen doet.

4. Bijdragen en Conclusies

Snelheid vs. Nauwkeurigheid: Boltz-2 biedt aanzienlijke snelheid voor initiële screening, maar mist de energetische resolutie die nodig is voor de identificatie van leidende verbindingen (lead identification).
Beperking van AI: Het onderzoek toont aan dat foundation modellen, die trainen op statistische patronen in data, moeite hebben met de niet-lineaire en discontinuïteiten in de chemische ruimte (zoals "activity cliffs"). Ze kunnen geen betrouwbare vervanging zijn voor fysisch gebaseerde methoden in de late fasen van de geneesmiddelenontwikkeling.
Noodzaak van Fysica: De resultaten benadrukken dat AI-modellen niet kunnen vertrouwen op "magische" voorspellingen zonder fysische onderbouwing. Voor betrouwbare resultaten en verfijning van AI-afgeleide modellen zijn fysisch gebaseerde methoden (zoals ESMACS) essentieel.
Waarschuwing: AI-genereren van structuren moet altijd worden geverifieerd door experimentele structurele bepaling of rigorieuze fysische simulaties, aangezien het model structuren kan voorspellen die chemisch onjuist zijn of op de verkeerde bindingsplek liggen.

5. Significatie

Dit artikel is een belangrijke realiteitscheck voor de gemeenschap rond AI in de geneesmiddelenontwikkeling. Het weerlegt de claim dat Boltz-2 (en vergelijkbare foundation modellen) de nauwkeurigheid van geavanceerde fysische simulaties kan evenaren voor het rangschikken van verbindingen. Het onderstreept dat AI momenteel vooral nuttig is als filter voor het verkleinen van de zoekruimte, maar dat de definitieve validatie en optimalisatie nog steeds afhankelijk zijn van dure, maar noodzakelijke, natuurkundige methoden. De studie pleit voor een hybride aanpak waarbij AI en fysica elkaar aanvullen in plaats van dat AI de fysica vervangt.