PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

Dit artikel introduceert PoseBusters, een validatietool die aantoont dat huidige op deep learning gebaseerde methoden voor eiwit-ligand docking vaak falen in het genereren van fysiek plausibele structuren of het generaliseren naar nieuwe sequenties, waardoor ze onderpresteren ten opzichte van klassieke docking-tools die essentiële fysische principes beter integreren.

De kern

Stel je voor dat je op zoek bent naar de perfecte sleutel die in een zeer specifiek, complex slot past. In de wereld van medicijnontwikkeling is het "slot" een eiwit in je lichaam, en de "sleutel" is een potentieel medicijn (een molecuul). Het proces om precies uit te vogelen hoe die sleutel in het slot past, wordt docking genoemd.

Jarenlang hebben wetenschappers traditionele, op regels gebaseerde computerprogramma's gebruikt om dit te doen. Onlangs is er een nieuwe golf van "AI"-programma's (Deep Learning) gearriveerd, die beloven dit werk sneller en beter te doen. Deze AI-modellen zijn als briljante studenten die miljo'nen voorbeelden van sleutels en sloten uit hun hoofd hebben geleerd.

Echter, een nieuwe studie genaamd PoseBusters suggereert dat hoewel deze AI-studenten heel goed zijn in het onthouden van de vorm van de sleutel, ze er vreselijk in zijn om de fysica van hoe het echt werkt te begrijpen.

Hier is een eenvoudige analyse van wat het artikel heeft gevonden:

1. De "RMSD"-val: Goed lijken op papier

Wetenschappers beoordelen meestal hoe goed een docking-programma werkt door de RMSD te meten. Denk aan RMSD als een liniaal. Als de AI voorspelt waar de sleutel komt te zitten, en die voorspelling zit binnen 2 millimeter (Angstroms) van waar de sleutel in werkelijkheid zit (een kristalstructuur), krijgt de AI een voldoende.

Het artikel vond dat veel AI-programma's hoge scores halen op deze liniaal-test. Ze zeggen: "Kijk! Wij zijn 90% accuraat!"

2. De realiteitscheck: De "onmogelijke" sleutel

Het probleem is dat deze AI-programma's zo gefocust zijn op het matchen van de liniaal-meting, dat ze soms fysiek onmogelijke sleutels creëren.

Stel je voor dat de AI een sleutel voorspelt die:

• Een binding (een verbinding tussen atomen) heeft die zo dun is uitgerekt dat hij zou breken als een droge tak.
• Een ringvorm heeft die is verdraaid als een pretzel, terwijl de chemie zegt dat deze plat als een pannenkoek zou moeten zijn.
• Twee delen van de sleutel heeft die tegen elkaar aan botsen, zoals twee auto's die proberen door dezelfde deur te rijden op hetzelfde moment.

Het artikel noemt dit "fysiek onwaarschijnlijk". Het is alsof de AI een tekening heeft gemaakt van een sleutel die van een afstandje goed lijkt, maar als je hem zou proberen te bouwen, zou hij uit elkaar vallen of het slot breken.

3. PoseBusters in beeld: De inspecteur

Om deze slechte voorspellingen te vangen, hebben de auteurs een hulpmiddel gebouwd genaamd PoseBusters. Zie PoseBusters als een strenge bouwinspecteur of een kwaliteitscontrolemanager.

In plaats van alleen de liniaal (RMSD) te meten, controleert PoseBusters de "wetten van de fysica" voor elke voorspelling:

• Chemische geldigheid: Maakt het molecuul chemisch gezien zin? (bijv. Is de lading correct? Zijn de atomen correct verbonden?)
• Geometrie: Zijn de ringen plat? Zijn de bindingen de juiste lengte?
• Botsingen (Clashes): Is de sleutel tegen het slot of andere onderdelen van de machine opgeknald?

Als een voorspelling faalt voor deze controles, wordt deze als "ongeldig" gemarkeerd, ongeacht hoe goed de liniaal-meting was.

4. De grote onthulling: Oud versus Nieuw

De onderzoekers testten vijf nieuwe AI-dockingmethoden tegen twee oudere, traditionele methoden (AutoDock Vina en Gold).

• Bij vertrouwde sloten (Trainingsdata): Wanneer de AI werd getest op sloten die zij eerder hadden gezien tijdens hun training, zag de AI er geweldig uit op de liniaal-test. Eén AI (DiffDock) leek de oude methoden te verslaan.
• De "Fysica"-filter: Maar toen PoseBusters de fysica controleerde, daalde de prestatie van de AI drastiment. Veel van de "perfecte" voorspellingen waren in werkelijkheid onmogelijke structuren. De oude, traditionele methoden produceerden, hoewel iets langzamer, sleutels die zowel accuraat áls fysiek mogelijk waren.
• Bij nieuwe, onbekende sloten (Benchmark Set): Wanneer de onderzoekers de AI testten op volledig nieuwe sloten die zij nog nooit hadden gezien (een "Benchmark Set"), had de AI grote moeite. De AI kon niet generaliseren. De oude methoden, die vertrouwen op fysieke regels in plaats van alleen patroonherkenning, gingen veel beter om met deze nieuwe sloten.

5. De "tweak" lost niet alles op

De auteurs probeerden de AI te helpen door een "polishing"-stap toe te voegen na de voorspelling, waarbij een physics engine (een krachtveld of "force field") werd gebruikt om de vreemde vormen glad te strijken.

• Het resultaat: Dit hielp de AI om sommige van de kapotte sleutels te repareren, maar het maakte ze niet beter dan de oude traditionele methoden. De oude methoden begonnen al met een solide fundament; de AI moest proberen een kapot fundament te repareren.

De kern van het verhaal

Het artikel concludeert dat AI-gebaseerde dockingmethoden nog niet klaar zijn om traditionele tools te vervangen.

Hoewel ze snel zijn en de juiste locatie kunnen raden, negeren ze vaak de basiswetten van de chemie en fysica. Om echt "state-of-the-art" te zijn, moet een methode twee tests doorstaan:

1. De Liniaal-test: Zit het op de juiste plek?
2. De Fysica-test: Is het een echt, bouwbaar object?

Momenteel slagen de traditionele methoden voor beide tests. De AI-methoden slagen voor de eerste, maar falen vaak voor de tweede. De auteurs hopen dat zij door het gebruik van hun "PoseBusters"-tool ontwikkelaars kunnen helpen om AI-modellen beter te laten begrijpen hoe de fysica werkt, wat in de toekomst zal leiden tot werkelijk nauwkeurige medicijnvoorspellingen.

Technische samenvatting

Probleem
De afgelopen jaren is er een opkomst geweest van talrijke op deep learning (DL) gebaseerde eiwit-ligand docking-methoden, die veelbelovende verbeteringen in snelheid en nauwkeurigheid beloven voor structurele medicijnontwikkeling. Echter, er is een kritiek gebrek geïdentificeerd: hoewel deze methoden vaak een state-of-the-art prestatie rapporteren op basis van de root-mean-square deviation (RMSD) van voorspelde bindingsmodi ten opzichte van kristalstructuren, genereren ze frequent fysiek onwaarschijnlijke moleculaire structuren. Deze structuren kunnen fundamentele chemische regels schenden, zoals onjuiste bindingslengtes, vervormde aromatische ringen of ernstige sterische botsingen tussen de ligand en het eiwit. Bijgevolg is het evalueren van docking-methoden uitsluitend op RMSD onvoldoend, met name voor DL-gebaseerde benaderingen die mogelijk de "inductieve biases" missen die inherent zijn aan klassieke fysische methoden om chemische consistentie en fysieke realiteit te waarborgen.

Methodologie
Om dit gat te dichten, introduceren de auteurs PoseBusters, een Python-package die gebruikmaakt van de RDKit cheminformatics toolkit om een uitgebreide reeks kwaliteitscontroles uit te voeren op docking-voorspellingen. De testsuite valideert drie categorieën eigenschappen:

1. Chemische Validiteit en Consistentie: Controles omvatten RDKit-sanitatie, het behoud van de moleculaire formule, bindingsconnectiviteit, tetraëdrische chiraliteit en dubbele-binding stereochemie ten opzichte van de input-ligand.
2. Intramoleculaire Validiteit: Deze groep beoordeelt de fysieke plausibiliteit van de ligand zelf, inclusief bindingslengtes en -hoeken (binnen 25% van de afstandgeometrie-grenzen), planariteit van aromatische ringen en dubbele bindingen (binnen 0,25 Å), interne sterische botsingen en conformationele energieverhoudingen (met behulp van de Universal Force Field, UFF).
3. Intermoleculaire Validiteit: Deze groep evalueert interacties tussen de ligand en zijn omgeving, waarbij gecontroleerd wordt op eiwit-ligand en ligand-cofactor botsingen op basis van van der Waals-radii (met een drempelwaarde van 0,75) en volumoverlap (waarbij de intersectie wordt beperkt tot <7,5%).

De auteurs pasten PoseBusters toe om zeven docking-methoden te evalueren: vijf DL-gebaseerde benaderingen (DeepDock, DiffDock, EquiBind, TankBind en Uni-Mol) en twee gevestigde klassieke methoden (AutoDock Vina en CCDC Gold). De evaluatie werd uitgevoerd op twee datasets:

• Astex Diverse Set: Een standaard benchmark die 85 complexen bevat, waarvan vele overlappen met de trainingsdata van de DL-methoden.
• PoseBusters Benchmark Set: Een nieuwe, rigoureuze testset van 308 hoogwaardige complexen die na 2021 is uitgebracht, wat zorgt voor geen overlap met de trainingsdata (PDBbind General Set v2020) van de geteste DL-methoden. Deze set werd gebruikt om de generalisatie naar nieuwe sequenties en structuren te beoordelen.

Daarnaast voerden de auteurs post-docking energie-minimalisatie uit met behulp van moleculaire mechanica krachtvelden (AMBER ff14sb en Sage) op de DL-voorspellingen om te bepalen of fysieke plausibiliteit hersteld kan worden door middel van klassieke verfijning.

Belangrijkste Bijdragen

• PoseBusters Testsuite: De ontwikkeling van een open-source tool die systematisch chemisch inconsistente en fysiek onwaarschijnlijke ligand-poses identificeert, waarbij verder wordt gekeken dan eenvoudige RMSD-metrieken.
• Rigoureuze Benchmarking: Een vergelijkende analyse die aantoont dat huidige DL-gebaseerde docking-methoden er niet in slagen te generaliseren naar nieuwe sequenties en vaak ongeldige structuren produceren, zelfs wanneer zij lage RMSD-scores behalen.
• Identificatie van Ontbrekende Fysica: Bewijs dat DL-methoden specifieke inductieve biases missen met betrekking tot chemische geometrie en sterische beperkingen, die van nature zijn gecodeerd in klassieke krachtvelden.

Resultaten

• Prestaties op de Astex Diverse Set: Hoewel DiffDock superieur leek op basis van RMSD alleen (72% van de voorspellingen binnen 2 Å), daalde de prestatie aanzienlijk wanneer fysieke plausibiliteit werd meegewogen (47% PB-valid). Klassieke methoden (Gold en AutoDock Vina) presteerden beter dan alle DL-methoden wanneer zowel RMSD als fysieke validiteit vereist waren.
• Prestaties op de PoseBusters Benchmark Set: Op deze ongeziene data werd het gat groter. Gold en AutoDock Vina bleven de best presterende methoden. De beste DL-methode, DiffDock, bereikte slechts 12% PB-validiteit, terwijl andere DL-methoden (EquiBind, Uni-Mol, TankBind) bijna geen fysiek valide poses genereerden.
• Generalisatie en Overfitting: DL-methoden presteerden aanzienlijk slechter op eiwitten met een lage sequentie-identiteit (<30%) ten opzichte van hun trainingssets, wat wijst op ernstige overfitting naar trainingsdoelen.
• Impact van Energie-minimalisatie: Het toepassen van post-docking energie-minimalisatie verbeterde de fysieke plausibiliteit van DL-voorspellingen aanzienlijk (een toename van het aantal valide poses), wat aangeeft dat krachtvelden over docking-relevante fysica beschikken die ontbreekt in huidige DL-modellen. Zelfs met deze verfijning overtroffen de DL-methoden de klassieke tools echter niet.
• Specifieke Foutmodi: De studie identificeerde onderscheidende foutpatronen voor elke DL-methode, zoals TankBind die stereochemie over het hoofd zag, Uni-Mol die niet-standaard bindingslengtes voorspelde, en EquiBind die eiwit-ligand botsingen genereerde.

Significantie
Het artikel betoogt dat de huidige standaard van het evalueren van docking-methoden uitsluitend op RMSD inadequaat en misleidend is. Het stelt dat voor een methode om als "state-of-the-art" beschouwd te worden, deze niet alleen natuurlijke bindingsmodi moet voorspellen, maar ook chemisch consistente en fysiek plausibele structuren moet genereren. De auteurs beweren dat PoseBusters een noodzakelijk kader biedt voor het identificeren van ontbrekende inductieve biases in deep learning-modellen. Door te benadrukken dat huidige DL-methoden nog steeds niet de klassieke docking-tools evenaren wanneer fysieke realiteit wordt meegewogen, beoogt het werk de ontwikkeling van nauwkeurigere en realistischere voorspellingsmethoden te stimuleren die de snelheid van deep learning integreren met de fysieke strengheid van klassieke krachtvelden.