Auditing an AI-Agent Computational Drug-Discovery Workflow Through an SMPD1 Case Study

In de moderne zoektocht naar nieuwe medicijnen vertrouwen wetenschappers vaak op krachtige computers om te simuleren hoe minuscule moleculen met de eiwitten van het lichaam kunnen interageren. Dit veld, bekend als computationele drug discovery, fungeert als een snelle filter, waardoor onderzoekers miljoenen potentiële kandidaten kunnen testen voordat ze ooit chemicaliën in een laboratorium mengen. Het proces houdt in dat verschillende digitale hulpmiddelen aan elkaar worden gekoppeld: databases die bekende biologische doelwitten vermelden, motoren die voorspellen hoe moleculen in elkaar passen als puzzelstukjes, en simulatieprogramma's die observeren hoe deze structuren in de loop van de tijd bewegen. Recentelijk is er een nieuwe laag van automatisering aan toegevoegd: kunstmatige intelligentie-agenten. Dit zijn softwareprogramma's die ontworpen zijn om te fungeren als onderzoekers, door beslissingen te nemen, simulaties uit te voeren en rapporten te schrijven door deze hulpmiddelen zelfstandig met elkaar te verbinden. De belofte is een sneller, efficiënter pad naar genezing, maar het risico is dat deze geautomatiseerde systemen subtiele fouten kunnen maken—het door elkaar halen van eenheden, het verwarren van vergelijkbare eiwitten, of het verkeerd interpreteren van gegevens—die hun eigen interne controles overleven en leiden tot onjuiste conclusies.

Een recente studie door Yiming Zuo van de Wuhan University of Technology onderwerpt deze nieuwe geautomatiseerde aanpak aan een rigoureuze test. De onderzoeker voerde niet simpelweg een campagne voor de ontdekking van een medicijn uit; hij bouwde een systeem waarbij één kunstmatige intelligentie-agent probeerde een medicijnkandidaat te vinden voor een specifiek menselijk enzym genaamd SMPD1, dat gelinkt is aan cognitieve beperkingen, terwijl een tweede, onafhankelijke agent optrad als een strikte auditor. Het doel was om te zien of de geautomatiseerde workflow betrouwbare wetenschap kon produceren of dat het een samenhangend ogend rapport zou genereren vol verborgen fouten. De studie richtte zich op SMPD1 omdat het een bekende speler is in neurologische ziekten, maar de onderzoekers waren voorzichtig om de initiële bevindingen te behandelen als hypothesen die getest moesten worden, en niet als bewezen feiten.

De geautomatiseerde agent begon met het verzamelen van bewijs om SMPD1 als doelwit te nomineren. Het stelde gegevens samen uit genetische databases en wetenschappelijke literatuur, en selecteerde uiteindelijk het enzym op basis van de beschikbaarheid van de 3D-structuur en een beweerde verbetering door gedeeltelijke inhibitie ervan. De agent ging vervolgens over naar de volgende fase: virtuele screening. Het filterde een bibliotheek van meer dan 20.000 moleculen terug naar enkele duizenden die veelbelovend leken, voerde een docking-simulatie uit om te zien hoe goed ze in de actieve site van het enzym pasten, en selecteerde de beste kandidaten. Hierna voerde de agent korte moleculaire dynamica-simulaties uit, wat in essentie films zijn van de bewegende en interagerende moleculen, om te zien of de beste kandidaten gebonden bleven aan het doelwit. Ten slotte voorspelde de agent de veiligheid en synthetiseerbaarheid van deze kandidaten en stelde een chemische route voor om ze te maken. Op het eerste gezicht leek de workflow compleet en succesvol, en produceerde het een narratief dat suggereerde dat er een levensvatbaar pad naar een nieuwe therapie bestond.

Echter, toen de tweede agent, de auditor, de ruwe gegevens en de stappen die de eerste agent had genomen onderzocht, veranderde het verhaal drastisch. De audit onthulde dat het initiële vertrouwen ongegrond was. De meest significante fout was een geval van identiteitsverwarring: de agent had SMPD1 verward met een zeer vergelijkbaar enzym genaamd SMPD2. De gegevens die de agent gebruikte om de richting van het effect van het medicijn te rechtvaardigen, behoorden eigenlijk toe aan SMPD2, en niet aan het doelwit dat het eigenlijk moest bestuderen. Bovendien stelde de audit vast dat de agent eenheden van meting door elkaar had gehaald, waarbij afstanden in nanometers labelde alsof het ångström waren, en een andere set fysieke parameters voor een metaalion had gebruikt dan hij beweerde te gebruiken. Dit waren geen kleine typefouten; ze veranderden de interpretatie van de simulatieresultaten fundamenteel.

De gevolgen van deze fouten waren ernstig. Wanneer de auditor de analyse opnieuw uitvoerde met de juiste eenheden en parameters, toonde de simulatie aan dat de voorgestelde medicijnkandidaat zich niet in de actieve site hield zoals het oorspronkelijke rapport beweerde. Sterker nog, onder de gecorrigeerde omstandigheden voldeed de kandidaat niet aan de criteria voor binding die de agent oorspronkelijk had aangehaald. Daarnaast bracht de audit een stuk bestaande wetenschappelijke literatuur aan het licht die de conclusie van de agent over de vraag of het remmen van dit enzym gunstig zou zijn voor het geheugen direct tegensprak. De agent had dit tegenbewijs gemist, wat leidde tot een klinische strategie die de auditor als omstreden en potentieel gevaarlijk bestempelde.

De studie testte ook de betrouwbaarheid van de kunstmatige intelligentiesystemen zelf door middel van een reeks gecontroleerde experimenten. De onderzoekers creëerden een set van achttien specifieke fouten, zoals het verwisselen van getallen of het foutief labelen van gegevens, en voerden deze in de workflow in om te zien of het systeem ze zou detecteren. De geautomatiseerde controles slaagden erin vijftien van de achttien fouten te detecteren, wat een hoog niveau van sensitiviteit toonde voor de specifieke fouten waarvoor ze ontworpen waren. De onderzoekers merkten echter op dat, omdat de tests binnen hetzelfde project waren ontworpen, zij niet konden bewijzen dat het systeem elk type fout in een andere context zou vangen. De audit vergeleken ook drie verschillende manieren om de workflow uit te voeren: een enkele agent die alleen werkt, een team van agenten die samenwerken, en een team met een auditor. Hoewel alle drie de methoden resultaten produceerden, vond de studie geen duidelijke winnaar wat betreft wetenschappelijke nauwkeurigheid, en de tijd die door het geauditeerde team werd genomen was langer, wat de afruil tussen snelheid en verificatie benadrukt.

Uiteindelijk produceerde de studie geen nieuw medicijn of een gevalideerde behandeling voor cognitieve beperkingen. In plaats daarvan produceerde het een gedetailleerde foutanalyse. De uiteindelijke output is een gecorrigeerd, transparant verslag van wat er misging en hoe het werd hersteld. De onderzoekers concludeerden dat hoewel kunstmatige intelligentie-agenten complexe wetenschappelijke taken aan elkaar kunnen koppelen, ze gevoelig zijn voor het voortplanten van fouten die hun eigen zelfcontrole overleven. De "samenhangende" rapporten die ze genereren, kunnen kritieke gebreken in identiteit, eenheden en logica verbergen. De enige manier om te garanderen dat de wetenschap deugt, suggereert de studie, is door deze geautomatiseerde narratieven te onderwerpen aan frisse, adversariële audits die de ruwe gegevens controleren in plaats van alleen de samenvatting te accepteren. Het overgebleven resultaat van deze campagne is geen medicijn, maar een herbruikbaar protocol voor het controleren van het werk van machines, wat bewijst dat in de race naar geautomatiseerde ontdekking het belangrijkste instrument een sceptische, onafhankelijke blik blijft.