From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

De wetenschap heeft lang vertrouwd op een eenvoudig, geruststellend idee: als je een model van de wereld bouwt, kun je erop vertrouwen dat het je de waarheid vertelt, mits je het de juiste gegevens voert. Maar een nieuwe generatie kunstmatige intelligentie verandert de regels. Dit zijn niet de computers van de oude stijl die simpelweg informatie in nette categorieën sorteren; het zijn generatieve modellen, systemen die ontworpen zijn om volledig nieuwe, complexe data vanuit het niets te creëren. Ze kunnen voorspellen hoe een eiwit zich vouwt in een driedimensionale vorm of het weer over de hele wereld voorspellen. Het probleem is dat deze creatieve machines een duistere kant hebben. Ze zijn vatbaar voor "hallucinaties", een term geleend uit de menselijke psychologie om te beschrijven wanneer de AI plausibel lijkende details verzint die simpelweg niet bestaan. In een medische scan zou dit kunnen verschijnen als een breuk in een gezonde bot; in een eiwitmodel zou het een solide structuur kunnen zijn waar de natuur een chaotische, ongeordende bende heeft achtergelaten. Decennialang maakten wetenschappers zich zorgen dat deze fouten fatale gebreken waren, waardoor de technologie te gevaarlijk werd voor serieuze ontdekkingen. Als de machine dingen verzint, hoe kunnen we dan ooit weten wat echt is?

Een nieuw artikel van Charles Rathkopf, een onderzoeker aan het Jülich Research Centre, betoogt dat we het probleem verkeerd bekeken hebben. De angst dat hallucinaties generatieve AI onbetrouwbaar maken, is gebaseerd op een misverstand over hoe wetenschap eigenlijk werkt. Rathkopf suggereert dat we moeten stoppen met het beoordelen van het AI-model in isolatie en moeten beginnen met het beoordelen van het gehele wetenschappelijke proces, of de "workflow", waarin het model is ingebed. Het artikel stelt voor dat zelfs als de AI doorgaat met het verzinnen van valse details, wetenschappers een vangnet om het heen kunnen bouwen. Door hun eigen diepe, vooraf bestaande kennis van de natuurlijke wereld te gebruiken, kunnen onderzoekers de leugens eruit filteren en de waarheden behouden. Het resultaat is dat de uiteindelijke wetenschappelijke conclusie betrouwbaar kan zijn, zelfs als het gebruikte instrument imperfect is.

Om te begrijpen waarom dit ertoe doet, moet men eerst begrijpen wat deze AI-modellen doen. In tegen tegenstelling tot traditionele software die strikte, vooraf geschreven regels volgt, leert generatieve AI door enorme hoeveelheden bestaande data te bestuderen en vervolgens te raden wat er volgt. Het is als een student die elk boek in een bibliotheek heeft gelezen en nu wordt gevraagd een nieuw verhaal te schrijven. De student kan iets prachtigs en nieuws schrijven, maar hij kan ook een personage verzinnen dat nooit heeft bestaan of een plotpunt dat de wetten van de fysica tegenspreekt. In de wereld van de wetenschap is deze "uitvinding" de hallucinatie. Het artikel wijst erop dat deze fouten niet slechts willekeurige fouten zijn; ze zijn onvermijdelijk. Omdat de AI probeert complexe, hoogdimensionale structuren te creëren — zoals de ingewikkelde vouwing van een eiwit of de kolkende patronen van een storm — moet het gaten opvullen waar de data dun is. Hierdoor creëert het soms een structuur die aan de oppervlakte perfect lijkt, maar fundamenteel fout is van binnen. De auteur betoogt dat we de AI niet simpelweg harder kunnen trainen of een betere versie van het model kunnen bouwen om dit te stoppen. Het mechanisme waarmee de AI creatief en nuttig kan zijn, is precies hetzelfde mechanisme dat de AI dwingt te hallucineren.

Het artikel daagt een veelvoorkomende aanname in het vakgebied uit: dat een hallucinatie simpelweg een datapunt is dat anders is dan waar de AI op getraind is. Als dat waar zou zijn, zouden wetenschappers gewoon elke output weg kunnen gooien die niet overeenkomt met hun trainingsdata. Maar Rathkopf betoogt dat dit een valstrik is. In de wetenschap is het doel niet om te herhalen wat we al weten; het is om te ontdekken wat we nog niet weten. Als een wetenschapper een vreemd nieuw resultaat wegwerpt alleen omdat het anders is dan het verleden, kan hij per ongeluk een echte ontdekking weggooien. In plaats daarvan definieert het artikel een hallucinatie nauwkeuriger: het is een output die het werkelijke object dat het zou moeten beschrijven, onjuist weergeeft, en dat doet het per ongeluk, niet met opzet. Het is een fout die de machine zelf maakt, geen truc die hem is aangeleerd.

De auteur richt zich vervolgens op twee praktijkvoorbeelden om aan te tonen hoe wetenschappers dit probleem al oplossen zonder de AI zelf te hoeven repareren. De eerste casus is AlphaFold, een beroemd AI-systeem ontwikkeld door Google DeepMind dat de 3D-vormen van eiwitten voorspelt. Eiwitten zijn de werkpaarden van het leven, en hun vormen bepalen wat ze doen. AlphaFold 3, de nieuwste versie, gebruikt een generatieve aanpak die het mogelijk maakt om nieuwe structuren uit te vinden. De ontwikkelaars wisten dat dit tot hallucinaties zou leiden. Sterker nog, het systeem verzint soms een solide, compacte vorm voor een deel van een eiwit dat eigenlijk slap en ongeordend zou moeten zijn. Als een wetenschapper die output voor waar aanneemt, zou hij misleid worden. Echter, het team heeft een "workflow" rond de AI gebouwd om deze fouten te vangen. Ze voegden een tweede laag van analyse toe die fungeert als een kwaliteitscontroleur. Dit systeem kijkt naar de output van de AI en controleert deze tegen bekende regels van chemie en fysica. Bijvoorbeeld, het weet dat ongeordende delen van een eiwit aan het omringende water blootgesteld moeten zijn, terwijl solide delen binnenin verborgen moeten blijven. Als de AI een solide vorm verzint voor een ongeordend deel, markeert de workflow dit als verdacht. Het systeem wijst ook een betrouwbaarheidsscore toe aan elk deel van de voorspelde vorm, waardoor de wetenschapper precies weet welke delen betrouwbaar zijn en welke delen waarschijnlijk hallucinaties zijn. De AI maakt nog steeds fouten, maar de workflow zorgt ervoor dat die fouten nooit de uiteindelijke conclusie bereiken.

Het tweede voorbeeld komt uit de meteorologie, specifiek een systeem genaamd SEEDS dat wordt gebruikt voor weersvoorspellingen. Het weer is chaotisch; kleine veranderingen in de begincondities kunnen leiden tot totaal verschillende uitkomsten. Om dit aan te pakken, gebruiken weersvoorspellers "ensembles", wat betekent dat ze hetzelfde model vele malen draaien om een reeks mogbare toekomsten te krijgen. SEEDS gebruikt een generatieve AI om deze vele mogelijke toekomsten snel te creëren. Het artikel merkt op dat individuele voorspellingen van deze AI fysiek onmogelijk kunnen zijn, zoals een weerkaart waarbij de luchtdruk en temperatuur in strijd zijn met de wetten van de fysica. Dit zijn hallucinaties. Toch blijft het systeem betrouwbaar. Hoe? Omdat de wetenschappers niet naar een enkele voorspelling in isolatie kijken. Ze kijken naar de hele groep van 512 voorspellingen samen. Als één voorspelling een hallucinatie is, is het slechts één stem in een grote menigte. Zolang de hallucinaties zeldzaam zijn en niet allemaal hetzelfde zijn, worden ze weggewassen wanneer de wetenschappers de uiteindelijke waarschijnlijkheid van regen of hitte berekenen. De workflow is hier het ensemble zelf. Door de output te behandelen als een verzameling mogelijkheden in plaats van een enkele waarheid, filtert het systeem de ruis eruit. De onderzoekers gebruiken ook statistische instrumenten om te controleren of de groep voorspellingen als geheel overeenkomt met de werkelijkheid, om er zeker van te zijn dat de uiteindelijke waarschijnlijkheidsgetallen betrouwbaar zijn.

De kernbevinding van het artikel is dat betrouwbaarheid niet vereist dat de AI perfect is. Het vereist dat het menselijke proces rond de AI slim is. Rathkopf betoogt dat we moeten stoppen met het proberen te bous een "hallucinatievrije" AI, een doel dat misschien onmogelijk is, en moeten beginnen met het bouwen van "hallucinatieresistente" workflows. Dit verlegt de focus van de machine naar de methode. De machine kan een black box zijn, een mysterieuze generator van ideeën, zolang de wetenschappers eromheen maar de kennis hebben om die ideeën te testen. Het artikel suggereert dat dit is hoe wetenschap altijd heeft gewerkt: we gebruiken instrumenten die imperfect zijn, maar we omringen ze met controles en evenwichten. De AI levert het grondmateriaal, en de wetenschapper levert het oordeel.

Deze benadering verandert ook hoe we denken over de rol van AI in de wetenschap. Sommige critici beweren dat AI alleen goed is voor het vinden van nieuwe ideeën (ontdekking) maar niet voor het bewijzen dat ze waar zijn (rechtvaardiging). Ze zeggen dat we AI alleen kunnen vertrouwen als we de voorspellingen in een laboratorium kunnen testen. Rathkopf is het ermee eens dat testen cruciaal is, maar hij voegt toe dat de workflow zelf onderdeel is van het bewijs. De handeling van het filteren, rangschikken en kwalificeren van de output van de AI is een vorm van rechtvaardiging. Het gaat niet alleen om wachten tot zien of de AI gelijk heeft; het gaat om het bouwen van een systeem dat ervoor zorgt dat de AI gelijk heeft voordat we zelfs maar het experiment uitvoeren. Het artikel suggereert dat zolang we voldoende achtergrondkennis hebben over het systeem dat we bestuderen — of het nu een eiwit of een stormfront is — we deze veiligheidsnetten kunnen construeren.

Het artikel sluit af met een nuchtere maar hoopvolle noot. Het vermogen om deze betrouwbare workflows te bouwen hangt af van het hebben van een diep begrip van het doel systeem. Als wetenschappers proberen iets te modelleren waarvan ze nog heel weinig weten, kunnen ze de filters die nodig zijn om de leugens van de AI te vangen niet bouwen. In die grensgebieden blijft het risico groot. Maar voor de vele velden waar we al een stevig begrip hebben van de regels — zoals eiwitvouwing of weerdynamica — kan generatieve AI een krachtige partner zijn. De machine zal blijven hallucineren, net zoals een menselijke kunstenaar een fout kan maken tijdens het schilderen. Maar zolang de wetenschapper weet hoe een echt schilderij eruitziet, kan hij de fout herkennen en het meesterwerk behouden. Het artikel beweert niet dat het AI-probleem is opgelost of dat hallucinaties zullen verdwijnen. Het beweert iets praktischer: dat we kunnen leren om ermee te leven, ze te beheren en nog steeds deze krachtige instrumenten te gebruiken om de grenzen van de menselijke kennis te verleggen. De betrouwbaarheid van de wetenschap, betoogt de auteur, heeft nooit gelegen in de perfectie van onze instrumenten, maar in de wijsheid van hoe we ze gebruiken.