Verification Debt in Automated Biological Research Workflows: A Proof-of-Concept

De moderne biologie gaat een tijdperk binnen waarin computers niet langer alleen instrumenten zijn voor het verwerken van getallen, maar actieve partners in ontdekking. Wetenschappers beginnen kunstmatige intelligentie-agenten te gebruiken — softwareprogramma's die zijn ontworpen om te fungeren als onderzoekers — om experimenten te plannen, door enorme bibliotheken met medische literatuur te zoeken en verbanden te leggen tussen genen en ziekten. Deze systemen kunnen duizenden biologische databases raadplegen en complexe workflows uitvoeren die voorheen weken werkten van menselijke teams kostten. De belofte is immens: snellere genezingen, een dieper begrip van het leven en een schaal van onderzoek die mensen nooit alleen zouden kunnen managen. Deze snelheid brengt echter een nieuw soort risico met zich mee. Wanneer een computer een beslissing neemt, is het niet altijd duidelijk waarom hij die keuze maakte, welk bewijs hij gebruikte, of of hij een cruciale stap heeft overgeslagen. Als een mens het werk van de computer niet gemakkelijk kan controleren, begint er een verborgen last van onzekerheid op te stapelen. Dit is wat onderzoekers "verificatieschuld" (verification debt) noemen: de groeiende stapel ongeverifieerde aannames en verborgen stappen die tot onjuiste conclusies kunnen leiden als ze onbeheerd blijven.

Een team van onderzoekers zette zich sch de taak om exact te meten hoeveel van deze schuld er aanwezig is in de huidige biologische AI. Ze kozen ervoor om een specif으로 systeem te testen genaamd Biomni, een kunstmatige intelligentie-agent die is ontworpen om biologisch-medisch onderzoek te ondersteunen. Het team vroeg de computer niet simpelweg of hij slim was; ze zetten hem aan het werk met tien specifieke, reële biologische vragen. Deze vragen varieerden van eenvoudige vragen, zoals "Wat doet dit specifieke eiwit?", tot complexe puzzels, zoals "Hoe combineren RNA- en eiwitdata om een specifiek type kanker te verklaren?". Om de resultaten betrouwbaar te maken, vroegen de onderzoekers de AI om elke vraag drie afzonderlijke keren te beantwoorden, waarbij elke uitvoering als een onafhankelijk experiment werd beschouwd. Vervolgens onderzochten ze minutieus elke stap die de AI zette, van het moment dat de vraag werd ontvangen tot het uiteindelijke antwoord dat werd geproduceerd. Hun doel was om te zien of de redenering van de AI terug te voeren was op solide bewijs, of dat de AI sprongen maakte die een menselijke wetenschapper niet kon verifiëren.

De onderzoekers ontdekten dat hoewel de AI in staat was om rigoureuze en vaak correcte antwoorden te produceren, de AI regelmatig een spoor van ongeverifieerde keuzes achterliet. In veel gevallen zou de AI een wetenschappelijke studie aanhalen om een bewering te ondersteunen, maar had de AI de volledige tekst van die studie niet daadwerkelijk gelezen. In plaats daarvan vertrouwde de AI op een korte samenvatting die door een zoektool werd geleverd, uitgaande van de veronderstelling dat de samenvatting de specifieke informatie bevatte die nodig was. Dit creëerde een situatie waarin de AI weliswaar geworteld leek in bewijsmateriaal, maar het bewijsmateriaal in werkelijkheid ontbrak of incompleet was. Het team ontdekte dat bij bekende biologische feiten de AI het zoekproces vaak volledig oversloeg en antwoordde vanuit zijn interne geheugen zonder dit aan de gebruiker te melden. Dit betekende dat er voor sommige vragen geen manier was voor een mens om te controleren waar de informatie vandaan kwam, wat een gat liet in de keten van bewijs.

De aard van het probleem veranderde afhankelijk van hoe moeilijk de vraag was. Voor eenvoudigere vragen was het belangrijkste probleem een gebrek aan transparantie; de AI deed aannames of sloeg stappen over zonder uit te leggen waarom. Voor de complexere vragen verschoof het probleem naar interpretatie. De AI trok soms conclusies die sterker waren dan de data daadwerkelijk ondersteunden, of combineerde verschillende soorten bewijs, zoals het combineren van resultaten uit muisonderzoeken met menselijke genetische data, zonder het verschil in hun betrouwbaarheid te verduidelijken. De onderzoekers merkten op dat deze fouten niet consistent waren; ze kwamen onvoorspelbaar voor. De ene keer volgde de AI een perfect pad, en de volgende keer koos hij een andere route met verborgen gebreken. Deze onvoorspelbaarheid maakt het moeilijk om het systeem simpelweg te vertrouwen, zelfs wanneer het het juiste antwoord geeft, omdat het pad naar dat antwoord gebrekkig kan zijn.

Een belangrijke bevinding van de studie was dat het hebben van een verslag van de stappen van de AI, een zogenaamde "trace", niet voldoende was om te garanderen dat het werk correct was. De AI kon een gedetailleerd logboek leveren van elke gebruikte tool en elke geraadpleegde database, maar toch tot een conclusie komen op basis van een misinterpretatie van de data of een onuitgesproken aanname. De onderzoekers identificeerden een specifiek type risico, genaamd "afhankelijkheidsgevolg" (dependency consequence), waarbij één ongeverifieerde beslissing vroeg in het proces door de hele workflow kan rimpelen en alle daaropvolgende resultaten kan corrumperen. Ze ontdekten dat bij bijna elke geteste vraag de meeste beslissingen van de AI dit soort risico met hoge inzet met zich meebrachten. Als een menselijke onderzoeker niet elke schakel in de keten zorgvuldig controleert, kan een kleine fout leiden tot een grote wetenschappelijke fout.

De studie concludeert dat hoewel deze geautomatiseerde systemen krachtig zijn, ze niet volledig op zichzelf kunnen vertrouwen. De snelheid en schaal die ze bieden zijn waardevol, maar ze creëren een kloof tussen wat de computer doet en wat een mens kan verifiëren. De onderzoekers betogen dat transparantie — het tonen van de stappen die de AI heeft genomen — noodzakelijk maar niet voldoende is. Een systeem kan volledig traceerbaar zijn en toch onbetrouwbare resultaten produceren als de redenering achter die stappen gebrekkig is. Om vooruit te komen, heeft de wetenschappelijke gemeenschap nieuwe manieren nodig om niet alleen het uiteindelijke antwoord systematisch te controleren, maar de gehele reis die de AI heeft afgelegd om daar te komen. Totdat deze verificatiemethoden aanwezig zijn, moeten menselijke experts in de loop blijven om de verborgen schulden op te vangen die de machines opbouwen terwijl ze werken.