Silent methodological failures in AI-assisted science: benchmarking large language model agents for virtual gene knockout analysis
Deze studie benchmarkt vijf LLM-agenten op virtuele gen-knockout-analyses en onthult dat hoewel alle agenten succesvol code uitvoerden, 80% biologisch onwaarschijnlijke resultaten produceerde door middel van "stille methodologische fouten", wat de kritieke behoefte aan biologische validatie en concordantie tussen modellen onderstreept die verder gaat dan louter code-executie in AI-ondersteunde wetenschap.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In het moderne laboratorium is een nieuw soort assistent gearriveerd, een die geen witte jas draagt of een pipet vasthoudt, maar in plaats daarvan spreekt in de taal van code. Deze grote taalmodellen worden gevraagd om de complexe, meerstaps taken van de computationele biologie uit te voeren, waarbij onderzoekers simuleren hoe levende cellen reageren wanneer specifieke genen worden uitgeschakeld. Dit proces, bekend als een virtuele gen-knockout, stelt wetenschappers in staat om de rimpeleffecten van genetische veranderingen te voorspellen zonder ooit een levend organisme aan te raken. Het is een krachtig hulpmiddel voor het begrijpen van ziekten en het ontwerpen van behandelingen, maar het vertrouwt volledig op het vermogen van de computer om een reeks instructies perfect op te volgen. De centrale vraag waar de wetenschappelijke gemeenschap voor staat, is of deze kunstmatige intelligentie-agenten erop kunnen worden vertrouwd om de intentie van een onderzoeker te vertalen naar een correcte wiskundige realiteit, of dat ze simpelweg antwoorden kunnen produceren die aan de oppervlakte kloppen, maar eronder fundamenteel fout zijn.
Een team van onderzoekers van het Second Affiliated Hospital van Xi'an Jiaotong University zette zich in om deze betrouwbaarheid te testen door vijf verschillende kunstmatige intelligentie-agenten te behandelen als onafhankelijke wetenschappers. Ze gaven elke agent dezelfde missie: het simuleren van de verwijdering van een specifiek gen, genaamd albumine, uit twee verschillende collecties gegevens van levercellen. Albumine is een eiwit dat door de lever wordt aangemaakt, en omdat de rol ervan goed begrepen is, dient het als een betrouwbare meetlat om te controleren of een simulatie biologisch zinvol is. De onderzoekers vroegen de agenten om vier verschillende wiskundige kaders te gebruiken om deze simulatie uit te voeren, een taak die van de computer vereist om gegevens te parsen, netwerken van geninteracties op te bouwen en de statistische significantie van de veranderingen te berekenen. Het doel was niet om te zien of de computers code konden schrijven die werkt, maar om te zien of de code die ze schreven daadwerkelijk resultaten produceerde die overeenkwamen met het bekende gedrag van levercellen.
De resultaten onthulden een schokkende kloof tussen technische succes en wetenschappelijke waarheid. Elke agent slaagde erin de toegewezen taken te voltooien zonder vast te lopen of een foutmelding te geven. Ze produceerden allemaal code die succesvol werd uitgevoerd, en ze leverden allemaal numerieke antwoorden op. Echter, toen de onderzoekers de werkelijke cijfers onderzochten, verschilden de agenten dramatisch van elkaar. De tijd die het kostte om het werk te voltooien varieerde enorm, waarbij de snelste agent de taak in net iets meer dan een minuut voltooide, terwijl de langzaamste meer dan dertig minuten nodig had. Belangrijker nog, de biologische conclusies die door de agenten werden getrokken, waren vaak inconsistent. In sommige gevallen zou een agent beweren dat de gen-knockout een enorm effect had, terwijl een andere agent, werkend op exact dezelfde gegevens, zou concluden dat het effect verwaarloosbaar was. De variatie in hun numerieke outputs was zo hoog dat het verschil tussen de hoogste en laagste schattingen meer dan honderd veertig procent bereikte.
De meest verontrustende ontdekking was de prevalentie van wat de onderzoekers "stille methodologische fouten" noemen. Vier van de vijf agenten vielen in deze valkuil. Deze agenten genereerden code die perfect draaide en foutloze rapporten produceerde, maar de resultaten die ze leverden waren biologisch onmogelijk. Zo draaide een agent per ongeluk de datamatrix ondersteboven, een fout die de hele betekenis van de berekening veranderde maar geen waarschuwingssignalen activeerde. Een andere agent gebruikte een wiskundige definitie voor "impact" die afweek van de standaard, waardoor het een significante bevinding rapporteerde waar die niet bestond. Omdat de code zonder fouten draaide, zouden deze fouten waarschijnlijk onopgemerkt blijven door een onderzoeker die alleen controleert op technische glitches. De agenten hadden de letter van de instructies succesvol gevolgd, maar faalden in het begrijpen van de geest van de wetenschappelijke methode, waardoor ze outputs produceerden die computationeel geldig maar wetenschappelijk misleidend waren.
Niet alle agenten presteerden even slecht, en de studie benadrukte dat succes op één gebied geen succes op een ander gebied garandeert. Eén agent, GLM 5.1, kwam naar voren als de meest gebalanceerde performer, die erin slaagde om resultaten te produceren die zowel snel als biologisch plausibel waren in de meeste tests. Een andere agent, Kimi, toonde indrukwekkende veerkracht door automatisch een geheugenfout te herstellenden die het deed pauzeren, hoewel dit herstel ten koste ging van een aanzienlijke hoeveelheid tijd. In contrast hiermee produceerde de snelste agent, Minimax, de snelste resultaten, maar slaagde er in de overgrote meerderheid van de pogingen niet in om biologisch plausibele uitkomsten te genereren. De studie vond dat de specifieke manier waarop een agent koos om een wiskundige stap te implementeren, de uiteindelijke uitkomst volledig kon veranderen, zelfs wanneer de instructies op hoog niveau identiek waren. Dit suggereert dat de huidige generatie AI-agenten nog geen betrouwbare vervanging is voor menselijk toezicht in complexe wetenschappelijke workflows.
De onderzoekers concludeerden dat het vermogen van een AI om code te schrijven die draait, niet genoeg is om te bewijzen dat de wetenschap correct is. De aanwezigheid van stille fouten betekent dat het uitsluitend vertrouwen op geautomatiseerde uitvoering kan leiden tot valse ontdekkingen of gemiste inzichten. Om betrouwbaarheid te garanderen, suggereert de studie dat wetenschappers niet het resultaat van een enkele AI-agent moeten vertrouwen. In plaats daarvan zouden ze dezelfde analyse door meerdere verschillende agenten moeten laten lopen en kijken naar overeenstemming tussen hen. Als de agenten zeer verschillende getallen produceren, is dat een signaal dat er iets mis is en dat menselijke inspectie vereist is. Bovendien moeten de instructies die aan deze AI-systemen worden gegeven veel preciezer zijn, waarbij exact wordt gedefinieerd hoe wiskundige operaties moeten worden uitgevoerd, in plaats van ruimte te laten voor de AI om de beste aanpak te raden. Totdat deze waarborgen aanwezig zijn, blijft de meest waardevolle rol van kunstmatige intelligentie in de wetenschap die van een krachtige assistent die een deskundig mens vereist om het werk te verifiëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.