Verification Debt in Automated Biological Research Workflows: A Proof-of-Concept

Die moderne Biologie tritt in eine Ära ein, in der Computer nicht mehr nur Werkzeuge zur Datenverarbeitung sind, sondern aktive Partner bei der Entdeckung. Wissenschaftler beginnen, KI-Agenten einzusetzen – Softwareprogramme, die darauf ausgelegt sind, wie Forscher zu agieren –, um Experimente zu planen, durch riesige Bibliotheken medizinischer Literatur zu suchen und Verbindungen zwischen Genen und Krankheiten herzustellen. Diese Systeme können Tausende von biologischen Datenbanken durchsuchen und komplexe Arbeitsabläufe ausführen, die einst menschliche Teams Wochen gekostet hätten. Das Versprechen ist immens: schnellere Heilungen, ein tieferes Verständnis des Lebens und eine Forschungsskala, die Menschen allein niemals bewältigen könnten. Doch diese Geschwindigkeit bringt eine neue Art von Risiko mit sich. Wenn ein Computer eine Entscheidung trifft, ist nicht immer klar, warum er sich für diese Wahl entschieden hat, welche Beweise er nutzte oder ob er einen entscheidenden Schritt übersprungen hat. Wenn ein Mensch die Arbeit des Computers nicht leicht überprüfen kann, beginnt sich eine verborgene Last der Ungewissheit aufzutürmen. Dies ist das, was Forscher als „Verifizierungsverschuldung“ (verification debt) bezeichnen: der wachsende Stapel unbestätigter Annahmen und verborgener Schritte, die zu falschen Schlussfolgerungen führen könnten, wenn sie ungeprüft bleiben.

Ein Team von Forschern setzte sich zum Ziel, genau zu messen, wie hoch diese Verschuldung in der heutigen biologischen KI ist. Sie entschieden sich dafür, ein spezifisches System namens Biomni zu testen, einen KI-Agenten, der für die biomedizinische Forschung entwickelt wurde. Das Team fragte den Computer nicht einfach nur, ob er intelligent sei; sie setzten ihn bei zehn spezifischen, realen biologischen Fragen zur Arbeit. Diese Fragen reichten von einfachen Anfragen, wie „Was macht dieses spezifische Protein?“ bis hin zu komplexen Rätseln, wie „Wie kombinieren RNA- und Proteindaten, um eine bestimmte Art von Krebs zu erklären?“ Um sicherzustellen, dass die Ergebnisse zuverlässig waren, baten die Forscher die KI, jede Frage drei separate Male zu beantworten, wobei jeder Durchlauf als ein unabhängiges Experiment behandelt wurde. Sie untersuchten anschließend akribisch jeden einzelnen Schritt, den die KI unternahm, vom Moment des Erhalts der Frage bis hin zur endgültigen Antwort, die sie lieferte. Ihr Ziel war es zu sehen, ob die Argumentation der KI auf solide Beweise zurückgeführt werden konnte oder ob sie Sprünge vollzog, die ein Mensch nicht verifizieren konnte.

Die Forscher fanden heraus, dass die KI zwar in der Lage war, rigorose und oft korrekte Antworten zu liefern, aber häufig eine Spur unbestätigter Entscheidungen hinterließ. In vielen Fällen zitierte die KI eine wissenschaftliche Studie, um eine Behauptung zu stützen, hatte jedoch den Volltext dieser Studie gar nicht tatsächlich gelesen. Stattdessen verließ sie sich auf eine kurze Zusammenfassung, die ein Suchwerkzeug bereitgestellt hatte, unter der Annahme, dass die Zusammenfassung die benötigte spezifische Information enthielt. Dies schuf eine Situation, in der die KI den Anschein erweckte, in Beweisen fundiert zu sein, die Beweise jedoch tatsächlich fehlten oder unvollständig waren. Das Team stellte fest, dass die KI bei gut bekannten biologischen Fakten den Suchprozess oft gänzlich übersprang und die Antwort aus ihrem internen Gedächtnis gab, ohne den Nutzer darüber zu informieren. Dies bedeutete, dass es für einige Fragen keine Möglichkeit für einen Menschen gab, zu überprüfen, woher die Information stammte, was eine Lücke in der Beweiskette hinterließ.

Die Art des Problems änderte sich je nach Schwierigkeitsgrad der Frage. Bei einfacheren Fragen lag das Hauptproblem in einem Mangel an Transparenz; die KI traf Annahmen oder übersprang Schritte, ohne zu erklären, warum. Bei den komplexeren Fragen verlagerte sich das Problem auf die Interpretation. Die KI zog manchmal Schlussfolgerungen, die stärker waren, als es die Daten eigentlich rechtfertigten, oder sie vermischte verschiedene Arten von Belegen, wie etwa die Kombination von Ergebnissen aus Mausstudien mit menschlichen genetischen Daten, ohne den Unterschied in deren Zuverlässigkeit zu klären. Die Forscher stellten fest, dass diese Fehler nicht konsistent auftraten; sie passierten unvorhersehbar. Ein Mal folgte die KI einem perfekten Pfad, und beim nächsten Mal wählte sie eine andere Route mit verborgenen Fehlern. Diese Unvorhersehbarkeit macht es schwierig, dem System einfach zu vertrauen, selbst wenn es die richtige Antwort liefert, weil der Weg zu dieser Antwort fehlerhaft sein kann.

Eine zentrale Erkenntnis der Studie war, dass das Vorhandensein eines Protokolls der KI-Schritte, bekannt als „Trace“, nicht ausreichte, um die Korrektheit der Arbeit zu garantieren. Die KI konnte ein detailliertes Log darüber erstellen, welches Werkzeug sie verwendet und welche Datenbank sie abgefragt hatte, und dennoch zu einer Schlussfolgerung gelangen, die auf einem Missverständnis der Daten oder einer ungesagten Annahme basierte. Die Forscher identifizierten eine spezifische Art von Risiko, die als „Abhängigkeitsfolge“ (dependency consequence) bezeichnet wird, bei der eine einzige unbestätigte Entscheidung zu Beginn des Prozesses durch den gesamten Arbeitsablauf rollen und alle nachfolgenden Ergebnisse korrumpieren kann. Sie fanden heraus, dass in nahezu jeder der getesteten Fragen die meisten Entscheidungen der KI eine solche hochriskante Konsequenz in sich trugen. Wenn ein menschlicher Forscher nicht jeden einzelnen Verbindungspunkt in der Kette sorgfältig prüfte, konnte ein kleiner Fehler zu einem großen wissenschaftlichen Irrtum führen.

Die Studie kommt zu dem Schluss, dass diese automatisierten Systeme zwar leistungsstark sind, man ihnen aber nicht vollkommen vertrauen kann, völlig eigenständig zu arbeiten. Die Geschwindigkeit und Skalierbarkeit, die sie bieten, sind wertvoll, aber sie schaffen eine Lücke zwischen dem, was der Computer tut, und dem, was ein Mensch verifizieren kann. Die Forscher argumentieren, dass Transparenz – also das Aufzeigen der Schritte, die die KI unternommen hat – notwendig, aber nicht ausreichend ist. Ein System kann vollständig rückverfolgbar sein und dennoch unzuverlässige Ergebnisse liefern, wenn die Logik hinter diesen Schritten fehlerhaft ist. Um voranzukommen, benötigt die wissenschaftliche Gemeinschaft neue Wege, um nicht nur das Endergebnis, sondern den gesamten Weg systematisch zu prüfen, den die KI zu ihm genommen hat. Bis diese Verifizierungsmethoden etabliert sind, müssen menschliche Experten im Prozess verbleiben, bereit, die verborgenen Schulden aufzufangen, die die Maschinen während ihrer Arbeit anhäufen.