Silent methodological failures in AI-assisted science: benchmarking large language model agents for virtual gene knockout analysis
Diese Studie vergleicht fünf LLM-Agenten bei virtuellen Gen-Knockout-Analysen und zeigt auf, dass zwar alle erfolgreich Code ausführten, 80 % jedoch biologisch unplausible Ergebnisse durch „stille methodische Fehler“ lieferten, was die kritische Notwendigkeit biologischer Validierung und modellübergreifender Konkordanz über die bloße Codeausführung hinaus in der KI-gestützten Wissenschaft unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In den modernen Laboratorien ist eine neue Art von Assistent eingetroffen, der keinen Laborkittel trägt oder eine Pipette hält, sondern stattdin in der Sprache des Codes spricht. Diese großen Sprachmodelle werden gebeten, die komplexen, mehrstufigen Aufgaben der Computerbiologie auszuführen, bei denen Forscher simulieren, wie lebende Zellen reagieren, wenn bestimmte Gene ausgeschaltet werden. Dieser Prozess, bekannt als virtueller Gen-Knockout, ermöglicht es Wissenschaftlern, die Welleneffekte genetischer Veränderungen vorherzusagen, ohne jemals einen lebenden Organismus berühren zu müssen. Es ist ein leistungsstarkes Werkzeug zum Verständnis von Krankheiten und zur Entwicklung von Behandlungen, aber es beruht vollständig auf der Fähigkeit des Computers, einem Satz von Anweisungen perfekt zu folgen. Die zentrale Frage, vor der die wissenschaftliche Gemeinschaft steht, ist, ob diesen künstlichen Intelligenz-Agenten vertraut werden kann, um die Absicht eines Forschers in eine korrekte mathematische Realität zu übersetzen, oder ob sie lediglich Antworten produzieren könnten, die oberflächlich betrachtet richtig aussehen, aber im Kern grundlegend falsch sind.
Ein Team von Forschern der Second Affiliated Hospital of Xi'an Jiaotong University setzte sich zum Ziel, diese Zuverlässigkeit zu testen, indem sie fünf verschiedene KI-Agenten wie unabhängige Wissenschaftler behandelte. Sie gaben jedem Agenten dieselbe Mission: die Simulation der Entfernung eines spezifischen Gens namens Albumin aus zwei verschiedenen Sammlungen von Leberzell-Daten. Albumin ist ein Protein, das von der Leber produziert wird, und da seine Rolle gut verstanden ist, dient es als zuverlässiges Maß, um zu prüfen, ob eine Simulation biologisch sinnvoll ist. Die Forscher baten die Agenten, vier verschiedene mathematische Frameworks zu verwenden, um diese Simulation durchzuführen – eine Aufgabe, die vom Computer erfordert, Daten zu parsen, Netzwerke von Geninteraktionen aufzubauen und die statistische Signifikanz der Veränderungen zu berechnen. Das Ziel war nicht zu sehen, ob die Computer Code schreiben können, der läuft, sondern ob der von ihnen geschriebene Code tatsächlich Ergebnisse liefert, die dem bekannten Verhalten von Leberzellen entsprechen.
Die Ergebnisse offenbarten eine erschreckende Kluft zwischen technischem Erfolg und wissenschaftlicher Wahrheit. Jeder einzelne Agent schaffte es, die zugewiesenen Aufgaben ohne Absturz oder Fehlermeldung abzuschließen. Sie produzierten alle Code, der erfolgreich ausführbar war, und sie lieferten alle numerische Antworten. Doch als die Forscher die tatsächlichen Zahlen untersuchten, stimmten die Agenten dramatisch voneinander ab. Die Zeit, die es dauerte, die Arbeit abzuschließen, variierte stark: Der schnellste Agent beendete die Aufgabe in etwas mehr als einer Minute, während der langsamste mehr als dreißig Minuten benötigte. Viel wichtiger war jedoch, dass die von den Agenten gezogenen biologischen Schlussfolgerungen oft inkonsistent waren. In einigen Fällen behauptete ein Agent, der Gen-Knockout habe einen massiven Effekt gehabt, während ein anderer Agent, der mit exakt denselben Daten arbeitete, zu dem Schluss kam, der Effekt sei vernachlässigbar. Die Variation in ihren numerischen Ausgaben war so hoch, dass die Differenz zwischen der höchsten und der niedrigsten Schätzung mehr als einhundertvierzig Prozent erreichte.
Die besorgniserregendste Entdeckung war das Vorkommen dessen, was die Forscher als „stille methodische Fehler“ bezeichnen. Vier von fünf Agenten fielen in diese Falle. Diese Agenten generierten Code, der perfekt lief und fehlerfreie Berichte lieferte, doch die Ergebnisse, die sie lieferten, waren biologisch unmöglich. Beispielsweise klappte ein Agent versehentlich die Datenmatrix kopfüber – ein Fehler, der die gesamte Bedeutung der Berechnung änderte, aber keine Warnsignale auslöste. Ein anderer Agent verwendete eine mathematische Definition für „Auswirkung“, die von der Standarddefinition abwich, was dazu führte, dass er einen signifikanten Befund meldete, wo keiner existierte. Da der Code ohne Fehler lief, würden diese Fehler von einem Forscher, der nur auf technische Fehler prüft, wahrscheinlich unbemerkt bleiben. Die Agenten hatten den Buchstaben der Anweisungen befolgt, aber den Geist der wissenschaftlichen Methode verfehlt, indem sie Outputs lieferten, die zwar rechnerisch gültig, aber wissenschaftlich irreführend waren.
Nicht alle Agenten schnitten gleichermaßen schlecht ab, und die Studie verdeutlichte, dass Erfolg in einem Bereich keinen Erfolg in einem anderen garantiert. Ein Agent, GLM 5.1, erwies sich als der ausgewogenste Performer, da er in den meisten Tests in der Lage war, Ergebnisse zu liefern, die sowohl schnell als auch biologisch plausibel waren. Ein anderer Agent, Kimi, zeigte eine beeindruckende Resilienz, indem er einen Speicherfehler automatisch korrigierte, der ihn zum Pausieren gebracht hatte, obwohl diese Erholung ihn viel Zeit kostete. Im Gegensatz dazu produzierte der schnellste Agent, Minimax, die schnellsten Ergebnisse, scheiterte jedoch in der überwiegenden Mehrheit seiner Versuche daran, biologisch plausible Ergebnisse zu generieren. Die Studie fand heraus, dass die spezifische Art und Weise, wie ein Agent einen mathematischen Schritt implementiert, das Endergebnis komplett verändern konnte, selbst wenn die übergeordneten Anweisungen identisch waren. Dies deutet darauf hin, dass die aktuelle Generation von KI-Agenten noch kein zuverlässiger Ersatz für die menschliche Aufsicht in komplexen wissenschaftlichen Arbeitsabläufen ist.
Die Forscher kamen zu dem Schluss, dass die Fähigkeit einer KI, Code zu schreiben, der läuft, nicht ausreicht, um zu beweisen, dass die Wissenschaft korrekt ist. Das Vorhandensein stiller Fehler bedeutet, dass das alleinige Vertrauen auf automatisierte Ausführung zu falschen Entdeckungen oder übersehenen Erkenntnissen führen kann. Um die Zuverlässigkeit zu gewährleisten, legt die Studie nahe, dass Wissenschaftler nicht dem Output eines einzelnen KI-Agenten vertrauen sollten. Stattdessen sollten sie dieselbe Analyse durch mehrere verschiedene Agenten laufen lassen und auf die Übereinstimmung zwischen ihnen achten. Wenn die Agenten weit auseinanderliegende Zahlen produzieren, ist dies ein Signal, dass etwas nicht stimmt und eine menschliche Untersuchung erfordert. Darüber hinaus müssen die Anweisungen an diese KI-Systeme viel präziser sein und genau definieren, wie mathematische Operationen durchgeführt werden sollen, anstatt Raum für die KI zu lassen, den besten Ansatz zu erraten. Bis diese Sicherheitsvorkehrungen getroffen sind, bleibt die wertvollste Rolle der künstlichen Intelligenz in der Wissenschaft die eines leistungsstarken Assistenten, der eines kundigen Menschen benötigt, der seine Arbeit verifiziert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.