BioSecBench-Surveillance: A Verifiable Benchmark for AI Agents in Pathogen Genomic Surveillance
Das Papier stellt BioSecBench-Surveillance vor, einen verifizierbaren Benchmark, der demonstriert, dass selbst die fortschrittlichsten derzeitigen KI-Agenten Schwierigkeiten haben, zuverlässig korrekte Genomanalyse-Pipelines für die Pathogenüberwachung abzuleiten, wobei sie über verschiedene Aufgaben hinweg nur eine Genauigkeit von etwa 50 % erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der öffentlichen Gesundheit als eine riesige, hochriskante Detektivagentur vor. Ihr Job ist es, unsichtbare Schurken aufzuspüren – Viren, Bakterien und andere Krankheitserreger – bevor sie eine globale Party crashen können, wie etwa eine Pandemie. Um dies zu erreichen, nutzen Wissenschaftler ein superstarkes Mikroskop namens „genomische Überwachung“. Anstatt nur einen Keim unter einer Linse zu betrachten, lesen sie dessen gesamtes Handbuch (seine DNA oder RNA), um genau herauszufinden, was er ist, woher er kommt und wie gefährlich er sein könnte.
Lange Zeit war die Schwierigkeit lediglich, genug dieser Handbücher zu bekommen. Aber jetzt sind die Maschinen so gut darin, sie zu lesen, dass wir in Daten ertrinken. Der eigentliche Engpass hat sich verschoben: Es geht nicht mehr darum, die Hinweise zu finden; es geht darum, das Rätsel zu lösen. Hier kommen KI-Agenten ins Spiel. Betrachten Sie diese Agenten als superintelligente, unermüdliche Junior-Detektive. Sie können Millionen von Seiten in Sekundenschnelle lesen. Aber hier stellt sich die große Frage: Können diese KI-Detektive den Fall tatsächlich lösen, oder gehen sie sich einfach nur in der Bibliothek verirren? Können sie aus einem chaotischen Haufen genetischer Hinweise entscheiden: „Okay, ich muss genau dieses spezifische Werkzeug mit diesen spezifischen Einstellungen verwenden, um die Antwort zu finden“, genau wie ein menschlicher Experte es tun würde?
Dieses Paper, BioSecBench-Surveillance, ist wie eine riesige, strenge Abschlussprüfung für diese KI-Detektive. Die Forscher haben einen „verifizierbaren Benchmark“ erstellt – einen standardisierten Test mit 100 verschiedenen Szenarien –, bei dem einem KI-Agenten Rohdaten der Genetik und einen spezifischen Überwachungskontext gegeben wird (wie zum Beispiel „Dies ist Abwasser aus einer Stadt“ oder „Dies ist eine Probe aus einem Krankenhaus“). Die KI muss die richtige Analyse-Pipeline von Grund auf selbstständig bestimmen: welche Datenbanken zu prüfen sind, welche Filter anzuwenden sind und welche Schwellenwerte festzulegen sind – und das, ohne die Antwort zu kennen.
Die Ergebnisse dieser Prüfung waren ein wenig wie ein Realitätscheck. Von 16 verschiedenen Kombinationen aus KI-Modellen und Software-Tools lösten die besten nur etwa 50,2 % der Fragen richtig. Das bedeutet, dass selbst die klügsten KI-Agenten die Hälfte der Zeit versagten. Die Top-Performer waren ein Modell namens Opus 4.8 in Kombination mit einem Tool namens PI, sowie ein anderes namens GPT-5.5 mit Codex, die beide 50,2 % erreichten. Ihnen folgten dicht gefolgt von Opus 4.7 mit 49,6 % und Sonnet 4.6 mit 48,6 %. Die schwächsten Konfigurationen, wie etwa einige Versionen von Grok, schafften nur etwa 14 % bis 16 % der Aufgaben korrekt.
Das Paper fand heraus, dass die KI-Agenten meistens nicht deshalb scheiterten, weil sie nicht wussten, welche Werkzeuge sie benutzen sollten. Tatsächlich wählten sie fast immer die richtigen „Detektiv-Werkzeuge“ (wie die korrekte Software zum Lesen der DNA). Ihre Fehler passierten im Kleingedruckten: Sie wählten die falschen Referenzbücher, legten die falschen Sensitivitätsschwellen fest oder vertuschten sich bei der Mathematik zur Normalisierung der Daten. Es ist wie ein Detektiv, der zwar weiß, dass er einen Fingerabdruckscanner benötigt, aber die Empfindlichkeit so hoch einstellt, dass er den Abdruck übersieht, oder so niedrig, dass er einen Schmierer für eine Übereinstimmung hält.
Der Schwierigkeitsgrad des Tests variierte stark je nach Art des Falls. Die einfachsten Aufgaben für die KI waren das Source Tracking (herauszufinden, woher eine Probe stammt) und die taxonomische Klassifizierung (das Benennen des Organismus), wobei sie etwa 50 % bzw. 46 % richtig lösten. Die KI hatte jedoch massiv mit der Anomalieerkennung (dem Aufspüren ungewöhnlicher, unerwarteter Signale) zu kämpfen, bei der sie nur 20 % erreichte. Auch bei der Charakterisierung genetischer Veränderungen (der Erkennung, ob ein Virus künstlich modifiziert wurde) hatten sie Schwierigkeiten und erreichten nur 35 %. Interessanterweise spielte die Art der Probe (wie Abwasser gegenüber klinischen Proben) eine weniger große Rolle als die Technologie, die zum Lesen der DNA verwendet wurde. Long-Read-Sequenzierungsdaten waren für die KI viel schwieriger zu handhaben (26 % Erfolgsquote) als Short-Read-Daten (41 %).
Die Forscher stellten auch fest, dass einige KI-Modelle zu schüchtern waren. Etwa 27 % bis 31 % der Zeit verweigerten bestimmte Modelle einfach die Antwort auf die Frage und gaben an, dies nicht tun zu können, während andere fast nie eine Verweigerung zeigten. Diese „Verweigerungsrate“ variierte stark je nachdem, in welchem Software-„Harness“ das Modell lief.
Letztendlich kommt das Paper zu dem Schluss, dass KI-Agenten zwar besser werden, aber noch nicht zuverlässig genug sind, um als alleinige Entscheidungsträger in der Pathogenüberwachung eingesetzt zu werden. Sie können die Analyse zwar durchführen, aber sie treffen oft die falschen Urteile darüber, wie man sie durchführt. Die Autoren legen nahe, dass wir erst dann voll und ganz auf sie vertrauen können, wenn die KI in der Lage ist, diese nuancierten Entscheidungen zu treffen – wie zum Beispiel genau zu wissen, welcher Referenzwert zu vertrauen ist oder welchen Schwellenwert man setzen muss. Bis dahin bleibt der menschliche Experte derjenige, der das letzte Wort im Fall hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.