🤖 AI

ABC-Bench: An Agentic Bio-Capabilities Benchmark for Biosecurity

Das Paper stellt ABC-Bench vor, einen Benchmark zur Evaluierung agentischer Biosicherheit-Fähigkeiten in LLMs, der aufzeigt, dass aktuelle Agenten den Median menschlicher Experten in Dual-Use-Aufgaben wie der robotischen DNA-Assemblierung und der Umgehung von Synthese-Kontrollen übertreffen, wobei eine Validierung im Nasslabor die Fähigkeit bestätigte, biologische Protokolle erfolgreich auszuführen.

Ursprüngliche Autoren: Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin, Seth Donoughe

Veröffentlicht 2026-06-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin, Seth Donoughe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten, der Millionen von Biologie-Lehrbüchern lesen, Computer-Code schreiben und sogar echte Laborgeräte steuern kann. Sie könnten sich fragen: Ist dieser Roboter nur ein hilfreicher Forschungsassistent oder könnte er versehentlich (oder absichtlich) jemandem dabei helfen, gefährliche biologische Bedrohungen zu erschaffen?

Dieses Paper stellt einen neuen „Testlauf“ namens ABC-Bench vor, um diese Frage zu beantworten. Stellen Sie sich die ABC-Bench wie eine Fahrprüfung für diese KI-Roboter vor, aber anstatt zu testen, ob sie perfekt einparken können, wird getestet, ob sie komplexe, potenziell riskante biologische Aufgaben ausführen können.

Hier ist eine Aufschlüsselung dessen, was das Paper herausgefunden hat, unter Verwendung einfacher Analogien:

1. Die „Fahrprüfung“ (Der Benchmark)

Die Forscher entwickelten drei spezifische Herausforderungen, um zu sehen, wie gut diese KI-Agenten darin sind, Biologie zu „tun“ und nicht nur zu „wissen“.

Herausforderung A: Der LEGO-Designer (Fragment Design)
- Die Aufgabe: Die KI erhält das Bild einer komplexen LEGO-Struktur (eine spezifische DNA-Sequenz) und wird gebeten, ein Computerskript zu schreiben, das diese Struktur in kleinere, bestellbare LEGO-Steine (DNA-Frageteile) zerlegt, die man im Laden kaufen und später wieder zusammensetzen kann.
- Das Ergebnis: Die KI war exzellent darin. Sie kannte die Regeln des LEGO-Sets perfekt.
Herausforderung B: Der „Versteckspiel“-Experte (Screening Evasion)
- Die Aufgabe: Dies ist der knifflige Teil. Die KI wird gebeten, dieselben LEGO-Steine so zu entwerfen, dass sie völlig anders aussehen als die ursprüngliche gefährliche Struktur, damit Sicherheitskräfte (DNA-Synthese-Screening) die Gefahr nicht erkennen. Die Steine müssen jedoch dennoch perfekt zusammenpassen, um die ursprüngliche Struktur später wieder aufzubauen.
- Das Ergebnis: Dies war der schwierigste Test. Die KI hatte Schwierigkeiten, da es kein „Regelwerk“ dafür gibt, wie man eine Bedrohung verbirgt; es erfordert kreatives, neuartiges Denken. Viele Top-KI-Modelle weigerten sich, diese Aufgabe auszuführen, da sie wahrscheinlich erkannten, dass es sich um ein Sicherheitsrisiko handelt.
Herausforderung C: Der Roboterarm-Bediener (Liquid Handling Robot)
- Die Aufgabe: Die KI muss ein Computerprogramm schreiben, um einen echten Roboterarm in einem Labor (einen OpenTrons-Roboter) zu steuern, der Chemikalien mischt und DNA zusammenbaut.
- Das Ergebnis: Die KI war unglaublich gut darin. Sie schrieb einen Code, der, als er in einem echten Labor getestet wurde, die DNA-Struktur ohne menschliche Hilfe erfolgreich zusammenbaute.

2. Die Bewertung: KI vs. menschliche Experten

Um zu sehen, ob die KI tatsächlich gut war, engagierten die Forscher echte menschliche Biologie-Experten (Ph.D.-Wissenschaftler, die auch programmieren können), um denselben Test zu absolvieren.

Das Urteil: Die KI-Agenten besiegten den durchschnittlichen menschlichen Experten in jeder einzelnen Kategorie.
Die Analogie: Stellen Sie sich ein Videospiel vor, in dem ein durchschnittlicher menschlicher Spieler 5 Stunden braucht, um ein Level zu schaffen und dabei einige Fehler macht. Die KI-Agenten schafften dieselben Level in einem Bruchteil der Zeit mit nahezu perfekten Ergebnissen.
Der Haken: Die KI war am besten bei Aufgaben, bei denen das „Regelwerk“ bereits geschrieben war (wie Standard-Laborprotokolle). Sie war schwächer bei Aufgaben, die neuartiges, kreatives Problemlösen erforderten (wie die „Versteckspiel“-Herausforderung).

3. Der Beweis aus der Praxis

Die Forscher haben sich nicht nur auf die Computersimulation verlassen. Sie nahmen den Code eines der besten KI-Modelle (OpenAI's o4-mini-high) und ließen ihn auf einem echten, physischen Roboter in einem Nasslabor laufen.

Das Ergebnis: Der Roboter folgte den Anweisungen der KI perfekt und baute die DNA-Struktur erfolgreich zusammen. Dies bewies, dass die KI nicht nur redet, sondern auch handelt (walk the walk) – sie kann in einem echten Labor praktisch arbeiten.

4. Was das bedeutet (laut dem Paper)

Das Paper kommt zu dem Schluss, dass diese KI-Agenten nun so anspruchsvoll genug sind, um als „biologisch fähige“ (bio-capable) Arbeitskräfte zu agieren.

Die gute Nachricht: Dies könnte die medizinische Forschung beschleunigen und Wissenschaftlern helfen, viel schneller neue Medikamente zu entdecken.
Die schlechte Nachricht: Da diese KI-Agenten so gut darin sind, Anweisungen zu befolgen und Laboregeräte zu bedienen, könnten sie potenziell die Hürden für böswillige Akteure senken, biologische Bedrohungen zu erschaffen. Wenn eine bösartige Person weiß, wie man die richtigen Fragen stellt, könnte diese KI ihr helfen, Sicherheitskontrollen zu umgehen oder gefährliche Sequenzen zu konstruieren.

Zusammenfassend lässt sich sagen: Das Paper sagt: „Wir haben einen Test gebaut, um zu sehen, ob KI gefährliche Biologie betreiben kann. Die KI hat den Test bestanden und hat in vielen Bereichen menschliche Experten geschlagen. Während dies großartig für die Wissenschaft ist, bedeutet es, dass wir sehr vorsichtig sein müssen, wie wir diese mächtigen Werkzeuge bewachen.“

Technisches Resümee: ABC-Bench: Ein agentischer Benchmark für biologische Fähigkeiten zur Biosicherheit

Problemstellung

Große Sprachmodelle (LLMs) und biologische KI-Modelle erwerben rasant Fähigkeiten, die für die biologische Forschung relevant sind – von der Literatur-Synthese bis hin zur Interpretation experimenteller Daten. Während diese Fortschritte Chancen für wissenschaftliche Entdeckungen bieten, verändern sie gleichzeitig die Landschaft der Biosicherheitsrisiken. Insbesondere „KI-Agenten“ – LLMs, die durch Software-Tools und Ausführungsumgebungen ergänzt werden – sind zunehmend in der Lage, komplexe, end-to-end biologische Aufgaben auszuführen, die zuvor erfahrene menschliche Biologen erforderten.

Derzeitige Biosicherheitsmaßnahmen, wie Wasserzeichen, Unlearning und die Überprüfung der Nukleinsäure-Synthese, beruhen auf der Fähigkeit, relevante KI-Fähigkeiten sicher messen zu können. Bestehende Biologie-Benchmarks testen jedoch überwiegend Wissen mittels Kurzantworten oder Multiple-Choice-Fragen. Diese erfassen nicht die Fähigkeiten moderner Agenten, die autonom Bioinformatik-Pakete nutzen, Daten analysieren und Software schreiben können, um die Laborautomatisierung zu steuern. Es besteht ein kritischer Bedarf an Benchmarks, die „agentische biologische Fähigkeiten“ messen – insbesondere solche, die mit Dual-Use-Risiken verbunden sind, bei denen eine KI böswillige Akteure beim Engineering gefährlicher biologischer Entitäten unterstützen könnte.

Methodik

Die Autoren führen ABC-Bench (Agentic Bio-Capabilities Benchmark) ein, eine Suite von Aufgaben, die darauf ausgelegt ist, KI-Agenten sowohl bei benignen als auch bei Dual-Use-Biologietasks zu evaluieren. Der Benchmark basiert auf sieben Designprinzipien: Messung von Dual-Use-Fähigkeiten, Testen von KIs als Agenten mit Tool-Zugriff, Bewertung diverser Fähigkeiten und Risikoketten, Verwendung objektiver/reproduzierbarer Bewertungsmethoden, Unterstützung von High-Throughput-Assessments sowie die Einbeziehung präzise spezifizierter menschlicher Baselines.

Benchmark-Aufgaben

ABC-Bench besteht aus drei spezifischen Aufgaben, die jeweils einem Schritt in einem potenziellen Pfad zum Erwerb einer gefährlichen DNA-Sequenz entsprechen:

Fragment Design (Fragmentdesign): Eine in silico Aufgabe, bei der der Agent Python-Code schreiben muss, um kurze DNA-Fragmente zu entwerfen. Diese Fragmente müssen für die Bestellung bei kommerziellen Syntheseanbietern geeignet sein und in der Lage sein, mittels Gibson Assembly zu einer Zielsequenz zusammengesetzt zu werden.
Screening Evasion (Umgehung von Screenings): Eine kreative Ideationsaufgabe, bei der der Agent kurze DNA-Fragmente entwerfen muss, die gängige Methoden der Nukleinsäure-Synthese-Überprüfung (NASS) umgehen. Der Agent muss die Sequenz so verschleiern, dass sie der Detektion entgeht, während die Fragmente dennoch zur ursprünglichen Zielsequenz rekonstruiert werden können.
Liquid Handling Robot (Flüssigkeitshandhabungsroboter): Eine Automatisierungsaufgabe, die den Agenten dazu verpflichtet, ein Python-Skript für einen OpenTrons OT-2 Flüssigkeitshandhabungsroboter zu schreiben, um ein Gibson-Assembly-Protokoll durchzuführen. Diese Aufgabe bewertet die Fähigkeit des Agenten, biologische Protokolle in ausführbaren Code für physische Hardware zu übersetzen.

Evaluationsprotokoll

KI-Agenten: Der Benchmark wurde verwendet, um acht Frontier-Modelle (darunter Claude Sonnet 4, Claude Opus 4, Gemini 3.1 Pro Preview, GPT-5.4, Qwen3.5 und Kimi K2.5) in einem agentischen Scaffold mit Zugriff auf Tools wie Python REPL, Bash, Bio-Coding-Bibliotheken, Web-Suche und OpenTrons-Simulatoren zu bewerten.
Menschliche Baselines: Um die Leistung zu kontextualisieren, rekrutierten die Autoren 12–13 menschliche Experten (Ph.D.-Niveau in Molekular-/Computerbiologie mit $\ge$ 2 Jahren Python-Erfahrung). Die Teilnehmer der Baselines erhielten pro Aufgabe 5 Stunden Zeit und wurden mit 200 $ pro Aufgabe vergütet, wobei strikte Überwachung stattfand, um KI-Unterstützung zu verhindern.
Bewertung (Scoring): Die Aufgaben wurden algorithmisch basierend auf vordefinierten Kriterien bewertet (z. B. Erfolg der Code-Ausführung, korrekte Reagenzienvolumina, erfolgreiche Assemblierung). Auch Ablehnungsraten (Refusal Rates) wurden erfasst.
Wet-Lab-Validierung: Für die Aufgabe „Liquid Handling Robot“ wurde ein spezifisches Validierungsexperiment unter Verwendung eines OpenTrons Flex Robot und des NEBuilder® Hi-Fi DNA Assembly Kits durchgeführt. Das Modell (GPT-o4-mini-high) generierte Skripte basierend auf visuellen Deck-Layouts und Herstelleranweisungen, die dann ausgeführt wurden, um physische DNA-Assemblierungen zu produzieren, welche mittels Whole-Plasmid-Sequenzierung verifiziert wurden.

Kernergebnisse

Überlegenheit gegenüber menschlichen Baselines: Alle getesteten Frontier-KI-Agenten übertrafen den Median der menschlichen Experten-Baseline in allen drei Aufgaben.
- Liquid Handling Robot: Modelle wie Claude Sonnet 4.6 und Gemini 3.1 Pro Preview erreichten perfekte Scores (1.00) über alle Durchläufe hinweg. Die menschliche Median-Baseline lag bei 0.20 $\pm$ 0.09.
- Fragment Design: Claude Opus 4.6 erreichte einen perfekten Score (1.00). Die menschliche Median-Baseline lag bei 0.33 $\pm$ 0.12.
- Screening Evasion: Die Modelle schnitten hier am schwächsten ab, mit Scores zwischen 0.39 und 0.78 (Gemini 3.1 Pro Preview). Die menschliche Median-Baseline lag bei 0.22 $\pm$ 0.07. Bemerkenswerterweise lehnten mehrere Modelle (darunter Claude Opus 4.6 und GPT-5.4) alle Proben für diese Aufgabe aufgrund ihrer Dual-Use-Natur ab.
Leistungscharakteristika: Die Agenten zeigten eine hohe Kompetenz bei Aufgaben, die auf publiziertem Wissen und gut dokumentierten Protokollen basieren (Fragment Design, Liquid Handling). Die Leistung sank bei Aufgaben, die neuartige bioinformatische Argumentation und die kreative Anwendung von Prinzipien erforderten (Screening Evasion).
Wet-Lab-Validierung: In drei unabhängigen Experimenten generierte GPT-o4-mini-high erfolgreich funktionale OpenTrons-Skripte, die den vollständigen Gibson-Assembly-Workflow ausführten. Alle drei Experimente führten zu einer erfolgreichen DNA-Assemblierung, die durch Sequenzierung bestätigt wurde. Das Modell korrigierte API-Syntaxfehler (z. B. Labware-Identifikatoren) in einer einzigen Iteration, als es Fehlermeldungen erhielt.
Ablehnungsraten (Refusal Rates): Die Ablehnungsraten variierten signifikant. Die „Screening Evasion“-Aufgabe löste die höchsten Ablehnungen aus (bis zu 100 % bei einigen Modellen), was zeigt, dass Sicherheitsmechanismen aktiv sind. Die „Liquid Handling Robot“-Aufgabe wies minimale Ablehnungen auf.

Bedeutung und Ansprüche

Das Paper behauptet, dass ABC-Bench den ersten rigorosen, agentischen Benchmark für die Biosicherheit bietet, der über die reine Wissensabfrage hinausgeht, um die Ausführung praktischer, mehrstufiger biologischer Aufgaben zu evaluieren.

Fähigkeitsbewertung: Die Ergebnisse liefern klare Beweise dafür, dass agentische biologische Fähigkeiten hoch entwickelt sind. Frontier-KI-Agenten können das Niveau von Experten Menschen bei der Konstruktion von DNA-Fragmenten und der Steuerung der Laborautomatisierung erreichen oder übertreffen.
Dual-Use-Implikationen: Die Fähigkeit von KI-Agenten, diese Aufgaben auf Expertenniveau auszuführen, deutet auf eine Senkung der Expertise-Barriere für Missbrauch hin. Während die Modelle vielversprechend für die Beschleunigung der biomedizinischen Forschung sind, erfordern sie auch Fortschritte in Governance und Missbrauchsvorsorge.
Governance-Nutzen: ABC-Bench ist darauf ausgelegt, Bedrohungsmodelle zu informieren, zu bestimmen, wann Sicherheitsmaßnahmen aktiviert werden sollten, und die Wirksamkeit von Schutzmaßnahmen wie Unlearning zu bewerten. Der Benchmark wird bereits von großen KI-Unternehmen für das Pre-Release-Modelltesting genutzt.
Limitierungen: Die Autoren räumen ein, dass der aktuelle Benchmark kodenzentriert ist und menschliche Experten möglicherweise unterbewertet, die typischerweise dedizierte Design-Tools statt das Schreiben von Skripten verwenden. Zukünftige Iterationen zielen darauf ab, nicht-kodierende Komponenten und ein breiteres Spektrum an Risikoketten-Schritten abzudecken.

Das Paper schließt mit dem Hinweis, dass diese Fähigkeiten zwar die wissenschaftliche Entdeckung beschleunigen, aber gleichzeitig die Dringlichkeit unterstreichen, angemessene Schutzmaßnahmen zu entwickeln – wie etwa den abgestuften Zugang zu Dual-Use-Fähigkeiten und eine verstärkte Synthese-Überprüfung –, um Biosicherheitsrisiken zu minimieren.