BioSecBench-Function: A Verifiable Benchmark for Reasoning about Biological Function from Experimental Data

Technisches Resümee: BioSecBench-Function

Problemstellung
Die Ableitung biologischer Funktionen aus experimentellen Daten stellt einen kritischen Engpass beim Verständnis neu auftretender Erreger und der Entwicklung von Gegenmaßnahmen dar. Derzeit ist dieser Interpretationsprozess durch eine langsame Arbeitsweise gekennzeichnet, die stark von menschlicher Expertise abhängt. Während KI-Agenten das Potenzial haben, diesen Workflow zu beschleunigen, indem sie über verschiedene Evidenztypen hinweg – einschließlich Sequenz-, Struktur- und biophysikalischen Daten – schlussfolgern, mangelt es an standardisierten, verifizierbaren Rahmenbedingungen, um zu bewerten, ob diese Agenten in der Lage sind, biosecurity-relevante Funktionen zuverlässig aus realen biologischen Datensätzen zu rekonstruieren.

Methodik
Um diese Lücke zu schließen, führen die Autoren BioSecBench-Function ein, einen verifizierbaren Benchmark, der darauf ausgelegt ist, KI-Agenten bei der Aufgabe der Rekonstruktion biologischer Funktionen aus experimentellen Daten zu evaluieren. Der Benchmark wurde aus veröffentlichten Datensätzen erstellt und nutzt eine deterministische Bewertung gegen den Ground Truth, um eine objektive Evaluierung zu gewährleisten.

Das Evaluierungs-Framework ist entlang zweier primärer Dimensionen organisiert:

1. Bedrohungsachse (Threat Axis): Besteht aus sieben verschiedenen Fragetypen, die für die Biosicherheit relevant sind.
2. Biologische Fragestellung (Biological Question): Kategorisiert Aufgaben basierend auf der primären Datenmodalität, die für die Lösung erforderlich ist, wobei spezifisch zwischen Abhängigkeiten von Sequenzdaten, Strukturdaten oder biophysikalischen Assay-Daten unterschieden wird.

Der Benchmark umfasst 111 Evaluationen. Die Studie führte 7.326 Durchläufe über zweiundzwanzig verschiedene Modell-Harness-Konfigurationen hinweg durch, um die Leistungs-Variabilität zu testen.

Kernergebnisse
Die Evaluierung lieferte die folgenden Leistungsmetriken und Beobachtungen:

• Top-Performer: Wenn Verweigerungen (Refusals) als Fehler gezählt wurden, erreichte Opus 5 (unter dem Claude Code Harness) die höchste Endpoint-Pass-Rate von 50,3 %. Grok 4.6 (unter dem Grok Build Harness) erreichte die höchste Gesamt-Pass-Rate von 44,1 %.
• Leistungsvariabilität: Es gab erhebliche Variationen in der Leistung über verschiedene Modell-Harness-Konfigurationen und spezifische Aufgabenkategorien hinweg.
• Verweigerungsraten: Die Verweigerungsraten unterschieden sich je nach KI-Anbieter drastisch.
• Kosten vs. Genauigkeit: Die Studie stellte fest, dass die Kosten ein schlechter Prädiktor für die Genauigkeit waren. Bemerkenswerterweise erreichten mehrere Konfigurationen Pass-Raten von über 40 % bei geringen Kosten.

Bedeutung und Ansprüche
Die Arbeit positioniert BioSecBench-Function als notwendigen Standard zur Messung der Zuverlässigkeit von KI-Agenten in hochsensiblen biologischen Kontexten. Ihre primäre Bedeutung liegt darin, einen Mechanismus bereitzustellen, um zu bestimmen, ob Agenten darauf vertraut werden können, die funktionalen Auswirkungen neuer Pathogene oder Varianten während zukünftiger Ausbrüche zu interpretieren. Durch die Etablierung eines verifizierbaren Benchmarks, der auf realen biologischen Daten und Ground Truth basiert, zielt die Arbeit darauf ab, über theoretische Fähigkeiten hinaus zu einer praktischen, messbaren Vertrauenswürdigkeit in Biosicherheitsanwendungen zu gelangen.