CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark

Dieses Paper führt CORE-Bench ein, einen umfassenden Benchmark bestehend aus 270 Aufgaben aus drei wissenschaftlichen Disziplinen, der darauf ausgelegt ist, die Fähigkeit von KI-Agenten zur computergestützten Reproduktion von Forschungsergebnissen zu bewerten und zu verbessern, wobei er signifikante aktuelle Einschränkungen bei der Automatisierung wissenschaftlicher Arbeitsabläufe hervorhebt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Koch, der gerade ein berühmtes Rezept für ein perfektes Soufflé veröffentlicht hat. Sie sagen der Welt: „Hier ist das Rezept, hier sind die Zutaten und hier ist ein Foto des fluffigen Ergebnisses.“ Doch wenn Ihre Freunde versuchen, es nachzukochen, fällt das Soufflé zusammen, verbrennt oder schmeckt wie Pappe. Warum? Vielleicht haben sie den falschen Ofen benutzt, die falsche Marke Eier verwendet oder einen Schritt übersehen, weil Ihre Anweisungen vage waren.

In der Welt der Wissenschaft wird dies als Reproduzierbarkeitskrise bezeichnet. Wissenschaftler veröffentlichen Paper mit Code und Daten, aber andere Forscher können das Ergebnis oft nicht reproduzieren, wenn sie versuchen, diesen Code auszuführen.

Dieses Paper stellt eine neue „Testküche“ namens CORE-Bench vor, um zu sehen, ob KI-Roboter (sogenannte „Agents“) eingestellt werden können, um dieses Chaos zu beheben.

Das Problem: Die „Black Box“ der Wissenschaft

Wissenschaft basiert auf Vertrauen. Wenn eine Studie sagt, dass ein neues Medikament wirkt, müssen wir in der Lage sein, dieselbe Mathematik und denselben Code auszuführen, um dies zu verifizieren. Aber oft ist der Code unordentlich, die Software veraltet oder die Anweisungen fehlen. Es ist, als würde man versuchen, IKEA-Möbel ohne Anleitung zusammenzubauen, mit Werkzeugen, die man nicht hat, in einem Raum mit dem falschen Licht.

Die Lösung: Ein neuer „Roboter-Chef“-Test

Die Autoren haben CORE-Bench entwickelt, einen riesigen Hindernisparcours für KI-Agents.

• Das Setup: Sie nahmen 90 echte wissenschaftliche Arbeiten aus den Bereichen Informatik, Medizin und Sozialwissenschaften.
• Die Aufgabe: Sie baten KI-Agents, als Forschungsassistenten zu fungieren. Die Aufgabe des Agents ist es:
  1. Den Code und die Daten herunterzuladen.
  2. Alle notwendigen Softwarekomponenten zu installieren (wie das Herunterladen der richtigen Apps für ein neues Smartphone).
  3. Den Code auszuführen.
  4. Die Ergebnisse (Diagramme, Zahlen, Text) zu analysieren und spezifische Fragen dazu zu beantworten.
  5. Einen Bericht einzureichen, der besagt: „Ich habe das gleiche Ergebnis wie in der ursprünglichen Arbeit erzielt.“

Die Schwierigkeitsgrade

Genau wie in einem Videospiel hat der Test drei Level:

1. Easy Mode (Einfach): Der KI wird das fertige „Foto“ des Ergebnisses gegeben. Sie muss nur das Bild betrachten und Fragen dazu beantworten. (Als würde man gebeten, eine Speisekarte zu lesen).
2. Medium Mode (Mittel): Der KI wird ein „Docker“-Container (eine vorgefertigte Box mit Werkzeugen) gegeben und sie soll diesen ausführen. Sie muss wissen, wie man die Box öffnet und den „Start“-Knopf drückt.
3. Hard Mode (Schwer): Die KI erhält nur das Rezept (die README-Datei). Sie muss herausfinden, welche Werkzeuge sie kaufen und installieren muss, Fehler beheben und den Code von Grund auf neu ausführen. Dies ist der Realitätscheck.

Die Ergebnisse: Die Roboter lernen noch

Die Forscher testeten zwei Arten von KI-„Köchen“:

1. AutoGPT: Ein Allzweck-Roboter, der versucht, alles Mögliche zu tun.
2. CORE-Agent: Ein Roboter, der speziell darauf trainiert und koacht wurde, genau diesen speziellen Job zu erledigen.

Die Bewertung:

• Im Easy Mode: Der spezialisierte Roboter (CORE-Agent) schnitt recht gut ab und löste etwa 60 % der Aufgaben korrekt.
• Im Hard Mode: Die Punktzahl sank signifikant. Selbst der beste Roboter schaffte nur etwa 21 % der schwierigsten Aufgaben korrekt.

Was ging schief?

• Orientierungslosigkeit: Die Roboter schauten oft auf das falsche Diagramm oder die falsche Datei, wenn viele Dateien im Ordner vorhanden waren.
• Die Installationsfalle: Auf dem schweren Level blieben die Roboter beim Installieren der Software stecken. Sie versuchten immer wieder, dasselbe zu installieren, verbrauchten zu viel Geld (API-Kosten) und gaben auf.
• Visuelle Probleme: Es war für die Roboter viel schwieriger, Grafiken und Bilder zu „lesen“, als reinen Text zu lesen.
• Sprachprobleme: Die Roboter hatten größere Schwierigkeiten mit Code in der Sprache R im Vergleich zu Python.

Das Fazit

Das Paper kommt zu dem Schluss, dass KI zwar besser im Programmieren wird, aber noch weit davon entfernt ist, komplexe wissenschaftliche Forschung eigenständig und zuverlässig zu reproduzieren.

Es gibt jedoch gute Nachrichten: Spezialisierte Trainings helfen. Als die Forscher dem allgemeinen Roboter einige spezifische Hinweise und Regeln gaben (wie „prüfe immer zuerst den Output-Ordner“ oder „rate nicht, sondern schaue in die Datei“), verbesserte sich seine Leistung deutlich.

Das Wesentliche:
Wir können einem Roboter heute nicht einfach ein wissenschaftliches Paper übergeben und erwarten, dass er die Wissenschaft verifiziert. Aber wenn wir dem Roboter ein wenig Coaching und die richtigen Werkzeuge geben, kann er anfangen zu helfen. Das Ziel ist nicht, Wissenschaftler zu ersetzen, sondern einen „Roboter-Assistenten“ zu bauen, der die langweilige, repetitive Arbeit übernehmen kann, zu prüfen, ob die Mathematik tatsächlich aufgeht, damit Menschen mehr Zeit für die eigentliche Entdeckung haben.

Die Autoren hoffen, dass sie durch die Veröffentlichung dieses Tests (CORE-Bench) andere Entwickler dazu bewegen, bessere Roboter zu bauen, die helfen können, die Wissenschaft vertrauenswürdiger zu machen.

Technische Zusammenfassung

Technisches Resümee: CORE-Bench

Problemstellung

Die rechnerische Reproduzierbarkeit – die Fähigkeit, die Ergebnisse wissenschaftlicher Studien unter Verwendung des bereitgestellten Codes und der Daten zu reproduzieren – ist ein Eckpfeiler des wissenschaftlichen Prozesses. Trotz der weit verbreiteten Verfügbarkeit von Daten und Code erweist sich jedoch ein erheblicher Teil der Studien in verschiedenen Bereichen (darunter Informatik, Medizin, Wirtschaftswissenschaften und Psychologie) als nicht rechnerisch reproduzierbar. Zu den Herausforderungen gehören nicht spezifizierte Bibliotheksversionen, architektonische Unterschiede (z. B. ARM vs. x86), Inkompatibilitäten des Betriebssystems und inhärente Ergebnisvarianz.

Obwohl jüngste Fortschritte bei KI-Agenten und zusammengesetzten KI-Systemen vielversprechende Ergebnisse bei der Automatisierung komplexer Programmieraufgaben gezeigt haben (z. B. SWE-bench), mangelt es an Benchmarks, die darauf ausgelegt sind, Agenten bei der spezifischen, routinemäßigen, aber kritischen Aufgabe der Reproduktion bestehender wissenschaftlicher Forschung zu evaluieren. Bevor Agenten darauf vertraut werden können, neuartige Forschung zu betreiben, müssen sie erst einmal in der Lage sein, bestehende Arbeiten getreu zu reproduzieren.

Methodik

Benchmark-Konstruktion (CORE-Bench)

Die Autoren führen CORE-Bench (Computational Reproducibility Agent Benchmark) ein, einen Datensatz bestehend aus 270 Aufgaben, die aus 90 wissenschaftlichen Arbeiten aus drei Disziplinen stammen: Informatik, Sozialwissenschaften und Medizin. Die Arbeiten wurden von CodeOcean bezogen, einer Plattform, die für das Hosting reproduzierbarer Forschungs-Kapseln bekannt ist, wodurch sichergestellt ist, dass eine Grundwahrheit (Ground Truth) für eine erfolgreiche Reproduktion existiert.

Selektionskriterien:
Die Autoren filterten 5.090 CodeOcean-Kapseln anhand von zehn Kriterien, um Durchführbarkeit und Konstruktvalidität zu gewährleisten (Tabelle 2). Zu den wichtigsten Kriterien gehörten:

• Übereinstimmung mit einer öffentlich zugänglichen wissenschaftlichen Arbeit.
• Implementierung in Python oder R.
• Vorhandensein einer README-Datei.
• Ausführungszeit unter 45 Minuten auf Standardhardware.
• Geringe Varianz in den Ergebnissen (um deterministische oder nahezu deterministische Ausgaben zu gewährleisten).
• Größe unter 10 GB.

Schwierigkeitsgrade:
Um ein Spektrum an Agenten-Fähigkeiten zu evaluieren, erstellten die Autoren drei Schwierigkeitsstufen für jede der 90 Arbeiten (Tabelle 3):

1. CORE-Bench-Easy: Dem Agenten wird der vollständige Code-Output eines erfolgreichen Durchlaufs zur Verfügung gestellt. Die Aufgabe besteht rein aus der Informationsextraktion aus vorhandenen Texten oder Abbildungen.
2. CORE-Bench-Medium: Dem Agenten wird ein Dockerfile und Textanweisungen zur Verfügung gestellt. Der Agent muss den Docker-Befehl ausführen, um den Code zu reproduzieren, und anschließend die Ergebnisse extrahieren.
3. CORE-Bench-Hard: Dem Agenten wird nur die README-Datei zur Verfügung gestellt. Er muss eigenständig Abhängigkeiten installieren, den korrekten Ausführungsbefehl ermitteln, den Code ausführen und die Ergebnisse extrahieren. Diese Stufe ahmt das reale Szenario nach, eine Arbeit ohne vorverpackte Container zu reproduzieren.

Evaluationsmetriken:

• Genauigkeit (Accuracy): Eine Aufgabe gilt nur dann als korrekt gelöst, wenn der Agent alle damit verbundenen Fragen korrekt beantwortet. Die Fragen erfordern die Extraktion spezifischer Werte (z. B. Modellgenauigkeit, Achsenbeschriftungen, Korrelationskoeffizienten) aus Terminal-Ausgaben, PDFs, HTML oder Abbildungen.
• Vision-Language-Integration: Die Aufgaben enthalten sowohl textbasierte als auch visuelle Fragen, die die Analyse von Abbildungen und Diagrammen erfordern.
• Evaluations-Harness: Um Fairness und Parallelisierbarkeit zu gewährleisten, haben die Autoren ein Evaluations-Harness entwickelt, das jedes Agenten-Aufgaben-Paar in einer isolierten Virtuellen Maschine (VM) ausführt. Dies verhindert, dass Agenten den Benchmark manipulieren, und ermöglicht das parallele Ausführen von hunderten Aufgaben, wodurch die Evaluierungszeit von ca. 20 Tagen (sequenziell) auf ca. 2 Stunden reduziert wird.

Baseline-Agenten

Die Autoren evaluierten zwei Agenten-Architekturen unter Verwendung von GPT-4o und GPT-4o-mini als zugrunde liegende LLMs:

1. AutoGPT: Ein General-Purpose-Agent mit minimalen Modifikationen (Hinzufügung eines query_vision_language_model-Tools).
2. CORE-Agent: Eine aufgaben-spezifische Variante von AutoGPT, die für jede Schwierigkeitsstufe angepasst wurde. Die Modifikationen umfassten:
   • Programmatische Prüfungen, um die Einreichung eines korrekt formatierten report.json sicherzustellen.
   • Spezifische Prompting-Hinweise (z. B. Verwendung von pdftotext für PDFs, Priorisierung bestimmter Dateien, Verwendung absoluter Pfade statt Umgebungsvariablen und Vorinstallation von Abhängigkeiten vor der Code-Ausführung).

Kernergebnisse

Gesamtleistung:

• CORE-Agent (GPT-4o) erreichte die höchste Leistung: 60,00 % bei Easy, 57,78 % bei Medium und 21,48 % bei Hard-Aufgaben.
• AutoGPT (GPT-4o) schnitt deutlich schlechter ab, insbesondere bei Hard-Aufgaben (6,67 %), was die Notwendigkeit kulturspezifischer Anpassungen verdeutlicht.
• GPT-4o-mini zeigte eine geringere Genauigkeit über alle Agenten und Schwierigkeitsstufen hinweg, wies jedoch ein günstiges Kosten-Genauigkeits-Verhältnis auf.

Wichtige Beobachtungen:

1. Auswirkung aufgabenspezifischer Modifikationen: Die Anpassung eines Generalisten-Agenten (AutoGPT) durch spezifische Prompts und Constraints (CORE-Agent) führte zu massiven Verbesserungen, insbesondere bei schwächeren Modellen (z. B. verbesserte GPT-4o-mini von 8,89 % auf 44,44 % bei Easy-Aufgaben).
2. Schwierigkeitsgradient: Die Leistung sank signifikant mit zunehmender Schwierigkeit, was bestätigt, dass Dependency-Management und Befehlsausführung (Hard-Level) weiterhin große Engpässe darstellen.
3. Modalitätsunterschiede: Agenten schnitten bei textbasierten Fragen (87,88 % bei Easy) signifikant besser ab als bei visuellen Fragen (59,26 % bei Easy) und hatten oft Schwierigkeiten, relevante Abbildungen unter mehreren Ausgaben zu identifizieren.
4. Sprachunterschiede: Python-Aufgaben ließen sich signifikant leichter reproduzieren als R-Aufgaben, was teilweise auf die Komplexität des Parsens von R-generierten PDF-Manuskripten und längere Installationszeiten der Abhängigkeiten zurückzuführen ist.
5. Fehlermodi: Häufige Fehler waren:
   • Abruf von Informationen aus der falschen Abbildung oder Datei.
   • Ignorieren von Docker-Anweisungen und Versuch einer manuellen Reproduktion (was zu Kontext-Limits führte).
   • Feststecken in Schleifen bei der Installation von Abhängigkeiten (Hard-Level).
   • Versuch des Zugriffs auf externe Websites (z. B. CodeOcean), die JavaScript-Rendering erfordern, was die Agenten nicht handhaben konnten.

Bedeutung und Behauptungen

Das Paper postuliert, dass die Reproduktion bestehender Forschung eine notwendige Voraussetzung für den Aufbau von Agenten ist, die in der Lage sind, neuartige wissenschaftliche Forschung zu betreiben. Die Autoren behaupten:

1. Machbarkeit der Automatisierung: Während die vollständige Automatisierung der rechnerischen Reproduzierbarkeit derzeit schwierig ist (21 % Genauigkeit bei den schwierigsten Aufgaben), ist sie nicht unmöglich. Einfache, aufgaben-spezifische Modifikationen an Generalisten-Agenten können erhebliche Leistungssteigerungen bewirken.
2. Nutzen von CORE-Bench: Der Benchmark bietet eine standardisierte, realistische und anspruchsvolle Umgebung zur Messung des Fortschritts von Agenten. Er deckt ein diverses Set an Fähigkeiten ab, einschließlich Coding, Shell-Interaktion, Retrieval und Vision-Language-Interpretation.
3. Reale Anwendung: Erfolgreiche Agenten könnten Autoren dabei unterstützen, die Reproduzierbarkeit vor der Publikation zu verifizieren, unabhängigen Forschern helfen, Studien zu replizieren, und Journal-Editoren bei der Bewertung von Einreichungen unterstützen.
4. Sicherheit und Leitplanken (Guardrails): Die Studie hebt die Notwendigkeit besserer Leitplanken hervor, um zu verhindern, dass Agenten unsichere oder unerwartete Aktionen ausführen (z. B. Erstellung von tausenden Konten oder das Scheitern beim Rendern von JavaScript-abhängigen Seiten), wenn sie in realen wissenschaftlichen Workflows eingesetzt werden.

Die Autoren kommen zu dem Schluss, dass der aktuelle Stand der Agenten zwar „großen Spielraum für Verbesserungen“ lässt, CORE-Bench jedoch einen grundlegenden Schritt darstellt, um die Entwicklung zuverlässiger Forschungs-Agenten und die Verbesserung des allgemeinen Zustands der rechnerischen Reproduzierbarkeit in der Wissenschaft voranzutreiben.