ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review

Technischer Überblick: Agente Bewertung der Reproduzierbarkeit (ARA)

Problemstellung
Das wissenschaftliche Peer-Review-Verfahren ist zunehmend nicht mehr in der Lage, die Reproduzierbarkeit im Umfang und der Komplexität moderner Forschungsergebnisse zu bewerten. Das exponentielle Wachstum von Publikationen, beschleunigt durch Large Language Models (LLMs) als Schreibassistenten, hat traditionelle Qualitätssicherungsmechanismen überlastet. Obwohl Reproduzierbarkeit eine notwendige Bedingung für die Validierung wissenschaftlicher Beiträge ist, erfordert deren Bewertung die Rekonstruktion experimenteller Abhängigkeiten, methodischer Entscheidungen, Datenflüsse und prozeduren zur Ergebniserzeugung. Dieser Prozess übersteigt angesichts zeitlicher Einschränkungen und des Umfangs der Einreichungen oft die Kapazität menschlicher Gutachter. Bestehende automatisierte Ansätze sind häufig domänenspezifisch, verlassen sich auf einfache checklistbasierte Parsing-Verfahren oder erfordern den Zugriff auf externe Replikationspakete (Code, Daten), die über den Publikationstext hinausgehen. Folglich bleiben Bewertungen der Reproduzierbarkeit in Standardarbeitsabläufen unterrepräsentiert und schwer skalierbar.

Methodik
Der Artikel stellt Agente Bewertung der Reproduzierbarkeit (ARA) vor, ein Framework, das die Bewertung der Reproduzierbarkeit als strukturierte Schlussfolgerungsaufgabe formalisiert, die von LLM-basierten Agentensystemen direkt aus wissenschaftlichen Dokumenten ausgeführt werden kann. ARA arbeitet ohne die Notwendigkeit externer Artefakte, Quellcodes oder Ausführungsumgebungen. Die Pipeline besteht aus drei Hauptphasen:

1. Konstruktion des Workflow-Graphen:
   Gegeben ein wissenschaftlicher Artikel $D$, konstruiert ARA einen gerichteten Workflow-Graphen $G = (V, E)$. Die Knoten $V$ sind in vier domänenagnostische Phasen unterteilt:

   • Quellen: Datensätze, Annahmen und Forschungsfragen.
   • Methoden: Zwischenschritte der Transformation, Algorithmen, Parameter sowie Software-/Hardware-Ressourcen.
   • Experimente: Evaluierungsprotokolle, Baselines, Laufzeitbedingungen und Konfigurationen.
   • Senken: Ergebniskritische Abbildungen, Tabellen und berichtete Schlussfolgerungen.
     Kanten $E$ repräsentieren Abhängigkeitsbeziehungen zwischen diesen Komponenten. Ein LLM-Agent extrahiert diese Komponenten mittels strukturierter Abfragen und verankert die Antworten in wörtlichen Zitaten aus dem Quelltext, um die Nachvollziehbarkeit sicherzustellen.

2. Mikro-Level-Bewertung:
   Die Rekonstruierbarkeit einzelner Knoten wird mittels einer ordinalen Bewertungsfunktion $r(\cdot) \in \{1, 2, 3, 4\}$ bewertet, wobei 1 für fehlende Informationen und 4 für ausreichende Details zur unabhängigen Rekonstruktion steht. Diese Bewertung erfolgt phasenspezifisch und unterscheidet zwischen Aspekten wie der Klarheit von Algorithmen (für Methoden) versus der Verfügbarkeit von Datensätzen (für Quellen).

3. Bewertung der Reproduzierbarkeit:
   Mikro-Level-Bewertungen werden über zwei orthogonale Achsen zu einer finalen zusammengesetzten Reproduzierbarkeitsbewertung $R$ aggregiert:

   • Inhaltsbewertung ($R_c$): Misst die deskriptive Angemessenheit der Knoten (Quellen, Methoden, Experimente, Senken) für eine unabhängige Rekonstruktion. Sie ist eine gewichtete konvexe Kombination phasenspezifischer Durchschnittsbewertungen.
   • Strukturbewertung ($R_s$): Misst die Qualität der Konnektivität des Workflow-Graphen. Sie bestraft unverbundene Quellen, isolierte Senken, ungelöste Referenzen, unterbrochene Quellen-zu-Senken-Pfade und Graphenfragmentierung.
     Die Endbewertung ist das geometrische Mittel: $R = \sqrt{R_c \cdot R_s}$. Diese Formulierung stellt sicher, dass eine Schwäche entweder in deskriptiven Details oder in der strukturellen Konnektivität nicht durch Stärke in der anderen Komponente kompensiert werden kann.

Hauptbeiträge

• Formalisierung der dokumentenbasierten Schlussfolgerung: ARA modelliert die Bewertung der Reproduzierbarkeit nicht als Checkliste oder als vollständige Ausführungsaufgabe, sondern als strukturiertes Schlussfolgerungsproblem über den aus dem Text extrahierten Workflow der Evidenzgenerierung.
• Domänenagnostisches Framework: Im Gegensatz zu früheren Arbeiten, die auf spezifische Felder (z. B. Informatik oder Sozialwissenschaften) beschränkt waren, ist ARA so konzipiert, dass es über heterogene wissenschaftliche Domänen hinweg funktioniert.
• Skalierbare diagnostische Unterstützung: Das System bietet einen skalierbaren Mechanismus zur Identifizierung fehlender Berichtselemente, unvollständiger Workflows und Engpässe der Reproduzierbarkeit, der dazu dient, das menschliche Peer-Review zu ergänzen, nicht zu ersetzen.
• Umfassendes Benchmarking: Die Autoren evaluieren ARA am ReScience C-Datensatz, der 213 von Menschen validierte Studien zur rechnerischen Reproduzierbarkeit über mehrere Disziplinen hinweg umfasst. Dies stellt den bisher größten domänenübergreifenden Benchmark dieser Art dar.

Ergebnisse
Experimente wurden an 213 ReScience C-Artikeln durchgeführt, wobei die Bewertungen von ARA mit von Menschen verifizierten Replikationsworkflows und Berichtsstrukturen verglichen wurden.

• Konsistenz: Das Framework zeigt eine erhebliche Stabilität über verschiedene LLM-Architekturen (einschließlich Gemini, GPT-4.1 und Qwen-Varianten), Sampling-Temperaturen und wiederholte Durchläufe hinweg. Die strukturelle Konsistenz des Graphen und die Variabilität der Reproduzierbarkeitsbewertung bleiben gering, was darauf hindeutet, dass das System nicht durch Halluzinationen oder orakelähnliche Zufälligkeit getrieben wird.
• Leistung: ARA erzielt eine konsistente Übereinstimmung mit menschlichen Bewertungen und erreicht eine Genauigkeit von etwa 61 % über drei Benchmarks zur Bewertung der Reproduzierbarkeit (ReScience C, ReproBench und GoldStandardDB).
• Vergleich: ARA schneidet in Bezug auf die Übereinstimmung mit menschlichen Annotationen vergleichbar oder besser als bestehende Agentensysteme (ReplicatorAgent, ReproScreener) ab, obwohl es strikt unter dokumentenbasierten Bedingungen arbeitet, ohne Zugriff auf externe Repositorien oder Replikationspakete.
• Analyse der Abweichungen: Abweichungen zwischen ARA und menschlichen Experten liegen im Allgemeinen innerhalb einer ordinalen Skalenstufe. Die Abweichungen sind für die Phasen „Methoden" und „Experimente" höher, da menschliche Gutachter häufig auf Implementierungsdetails zurückgreifen, die erst während der vollständigen Replikation offengelegt werden und allein aus dem Text nicht beobachtbar sind.

Bedeutung und Behauptungen
Der Artikel behauptet, dass ARA die technische Machbarkeit demonstriert, agentenbasierte KI-Systeme zur Approximation menschlicher Urteile zur Reproduzierbarkeit im großen Maßstab einzusetzen. Die Autoren positionieren ARA nicht als Ersatz für das menschliche Experten-Peer-Review, sondern als skalierbare diagnostische Ergänzung. Durch die Operationalisierung der Bewertung der Reproduzierbarkeit als dokumentenbasierte Schlussfolgerungsaufgabe bietet das Framework einen Weg:

• Editorial-Pipelines und die groß angelegte Literatursichtung zu beschleunigen.
• Konsistente, transparente und reproduzierbare Qualitätskontrollen über diverse wissenschaftliche Domänen hinweg zu gewährleisten.
• Die „Reproduzierbarkeitskrise" zu adressieren, indem Berichtslücken identifiziert werden, bevor vollständige Replikationsversuche unternommen werden.

Die Autoren betonen, dass der Wert des Systems in seiner Fähigkeit liegt, ohne externe Artefakte zu funktionieren, was es auf die überwiegende Mehrheit der veröffentlichten Literatur anwendbar macht, bei der Code und Daten nicht unmittelbar verfügbar sind. Die Robustheit der Ergebnisse über verschiedene Modelle hinweg und die Übereinstimmung mit menschlichen Urteilen auf einem strengen Benchmark deuten darauf hin, dass die strukturierte Workflow-Rekonstruktion aussagekräftige Signale der Reproduzierbarkeit über das einfache Dokumenten-Parsing hinaus erfassen kann.