🤖 AI

PaperRepro: Automated Computational Reproducibility Assessment for Social Science Papers

Das Paper stellt PaperRepro vor, ein neuartiges, zweistufiges Multi-Agenten-System zur automatisierten Bewertung der rechnerischen Reproduzierbarkeit sozialwissenschaftlicher Studien, das durch die Trennung von Ausführung und Evaluation sowie den Einsatz spezialisierter Tools und Prompts die Leistungsfähigkeit bestehender Ansätze signifikant verbessert.

Ursprüngliche Autoren: Linhao Zhang, Tong Xia, Jinghua Piao, Lizhen Cui, Yong Li

Veröffentlicht 2026-03-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Linhao Zhang, Tong Xia, Jinghua Piao, Lizhen Cui, Yong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen fantastischen Kochrezept-Blog gefunden. Der Autor behauptet, er habe den perfekten Schokoladenkuchen gebacken und zeigt ein Foto davon. Aber Sie wollen nicht einfach nur glauben, dass es funktioniert. Sie wollen den Kuchen selbst nachbacken, um zu sehen, ob er wirklich genauso schmeckt und aussieht wie auf dem Foto.

Das ist im Grunde das Problem, das dieses Papier mit dem Namen PaperRepro löst. Nur statt einem Kochrezept geht es um wissenschaftliche Forschungsarbeiten in den Sozialwissenschaften (wie Wirtschaft oder Politik), und statt eines Kuchens sind es komplexe Daten und Computerprogramme.

Hier ist die einfache Erklärung, wie PaperRepro funktioniert, mit ein paar kreativen Vergleichen:

Das Problem: Der "Geister-Koch"

In der Wissenschaft ist es wichtig, dass Ergebnisse überprüfbar sind. Aber oft passiert Folgendes:
Ein Forscher veröffentlicht seine Daten und seinen Code (das Rezept). Ein anderer versucht, es nachzuvollziehen, scheitert aber, weil:

Der Code auf einem anderen Computer nicht läuft (wie ein Rezept, das nur mit einer speziellen, veralteten Backmaschine funktioniert).
Der Code Fehler hat, die niemand bemerkt hat.
Das Ergebnis auf dem Bildschirm verschwindet, sobald man den Computer ausschaltet (wie ein Kuchen, der sofort wieder in den Teig zurückverwandelt wird, sobald man ihn aus dem Ofen nimmt).

Früher mussten menschliche Experten stundenlang oder wochenlang versuchen, diese "Rezepte" nachzuvollziehen. Das ist teuer, langsam und nervig.

Die Lösung: PaperRepro – Das Roboterteam

PaperRepro ist wie ein hochspezialisiertes Roboterteam, das diese Überprüfung automatisch erledigt. Es nutzt künstliche Intelligenz (große Sprachmodelle), ist aber nicht nur ein einzelner Roboter, sondern ein gut organisierter Betrieb mit verschiedenen Abteilungen.

Das Team arbeitet in zwei großen Phasen, wie ein Bau- und Prüfprojekt:

Phase 1: Die Baustelle (Ausführungs-Phase)

Stellen Sie sich vor, ein Team von Robotern geht in die Garage des Autors, um den Motor zu starten.

Der Planer (Setup-Agent): Dieser Roboter liest die Anleitung, sucht heraus, welche Werkzeuge man braucht, und erstellt einen genauen Bauplan. Er sorgt dafür, dass alle notwendigen Teile (Software, Daten) vorhanden sind.
Der Handwerker (Execution-Agent): Dieser Roboter führt den Plan aus. Er tippt den Code ab und startet die Programme.
- Der Clou: Wenn das Programm normalerweise nur ein Bild auf dem Bildschirm zeigt und es dann löscht, schneidet dieser Roboter den Code so um, dass er das Bild speichert und als Datei ablegt. Er macht aus einem flüchtigen Ergebnis ein festes, überprüfbares Objekt.
- Wenn etwas schiefgeht (z. B. ein Dateipfad falsch ist), repariert er es sofort, ohne das Original zu zerstören, und versucht es erneut.

Am Ende dieser Phase haben wir nicht nur versucht, den Code laufen zu lassen, sondern wir haben beweissichere Dateien (die "gebackenen Kuchen") gesammelt.

Phase 2: Die Qualitätskontrolle (Bewertungs-Phase)

Jetzt kommt das zweite Team, um zu prüfen, ob das Ergebnis stimmt.

Der Prüfer (Scoring-Agent): Dieser Roboter nimmt die gespeicherten Dateien aus Phase 1 und vergleicht sie mit dem Original-Foto aus dem wissenschaftlichen Papier.
- Er nutzt spezielle Werkzeuge, um Tabellen und Grafiken genau zu betrachten.
- Er fragt sich: "Sieht der gebackene Kuchen genauso aus wie auf dem Foto? Ist die Schokoladenglasur gleichmäßig?"
- Basierend auf den Beweisen gibt er eine Note (von 1 bis 4).
Der Berichterstatter (Report-Agent): Dieser Roboter schreibt am Ende einen klaren Bericht: "Hier ist, was wir getan haben, hier ist das Ergebnis, und hier ist die Note."

Warum ist das besser als vorherige Methoden?

Bisherige KI-Systeme waren wie ein einzelner, überarbeiteter Student, der versucht, alles gleichzeitig zu machen: Er versucht, den Code zu lesen, zu reparieren, auszuführen und zu bewerten. Dabei verliert er oft den Überblick, vergisst Details oder scheitert, weil der "Arbeitsraum" (der Kontext) zu voll ist.

PaperRepro hingegen ist wie eine gut organisierte Fabrik:

Arbeitsteilung: Jeder Roboter hat nur eine Aufgabe. Der eine plant, der andere baut, der dritte prüft. Das verhindert Chaos.
Spezialwerkzeuge: Jeder Roboter hat genau die Werkzeuge, die er für seinen Job braucht (z. B. ein Werkzeug, um Bilder aus PDFs zu extrahieren).
Beweissicherung: Anstatt sich nur auf das Gedächtnis der KI zu verlassen, werden alle Ergebnisse als echte Dateien gespeichert. So kann man später nachschauen, was genau passiert ist.

Das Ergebnis

Das Team hat PaperRepro an einem großen Testset (einer Art "Prüfstand" mit 112 wissenschaftlichen Arbeiten) getestet.

Es war deutlich besser als alle vorherigen Systeme.
Es konnte in fast allen Fällen die Programme erfolgreich starten (während andere oft scheiterten).
Es gab genauere Bewertungen, ob die Ergebnisse wirklich reproduzierbar waren.

Fazit

PaperRepro ist wie ein automatisierter Qualitätskontrolleur für die Wissenschaft. Es nimmt die mühsame Arbeit des Nachvollziehens von Forschungsergebnissen ab, macht sie schneller und zuverlässiger. So können wir sicherer sein, dass die wissenschaftlichen Erkenntnisse, auf denen politische Entscheidungen basieren, wirklich auf solidem Boden stehen – und nicht nur auf einem gut aussehenden, aber leeren Foto.

Zusätzlich haben die Autoren den Teststand selbst verbessert ("REPRO-Bench-S"), indem sie Fehler in den alten Tests korrigiert und die Aufgaben nach Schwierigkeitsgrad sortiert haben, damit zukünftige Roboter noch besser trainiert werden können.

1. Problemstellung

Die computergestützte Reproduzierbarkeit ist eine Grundvoraussetzung für glaubwürdige wissenschaftliche Erkenntnisse, insbesondere in den Sozialwissenschaften, wo Ergebnisse oft direkte Auswirkungen auf politische Entscheidungen haben. Die manuelle Überprüfung der Reproduzierbarkeit ist jedoch extrem kostspielig und zeitaufwendig.

Automatisierte Ansätze, die auf Large Language Models (LLMs) und Agenten basieren, stoßen in diesem Bereich jedoch auf drei wesentliche Hindernisse:

Kontext-Bottleneck: Reproduktionspakete enthalten viele Dateien, Skripte und Logs, die die Kontextkapazität von Agenten übersteigen und zu Informationsverlust führen.
Mangel an aufgabenspezifischen Werkzeugen: Bestehende Agenten nutzen oft nur generische Befehlsausführung und können keine spezifischen Artefakte (wie Tabellen oder Abbildungen) direkt aus Papieren extrahieren oder mit reproduzierten Ergebnissen vergleichen.
Lücke bei der Ergebniserfassung: Agenten konzentrieren sich oft nur auf die Ausführung von Skripten, übersehen aber die Erfassung der Ergebnisse, die nur in GUIs, Logs oder als flüchtige Ausgaben erscheinen.

2. Methodik: PaperRepro

PaperRepro ist ein neuartiger, zweistufiger Multi-Agenten-Ansatz, der die Ausführung von der Bewertung trennt, um die Zuverlässigkeit zu erhöhen. Das System nutzt spezialisierte Agenten, aufgabenspezifische Tools und Experten-Prompts.

A. Stufe 1: Artefakt-getriebene Ausführung (Artifact-driven Execution Stage)

In dieser Phase wird das Reproduktionspaket ausgeführt und die Ergebnisse als persistente Artefakte erfasst.

Setup-Agent: Analysiert das Repository (Dokumentation, Code), identifiziert Einstiegspunkte, leitet Abhängigkeiten ab und erstellt einen ausführbaren Reproduktionsplan ( $D_p$ ). Er erstellt auch ein Installations-Skript für die Umgebungsabhängigkeiten.
Execution-Agent: Führt den Plan aus. Ein Kernfeature ist die Code-Editierung: Der Agent passt Skripte minimal an, um Ergebnisse, die sonst nur im GUI oder in Logs erscheinen, explizit als Dateien (Artefakte $A_r$ ) zu speichern. Bei Fehlern führt er ein iteratives Debugging durch, ohne die Originaldateien zu überschreiben (nicht-intrusive Modifikation).
Ergebnis: Reproduzierte Artefakte ( $A_r$ ) und eine Zusammenfassung der Ausführung ( $D_e$ ), die Änderungen und Code-Qualität dokumentiert.

B. Stufe 2: Evidenzbasierte Bewertung (Evidence-grounded Evaluation Stage)

In dieser Phase wird die Reproduzierbarkeit basierend auf den gesammelten Beweisen bewertet.

Scoring-Agent: Vergleicht die reproduzierten Artefakte mit den im Paper berichteten Ergebnissen. Er nutzt multimodale Tools, um Abbildungen und Tabellen aus dem PDF des Originalpapiers zu extrahieren und visuell mit den generierten Ergebnissen zu vergleichen. Basierend auf Konsistenz und Code-Qualität wird ein Reproduzierbarkeits-Score ( $S$ ) vergeben.
Report-Agent: Generiert einen strukturierten, für Menschen lesbaren Bericht ( $R$ ), der den Score, die Kriterien und die Beweise zusammenfasst.

Schlüssel-Design-Entscheidungen

Dateipersistenz: Alle Zwischenergebnisse, Logs und Pläne werden als Dateien gespeichert, um Nachvollziehbarkeit und menschliche Überprüfung zu ermöglichen.
Kontrollierte Kontextnutzung: Durch Aufgabenzerlegung und selektives Lesen von Dateien wird der Kontextdruck auf einzelne Agenten minimiert.
Fehlerwiederherstellung: Das System ist robust gegenüber Teilausfällen; Agenten versuchen, Ergebnisse aus Logs zu rekonstruieren, wenn Artefakte fehlen.

3. Hauptbeiträge

Multi-Agenten-Architektur: Ein zweistufiger Ansatz, der Ausführung und Bewertung trennt und Agenten mit spezialisierten Tools (z. B. für Bildextraktion, Code-Editierung) und Experten-Prompts ausstattet.
Artefakt-Erfassung: Ein Mechanismus, der sicherstellt, dass reproduzierte Ergebnisse explizit als Dateien gespeichert werden, was die Vergleichbarkeit mit dem Originalpapier erst ermöglicht.
Benchmark-Verbesserung: Die Autoren haben den bestehenden Benchmark REPRO-Bench bereinigt und eine stratifizierte Version namens REPRO-Bench-S eingeführt, die nach Ausführungsschwierigkeit (leicht, mittel, schwer) klassifiziert ist, um eine diagnostischere Evaluation zu ermöglichen.

4. Ergebnisse

Die Evaluation erfolgte auf dem REPRO-Bench (112 Instanzen aus Sozialwissenschaften):

Leistung: PaperRepro erzielte die beste Gesamtleistung mit einer Genauigkeit (Accuracy) von 44,6 %. Dies stellt eine relative Verbesserung von 21,9 % gegenüber dem besten vorherigen Baseline-Modell (REPRO-Agent) dar.
Anwendbarkeit: PaperRepro erreichte eine Anwendbarkeit von 100 % (d. h., es lieferte für alle Instanzen ein gültiges Ausgabeformat), während andere Modelle häufiger versagten.
Ausführbarkeit: Die Fähigkeit, das Paket erfolgreich auszuführen und Artefakte zu sammeln, lag bei 65,2 %.
Kosten: Die API-Kosten pro Instanz waren mit 1,93 $ vergleichbar mit anderen Ansätzen.
Fehleranalyse: Die häufigsten Fehler traten beim Setup (fehlende Abhängigkeiten) und bei der Planung (falsche Ausführungsreihenfolge) auf. Die Genauigkeit sank bei schwierigeren Instanzen (Level-3 in REPRO-Bench-S) auf 33,3 %, was zeigt, dass komplexe Umgebungen weiterhin eine Herausforderung darstellen.
Fallstudie: In einer Fallstudie mit einem Nature-Paper (6 Skripte, 2.364 Zeilen Code) konnte PaperRepro die Reproduktion in 15 Minuten abschließen, während ein menschlicher Experte dafür eine Stunde benötigte.

5. Bedeutung und Ausblick

PaperRepro demonstriert, dass automatisierte, agentenbasierte Systeme die Reproduzierbarkeitsprüfung in den Sozialwissenschaften skalierbar und effizient gestalten können. Durch die Trennung von Ausführung und Bewertung sowie die Nutzung von Dateipersistenz wird die Zuverlässigkeit der Bewertung erhöht.

Die Arbeit unterstreicht die Notwendigkeit von spezialisierten Werkzeugen für wissenschaftliche Reproduktion, die über generische Code-Generierung hinausgehen. Die Einführung von REPRO-Bench-S bietet der Forschungsgemeinschaft ein präziseres Werkzeug, um die Grenzen aktueller Systeme zu diagnostizieren. Zukünftige Arbeiten planen die Erweiterung dieses Ansatzes auf andere wissenschaftliche Domänen jenseits der Sozialwissenschaften.