SciCoQA: Quality Assurance for Scientific Paper--Code Alignment

1. Problemstellung

Die „Reproduzierbarkeitskrise" in der Wissenschaft, insbesondere im Bereich der Künstlichen Intelligenz (KI) und der computergestützten Wissenschaften, untergräbt das Vertrauen in Forschungsergebnisse. Obwohl die Veröffentlichung von Code neben wissenschaftlichen Publikationen als Voraussetzung für Reproduzierbarkeit gilt, garantiert die bloße Verfügbarkeit von Code keine Konsistenz mit dem wissenschaftlichen Text.

In der Praxis weichen Implementierungsdetails oft von den Beschreibungen in den Papers ab. Diese Diskrepanzen führen zu:

• „Mathiness": Gleichungen suggerieren technische Tiefe, während die tatsächlichen Gewinne aus undokumentierten Tricks stammen.
• Fehlerhafte Evaluierung: Metriken werden in der Implementierung anders berechnet als im Paper beschrieben.
• Ressourcenverschwendung: Fehler werden oft erst bei manuellen Reproduktionsversuchen entdeckt.

Mit dem Aufkommen von „AI Scientists" (autonomen Agenten, die Forschung betreiben) wird die manuelle Überprüfung durch menschliche Gutachter zunehmend unpraktisch. Es besteht ein dringender Bedarf an automatisierten Werkzeugen, die die Treue (Faithfulness) der Code-Implementierung zum wissenschaftlichen Paper verifizieren können.

2. Methodik: SCICOQA-Datensatz

Die Autoren stellen SCICOQA vor, einen Datensatz zur Erkennung von Diskrepanzen zwischen wissenschaftlichen Publikationen und deren Codebasen.

Datenerhebung

Der Datensatz besteht aus 635 Diskrepanzen, aufgeteilt in:

1. Reale Daten (92 Fälle):
   • Quellen: GitHub-Issues (die auf Inkonsistenzen hinweisen) und Reproduzierbarkeits-Papers (z. B. aus dem ML Reproducibility Challenge).
   • Domänen: Hauptsächlich Computer Science (ML, CV, NLP).
2. Synthetische Daten (543 Fälle):
   • Methode: Um die Datenmenge zu skalieren und andere Domänen abzudecken, generieren die Autoren mit Hilfe von LLMs (GPT-5) gezielte, kleine Modifikationen in existierenden Codebasen.
   • Ziel: Erzeugung von „konzeptionell bedeutenden" Abweichungen, die nicht als einfache Bugs oder Hyperparameter-Fehler erkennbar sind.
   • Domänen: Erweiterung auf Physik, Quantitative Biologie, Elektrotechnik, Mathematik und Statistik.

Definition einer Diskrepanz

Eine Diskrepanz wird als semantischer Konflikt definiert, der die Reproduzierbarkeit beeinträchtigt. Sie wird in drei Typen unterteilt:

• Differences (Unterschiede): Der Code implementiert eine andere Logik als das Paper beschreibt (z. B. L1-Norm statt L2-Norm).
• Paper Omissions (Papier-Übersehen): Der Code enthält kritische Komponenten, die im Text fehlen.
• Code Omissions (Code-Übersehen): Ein im Paper beschriebener Schritt fehlt im Code.

Ausgeschlossen sind reine Bugs, Hyperparameter-Unterschiede (da konfigurierbar) und Standard-Engineering-Praktiken.

Taxonomie

Die Diskrepanzen werden weiter kategorisiert nach betroffenen Komponenten:

• Algorithmus, Modell, Loss-Funktion, Evaluation, Daten, Training.

3. Experimente und Evaluation

Die Autoren evaluierten 22 State-of-the-Art Large Language Models (LLMs) (inkl. GPT-5, Gemini 3.1, Qwen3, DeepSeek, Mistral) auf der SCICOQA-Aufgabe.

• Aufgabe: Das Modell erhält den Text des Papers und den gesamten Code-Repository und muss eine Liste von Diskrepanzen generieren.
• Evaluation: Ein „LLM-as-a-Judge" (GPT-OSS 20B) vergleicht die Vorhersagen mit den Ground-Truth-Beschreibungen.
• Ablation: Es wurde getestet, ob Modelle Diskrepanzen erkennen können, wenn nur der Code (ohne Paper) als Eingabe dient.

4. Ergebnisse

Die Ergebnisse zeigen, dass aktuelle LLMs für diese Aufgabe noch nicht zuverlässig genug sind:

• Niedrige Recall-Rate: Selbst die besten Modelle (Gemini 3.1 Pro und GPT-5 Mini) erkennen nur 46,7 % der realen Diskrepanzen.
• Präzision vs. Recall: Die Modelle sind präzise (wenige False Positives), aber sie übersehen zu viele echte Fehler (niedriger Recall).
• Schwierigste Fälle:
  • Paper Omissions sind am schwersten zu erkennen, da das Modell erkennen muss, dass etwas im Code fehlt, das im Paper nicht erwähnt wird (im Gegensatz zu offensichtlichen Unterschieden).
  • Kontextlänge: Die Leistung sinkt signifikant mit zunehmender Eingabelänge (Token-Anzahl). Modelle scheitern oft bei langen Repositories (>100k Tokens).
  • Datenalter: Modelle performen schlechter bei Papers aus dem Jahr 2025, die nicht in ihren Trainingsdaten enthalten sind (Datenkontaminationseffekt).
• Synthetische vs. Reale Daten: Es besteht eine starke Korrelation ($r=0.94$) zwischen der Leistung auf synthetischen und realen Daten, was die Validität der synthetischen Erweiterung bestätigt.
• Code-Only Ablation: Ohne das Paper sinkt die Erkennungsrate drastisch (durchschnittlich -19,2 Prozentpunkte), was zeigt, dass die cross-modale Abgleichung (Text vs. Code) essenziell ist.

5. Schlüsselerkenntnisse und Bedeutung

• Kritische Lücke: Aktuelle KI-Systeme können nicht als autonome Richter für die Validität wissenschaftlicher Arbeiten dienen. Sie sind zwar hilfreich als Assistenten, aber ihr Recall ist zu niedrig, um Reproduzierbarkeit sicherzustellen.
• Notwendigkeit für QA-Tools: Mit dem Aufstieg autonomer wissenschaftlicher Agenten („AI Scientists") ist SCICOQA ein essenzieller Benchmark, um die Treue dieser Agenten zu überwachen.
• Langkontext-Herausforderung: Die Aufgabe stellt eine natürliche, komplexe Herausforderung für die Langkontext-Fähigkeiten von LLMs dar (besser als künstliche „Needle-in-a-Haystack"-Tests), da sie tiefes Verständnis von Mathematik, Code und wissenschaftlicher Argumentation erfordert.
• Zukünftige Arbeit: Die Autoren fordern mehr Reproduzierbarkeits-Tracks in Konferenzen, um reale Diskrepanzen systematisch zu sammeln, und die Weiterentwicklung von Modellen, die speziell für die Verifikation von wissenschaftlicher Treue trainiert sind.

Fazit: SCICOQA liefert den ersten umfassenden Ground-Truth-Datensatz für Paper-Code-Alignment und zeigt auf, dass die Automatisierung der wissenschaftlichen Qualitätskontrolle noch erhebliche Fortschritte in der Zuverlässigkeit von LLMs erfordert, insbesondere bei der Erkennung von fehlenden Informationen und langen Kontexten.