Paper Reconstruction Evaluation: Evaluating Presentation and Hallucination in AI-written Papers

Diese Arbeit stellt mit PaperRecon das erste systematische Bewertungsframework für KI-geschriebene Papers vor, das mittels des PaperWrite-Bench-Tests eine klare Zielkonflikt zwischen Präsentationsqualität und Halluzinationsrate bei modernen Coding-Agenten aufzeigt.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas chaotischen Assistenten, der dir hilft, wissenschaftliche Aufsätze zu schreiben. Dieser Assistent ist eine Künstliche Intelligenz (KI), die wie ein Programmierer denkt. Die Forscher in diesem Papier haben sich gefragt: „Wie gut ist dieser Assistent wirklich? Schreibt er gute Aufsätze oder erfindet er einfach nur Dinge, die nicht stimmen?"

Um das herauszufinden, haben sie ein cleveres Experiment namens „PaperRecon" (Papier-Wiederaufbau) entwickelt. Hier ist die Erklärung, wie das funktioniert und was sie herausgefunden haben, ganz einfach und mit ein paar bildhaften Vergleichen.

Das Experiment: Der „Baukasten"-Test

Stell dir vor, du hast einen fertigen, wunderschönen Lego-Schloss (den Original-Aufsatz).

1. Der Ausgangspunkt: Die Forscher nehmen dieses Schloss und zerlegen es fast komplett. Sie behalten nur eine kleine Skizze, ein paar Fotos der wichtigsten Teile und eine Liste der benötigten Steine übrig. Das ist wie eine Zusammenfassung (das overview.md).
2. Die Aufgabe: Jetzt geben sie diese wenigen Informationen an den KI-Assistenten. Die KI muss das Schloss neu bauen, nur basierend auf dieser Skizze und den wenigen Teilen. Sie darf nicht einfach das Original abschreiben, sie muss es aus dem Gedächtnis und den Hinweisen neu erschaffen.
3. Der Vergleich: Am Ende vergleichen die Forscher das von der KI gebaute Schloss mit dem Original.

Die zwei Prüfungen: „Aussehen" und „Wahrheit"

Die Forscher haben das Ergebnis auf zwei verschiedene Arten geprüft, wie bei einem Hausbau:

1. Die Präsentation (Das Aussehen):
Wie gut sieht das neue Schloss aus? Ist es ordentlich? Sind die Türme gerade? Ist die Sprache wissenschaftlich korrekt?

• Vergleich: Das ist wie ein Architekt, der prüft, ob das Haus schön aussieht und ob die Wände gerade sind.
• Ergebnis: Die KI von Claude (ein KI-Modell) war hier sehr gut. Sie baute ein sehr hübsches, gut strukturiertes Schloss.

2. Die Halluzination (Die Wahrheit):
Das ist der kritische Teil. Hat die KI Dinge eingebaut, die gar nicht existieren? Hat sie eine Brücke gebaut, die ins Nichts führt? Hat sie behauptet, es gäbe einen goldenen Turm, obwohl in der Skizze nur ein Steinhaufen stand?

• Vergleich: Das ist wie ein Bauinspektor, der prüft, ob das Haus sicher ist und ob die Materialien wirklich da sind, wo sie sein sollen.
• Ergebnis: Hier wurde es spannend. Claude baute zwar ein schönes Haus, aber es hatte viele fehlerhafte Details. Es erfindete oft Dinge, die nicht in der Skizze standen (über 10 Erfindungen pro Aufsatz!).
• Codex (ein anderes KI-Modell) war weniger kreativ beim Aussehen, aber viel vorsichtiger. Es baute weniger schöne Türme, aber es erfindete fast nichts Falsches (nur etwa 3 Erfindungen pro Aufsatz).

Die große Entdeckung: Der „Zucker-oder-Gift"-Effekt

Die Forscher stellten eine wichtige Regel fest, die sie als Zielkonflikt bezeichnen:

• Modell A (Claude) ist wie ein kreativer Künstler, der gerne ein bisschen übertreibt. Er schreibt Aufsätze, die sich sehr professionell und gut anfühlen (hohe Note für „Aussehen"), aber er fügt so viele erfundene Fakten hinzu, dass der Aufsatz wissenschaftlich unbrauchbar wird.
• Modell B (Codex) ist wie ein vorsichtiger Handwerker. Er schreibt vielleicht etwas trockener und weniger glänzend, aber er hält sich strikt an die Fakten. Er erfindet kaum etwas.

Die Lehre daraus:
Wenn du einen Aufsatz von einer KI schreiben lässt, musst du aufpassen: Je „schöner" und flüssiger er klingt, desto wahrscheinlicher ist es, dass er voller erfundener Fakten (Halluzinationen) steckt.

Was bedeutet das für uns?

Die Wissenschaftler sagen: Wir können nicht einfach blindlings darauf vertrauen, dass KI Aufsätze schreibt. Wir brauchen neue Werkzeuge, um zu prüfen, ob die KI nur gut tut, als ob sie schreibt, oder ob sie wirklich weiß, wovon sie spricht.

Zusammenfassend:
Stell dir die KI wie einen Koch vor.

• Claude serviert dir ein Gericht, das wunderschön angerichtet ist und fantastisch riecht, aber darin sind Zutaten, die gar nicht im Rezept waren (und vielleicht giftig sind).
• Codex serviert dir ein Gericht, das etwas einfacher aussieht, aber genau das ist, was im Rezept stand.

Die Forscher wollen uns warnen: Bevor wir KI in der Wissenschaft voll einsetzen, müssen wir lernen, zwischen „schönem Aussehen" und „wahrer Fakten" zu unterscheiden.

Technische Zusammenfassung

Problemstellung

Mit dem rapiden Fortschritt von KI-Agenten, insbesondere Coding-Agenten, steigt die Sorge, dass diese zunehmend wissenschaftliche Arbeiten autonom verfassen. Bisher fehlte jedoch ein rigoroses und systematisches Evaluierungsframework, um die Qualität und die Risiken (insbesondere Halluzinationen) von KI-generierten wissenschaftlichen Papern zu quantifizieren.
Bestehende Ansätze, die oft auf KI-Reviewer setzen, erwiesen sich als unzureichend, da sie tendenziell Papern mit schwerwiegenden Fälschungen höhere Bewertungen geben. Zudem konzentrierten sich frühere Studien meist nur auf oberflächliche Fehler wie Zitationsirrtümer, ohne eine systematische Analyse des inhaltlichen Gehalts zu ermöglichen. Es besteht ein dringender Bedarf, die Schreibfähigkeiten von KI-Agenten unabhängig von ihrer Fähigkeit, neue Experimente durchzuführen, isoliert zu bewerten.

Methodik: Paper Reconstruction Evaluation (PaperRecon)

Die Autoren stellen PaperRecon vor, ein Evaluierungsframework, das die Schreibfähigkeit von Agenten testet, indem es die Rekonstruktion eines Originalpapiers aus minimalen Ressourcen fordert.

1. Aufgabenstellung:

   • Aus einem existierenden Originalpapier (Ground Truth) wird eine komprimierte, strukturierte Zusammenfassung (research_overview.md) erstellt, die Motivation, Methode und Schlüsselergebnisse enthält.
   • Zusätzlich werden minimale Ressourcen bereitgestellt: vereinfachte Abbildungen, Tabellen (LaTeX-Quellcode), die Bibliographie (mit Abstracts angereichert) und ggf. der Quellcode.
   • Der KI-Agent (z. B. Claude Code oder Codex) muss basierend auf diesen Eingaben das vollständige Originalpapier in LaTeX neu generieren.

2. Zwei-dimensionale Evaluierung:
   Das Framework zerlegt die Bewertung in zwei orthogonale Dimensionen:

   • Präsentation (Presentation): Bewertet, wie treu die Schlüsselelemente des Originalpapiers in der Rekonstruktion wiedergegeben werden. Dies erfolgt mittels eines Rubrik-basierten Ansatzes (Rubric Evaluation). Für jedes Abschnitts (Abstract, Intro, Method, etc.) werden spezifische, überprüfbare Punkte definiert und auf einer Skala von 1–5 bewertet. Abbildungen und Tabellen werden ebenfalls kontextuell und inhaltlich geprüft.
   • Halluzination (Hallucination): Bewertet die faktische Korrektheit. Dies geschieht durch eine zweistufige Agenten-Evaluierung:
     • Schritt 1: Ein LLM extrahiert alle verifizierbaren Behauptungen aus dem generierten Papier und klassifiziert sie als „unterstützt" (im Original enthalten), „neutral" (nicht im Original, aber nicht widersprüchlich) oder „widersprüchlich" (faktischer Fehler/Halluzination).
     • Schritt 2: Ein Coding-Agent überprüft die als widersprüchlich markierten Behauptungen erneut unter Zuhilfenahme der Original-Ressourcen (Code, Daten), um False Positives zu eliminieren.

3. Benchmark (PaperWrite-Bench):
   Zur Evaluierung wurde PaperWrite-Bench erstellt, ein Datensatz aus 51 Papern von Top-Konferenzen (NeurIPS, ICLR, CVPR, ACL, etc.) aus dem Jahr 2025 und später. Dies gewährleistet eine Abdeckung diverser Domänen (CV, NLP, ML, Multimedia) und aktueller Forschungsstandards.

Wichtige Beiträge

• Erstes systematisches Framework: PaperRecon ist das erste Framework, das die Schreibleistung von KI-Agenten isoliert und quantitativ misst, indem es Rekonstruktionsaufgaben nutzt.
• Entkopplung von Qualität und Risiko: Die Trennung in „Präsentation" und „Halluzination" ermöglicht es, zu erkennen, dass ein Papier gut formuliert sein kann, aber faktisch falsch ist.
• Benchmark: Bereitstellung von PaperWrite-Bench für die Community, um zukünftige Fortschritte bei Agenten zu messen.
• Quantitative Analyse: Erste umfassende Datenlage zum Trade-off zwischen Schreibqualität und faktischer Zuverlässigkeit bei modernen Modellen.

Ergebnisse

Die Studie evaluierte leistungsstarke Agenten (Claude Code, Claude Agent Teams, Codex) mit verschiedenen Backbone-Modellen (Claude Sonnet 4/4.6, GPT-5/5.4). Die Ergebnisse zeigen klare Trends und einen signifikanten Trade-off:

1. Qualität vs. Halluzinationen (Trade-off):
   • Claude Code erzielt eine deutlich höhere Präsentationsqualität (bessere Rubrik-Scores, strukturiertere Texte), generiert aber im Durchschnitt über 10 Halluzinationen pro Papier (bei Sonnet 4.6).
   • Codex (OpenAI) produziert deutlich weniger Halluzinationen (ca. 3 pro Papier mit GPT-5.4), hat jedoch eine niedrigere Präsentationsqualität und erfasst weniger Schlüsselelemente der wissenschaftlichen Argumentation.
2. Modellfortschritt: Die Schreibfähigkeiten verbessern sich mit den Modell-Updates (z. B. von Sonnet 4 auf 4.6 oder GPT-5 auf 5.4), sowohl bei der Qualität als auch bei der Reduktion von Halluzinationen.
3. Zitationsverhalten: Codex generiert weniger falsche Zitationen als Claude Code, obwohl Claude Code insgesamt eine höhere F1-Score bei der Zitationsabdeckung aufweist.
4. Einfluss der Eingabe: Längere und detailliertere research_overview.md-Dateien führen zu besseren Ergebnissen (höhere Qualität, weniger Halluzinationen), was die Abhängigkeit der Agenten von der Qualität der Eingabe-Ressourcen zeigt.

Bedeutung und Implikationen

Diese Arbeit liefert einen kritischen ersten Schritt zur Sicherung der wissenschaftlichen Integrität im Zeitalter von „AI Scientists".

• Risikobewusstsein: Sie zeigt, dass fortschrittliche KI-Systeme in der Lage sind, wissenschaftlich plausibel klingende, aber faktisch falsche Inhalte zu generieren. Ein Papier kann stilistisch perfekt sein, aber durch massive Halluzinationen irreführend wirken.
• Notwendigkeit neuer Evaluierungsstandards: Herkömmliche Peer-Review-Prozesse oder reine KI-Reviewer sind nicht in der Lage, diese Art von Halluzinationen zuverlässig zu erkennen. PaperRecon bietet einen Weg, um die Zuverlässigkeit von KI-generierten Inhalten objektiv zu messen.
• Zukunft der Forschung: Die Ergebnisse unterstreichen die Notwendigkeit, bei der Entwicklung von KI-Agenten für die Wissenschaft nicht nur auf Kreativität und Formulierungsfähigkeit, sondern zwingend auf faktische Genauigkeit und Verifizierbarkeit zu achten. Das Framework dient als Metrik, um den Fortschritt in diesem Bereich zu tracken und Sicherheitsmechanismen zu entwickeln.