Re2: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions

Die Arbeit stellt Re² vor, den bisher größten konsistenzgesicherten Datensatz für Peer-Reviews und mehrstufige Rebuttal-Diskussionen, der aus über 19.000 Erstveröffentlichungen, 70.000 Gutachten und 53.000 Erwiderungen von OpenReview besteht, um die Qualität von Peer-Review-Systemen und die Unterstützung durch Large Language Models zu verbessern.

Das Wesentliche

Stell dir vor, die wissenschaftliche Welt ist eine riesige, überfüllte Bibliothek. Jeder, der ein neues Buch (eine Forschungsarbeit) schreiben möchte, muss es einem strengen Bibliothekar (dem Gutachter) vorlegen, bevor es in die Regale kommt.

Das Problem:
In den letzten Jahren haben sich so viele Autoren gemeldet, dass die Bibliothekare völlig überlastet sind. Es gibt zu viele Bücher, zu wenige Prüfer und die Qualität der Prüfungen leidet. Ein Teil des Problems ist, dass viele Autoren ihre Bücher immer wieder einreichen, ohne sie vorher richtig zu lesen und zu verbessern, weil ihnen das Werkzeug fehlt, um sich selbst zu prüfen.

Die Lösung: Ein neuer, riesiger Trainings-Atlas namens „Re2"
Die Forscher von der Zhejiang-Universität haben jetzt einen riesigen Datensatz namens Re2 erstellt. Man kann sich das wie einen perfekten Lehrbuch-Simulator für künstliche Intelligenz (KI) vorstellen.

Hier ist, was dieses Projekt so besonders macht, erklärt mit einfachen Bildern:

1. Der „Original"-Faktor (Konsistenz)

Früher hatten andere Datensätze ein großes Problem: Es war wie ein Kochkurs, bei dem die Schüler nur die fertigen Gerichte sehen durften, nicht aber die Zutaten, die am Anfang da waren. Oft waren die Texte in den Daten bereits korrigierte Versionen, nachdem die Kritiker schon gemeckert hatten.

• Die Analogie: Stell dir vor, du lernst Schach, indem du nur die Endspiele von Profis siehst, aber nicht, wie sie die Partie angefangen haben. Das verwirrt dich.
• Re2 macht es anders: Der Datensatz enthält nur die ganz ursprünglichen, unveränderten Manuskripte, genau so, wie sie der Autor zum ersten Mal eingereicht hat. Die KI lernt also, ein rohes, unfertiges Manuskript zu lesen und zu bewerten, genau wie ein echter Gutachter es tun muss.

2. Die „Gesprächs"-Ebene (Multi-Turn Rebuttal)

Bisher haben die meisten KI-Systeme nur eine Aufgabe gelernt: Ein Gutachter liest, schreibt einen Kommentar, und fertig. Das ist wie ein Briefwechsel, bei dem man nur einen Satz schreibt und dann wartet.

• Die Analogie: In der echten Welt ist Peer-Review aber wie ein lebendiges Gespräch oder ein Fußballspiel mit vielen Pässen. Der Gutachter sagt: „Hier fehlt etwas!" Der Autor antwortet: „Ah, danke, ich habe das jetzt nachgerechnet!" Der Gutachter sagt: „Okay, aber was ist mit dem anderen Punkt?"
• Re2 macht es anders: Dieser Datensatz fängt genau diese Gespräche ein. Er verwandelt die oft chaotischen E-Mail-Ketten und Kommentare in eine strukturierte, mehrstufige Konversation. Die KI lernt also nicht nur zu urteilen, sondern auch, wie man auf Kritik reagiert, Argumente verteidigt und gemeinsam eine Lösung findet.

3. Die Größe und Vielfalt

Bisher basierten viele KI-Trainings nur auf Daten von ein oder zwei sehr bekannten Konferenzen (wie ICLR). Das ist, als würde man einen Fußballspieler nur auf einem einzigen, sehr speziellen Rasen trainieren lassen.

• Re2 macht es anders: Der Datensatz ist der größte seiner Art weltweit. Er enthält Daten von 45 verschiedenen Konferenzen und Workshops über einen Zeitraum von 8 Jahren. Es ist wie ein Trainingslager, in dem die KI Spieler aus allen möglichen Ligen und auf allen möglichen Feldern gesehen hat.

Was bringt das uns?

Mit diesem „Super-Atlas" (Re2) können wir KI-Modelle trainieren, die zwei Dinge tun können:

1. Für Autoren: Die KI kann wie ein persönlicher Coach fungieren. Bevor ein Autor sein Manuskript einreicht, kann er es der KI geben, die dann sagt: „Hey, hier ist ein Fehler, hier fehlt eine Erklärung, hier ist der Text unklar." Das hilft Autoren, ihre Arbeit zu verbessern, bevor sie sie einreichen.
2. Für Gutachter: Die KI kann wie ein Assistent arbeiten, der dem überlasteten Gutachter hilft, schnellere und genauere Kommentare zu formulieren.

Zusammenfassung:
Re2 ist wie ein riesiges, perfekt organisiertes Archiv von echten wissenschaftlichen Diskussionen. Es lehrt die KI, wie man wissenschaftliche Arbeiten fair bewertet und wie man konstruktiv über Fehler diskutiert. Das Ziel ist es, den wissenschaftlichen Prozess schneller, fairer und weniger stressig für alle Beteiligten zu machen.

Technische Zusammenfassung

1. Problemstellung

Der wissenschaftliche Peer-Review-Prozess, insbesondere in Bereichen wie KI und Informatik, steht vor einer massiven Überlastung durch die steigende Anzahl von Einreichungen. Dies führt zu einem Mangel an Gutachtern und einem Rückgang der Review-Qualität. Ein wesentlicher Faktor für diese Überlastung ist die wiederholte Einreichung von Manuskripten, die den Qualitätsstandards nicht entsprechen, oft aufgrund fehlender effektiver Selbstbewertungstools für Autoren.

Während Large Language Models (LLMs) großes Potenzial haben, diesen Prozess zu unterstützen, werden ihre Fähigkeiten durch die Qualität der Trainingsdaten begrenzt. Bestehende Peer-Review-Datensätze weisen drei kritische Mängel auf:

• Eingeschränkte Datenvielfalt: Viele Datensätze basieren nur auf wenigen Konferenzen (oft nur ICLR), was die Generalisierbarkeit einschränkt.
• Inkonsistenz und Qualitätsmängel: Die meisten Datensätze enthalten keine ursprünglichen Einreichungen, sondern revidierte Versionen der Manuskripte. Da die Gutachterkommentare jedoch auf die ursprüngliche Version bezogen sind, führt die Verwendung revidierter Texte zu Inkonsistenzen, die das Training von Modellen für Review-Aufgaben verfälschen.
• Fehlende Unterstützung für Rebuttal-Interaktionen: Existierende Datensätze ignorieren oft die Rebuttal- und Diskussionsphasen (Autor-Gutachter-Dialoge) oder behandeln diese nur oberflächlich, anstatt sie als strukturierte Multi-Turn-Konversationen zu modellieren.

2. Methodik und Datensatz (Re2)

Die Autoren stellen Re2 vor, den bisher größten konsistenzgesicherten Datensatz für Peer-Review und Rebuttal-Diskussionen. Der Datensatz wird aus öffentlichen Daten von OpenReview (24 Konferenzen und 21 Workshops von 2017 bis 2025) extrahiert und in zwei Hauptteile unterteilt:

• Re2-Review: Enthält 19.926 ursprüngliche Manuskripte (Initial Submissions) und 70.668 Gutachterkommentare.

  • Konsistenzsicherung: Um sicherzustellen, dass nur die ursprünglichen Versionen verwendet werden, wurden Fristen jeder Konferenz analysiert und die letzte Version vor der Einreichungsfrist aus dem „Revision History"-Log extrahiert.
  • Formatierung: PDFs wurden mit dem Tool Doc2X in LaTeX und Markdown konvertiert, um mathematische Formeln korrekt zu erfassen.
  • Umfang: Der Datensatz deckt Metadaten, Bewertungen (Soundness, Presentation, Contribution), Vertrauensscores, Rebuttal-Diskussionen, Score-Änderungen, Meta-Reviews und finale Entscheidungen ab.

• Re2-Rebuttal: Enthält 14.830 Einreichungen mit 53.818 Rebuttal- und Diskussionsverläufen.

  • Multi-Turn-Struktur: Da Autoren auf OpenReview oft mehrere aufeinanderfolgende Antworten pro Rolle geben müssen, werden diese zu einem einzigen Turn zusammengeführt.
  • Bereinigung: Unwichtige „Erinnerungs"-Nachrichten (Reminders) werden manuell und automatisiert entfernt.
  • Globale Antworten: Wenn Autoren eine globale Antwort auf mehrere Gutachter geben, wird diese als kontextueller Referenzpunkt in den Dialog eingefügt, ohne die logische Konsistenz der einzelnen Gesprächsstränge zu brechen.

3. Schlüsselbeiträge

• Größe und Konsistenz: Re2 ist der größte reale Peer-Review-Datensatz, der garantiert, dass alle Manuskripte die ursprünglichen Einreichungen sind (keine revidierten Versionen). Dies ist entscheidend für die Validität von Trainingsdaten.
• Multi-Turn-Paradigma: Der Datensatz modelliert Rebuttal-Phasen erstmals umfassend als strukturierte Multi-Turn-Konversationen, was das Training interaktiver, dialogbasierter LLM-Assistenten ermöglicht.
• Vielseitigkeit: Der Datensatz unterstützt sowohl statische Aufgaben (Vorhersage von Annahme/Scores, Generierung von Reviews) als auch dynamische Interaktionsaufgaben.
• Statistische Analyse und Evaluation: Die Autoren führen eine umfassende statistische Analyse durch und demonstrieren die Wirksamkeit des Datensatzes durch Experimente mit verschiedenen LLMs (LLaMA-3.1, Qwen2.5) und Baseline-Modellen.

4. Ergebnisse

Die Autoren evaluieren Re2 an vier Aufgaben: Annahmevorhersage, Score-Vorhersage, Review-Generierung und Rebuttal-Diskussion.

• Vorhersageaufgaben (Annahme & Score): Nach dem Fine-Tuning auf Re2 zeigten Modelle wie LLaMA-3.1-8B und Qwen2.5-7B signifikante Verbesserungen. Der Mean Absolute Error (MAE) für Score-Vorhersagen sank drastisch (z.B. von ~1.96 auf ~1.14 bei LLaMA), was zeigt, dass das Training auf konsistenten Daten die Urteilsfähigkeit der Modelle schärft.
• Review-Generierung: Fine-tuned Modelle erreichten die besten Ergebnisse bei BLEU, ROUGE-L und semantischen Metriken (BERTScore, EmbedCos). LLaMA-3.1-8B (SFT) übertraf Zero-Shot-Modelle und spezialisierte Baselines deutlich, was auf eine bessere Anpassung an die Sprache und Struktur echter Reviews hindeutet.
• Rebuttal-Diskussion: In der Multi-Turn-Konversation zeigten die feinabgestimmten Modelle eine überlegene Leistung in lexikalischer Ähnlichkeit und in der Bewertung durch einen LLM-Judge (Qualität, Konstruktivität, Genauigkeit, Vollständigkeit, Klarheit). Dies beweist, dass Re2 effektiv das Training von Modellen für dynamische Autor-Gutachter-Interaktionen unterstützt.

5. Bedeutung und Ausblick

Re2 adressiert die Lücke zwischen statischen Review-Daten und der Realität des wissenschaftlichen Diskurses.

• Für die Forschung: Es bietet eine robuste, konsistente Basis für die Entwicklung von LLMs, die Peer-Review-Aufgaben übernehmen können.
• Für die Praxis: Durch die Fähigkeit von LLMs, auf Basis dieses Datensatzes konstruktive Rebuttal-Dialoge zu führen, können Autoren ihre Manuskripte vor der Einreichung besser selbst evaluieren und verbessern. Dies könnte die Anzahl der Einreichungen mindern, die den Qualitätsstandards nicht genügen, und somit den Druck auf das Review-System in der KI-Community verringern.
• Limitationen: Der aktuelle Fokus liegt auf textuellen Inhalten; visuelle Elemente (Figuren) werden zwar im Datensatz gespeichert, aber in den Experimenten noch nicht voll integriert. Zukünftige Arbeiten sollen Vision-Language-Modelle einbeziehen.

Zusammenfassend stellt Re2 einen Meilenstein dar, der durch seine Konsistenz und den Fokus auf Interaktivität die Entwicklung leistungsfähigerer KI-Tools für den wissenschaftlichen Publikationsprozess vorantreibt.