Re2: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions

Dit paper introduceert Re², het grootste tot nu toe bestaande dataset voor peer review en wederzijdse discussies, die consistentie waarborgt door gebruik te maken van initiële inzendingen en die bedoeld is om Large Language Models te ondersteunen bij het verbeteren van manuscripten en het verlichten van de druk op het reviewproces.

De kern

Stel je voor dat wetenschap een enorme, drukke bibliotheek is waar elke dag duizenden nieuwe boeken (onderzoekspapers) worden ingeleverd. Om te zorgen dat alleen de beste boeken worden opgenomen in de collectie, zijn er "boekenrecensenten" (de reviewers) nodig. Maar er is een groot probleem: er komen zoveel boeken binnen dat de recensenten het niet meer redden. Ze raken overbelast, de kwaliteit van hun recensies zakt, en sommige auteurs sturen hun boek steeds opnieuw in, omdat ze niet weten wat er mis is voordat ze het opsturen.

De auteurs van dit paper, Re2, hebben een oplossing bedacht die lijkt op het bouwen van een super-georganiseerde, digitale spiegel voor deze bibliotheek. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: Een rommelige archiefkast

Vroeger hadden onderzoekers die kunstmatige intelligentie (AI) wilden trainen om te helpen met recensies, slechts een paar oude, rommelige archiefkasten.

• Verouderde versies: Vaak kregen ze de gewijzigde versie van een boek, niet het origineel. Dat is alsof je een recensent vraagt: "Wat vind je van dit verhaal?" terwijl je hem het verhaal geeft dat de schrijver al heeft aangepast nadat hij de kritiek had gekregen. De AI leert dan verkeerde patronen.
• Te weinig diversiteit: De data kwam vaak maar van één of twee grote conferenties, alsof je alleen maar boeken uit één stad bekijkt en denkt dat dat de hele wereld is.
• Geen dialoog: De meeste datasets waren statisch. Ze hadden alleen de recensie, maar niet de discussie erna. In het echte leven is een recensie echter vaak het begin van een gesprek: de schrijver zegt "Ik ben het niet eens" en de recensent reageert. Die dynamiek ontbrak.

2. De Oplossing: De "Re2" Bibliotheek

De auteurs hebben Re2 gebouwd. Dit is tot nu toe de grootste en meest complete verzameling van echte academische recensies, recensies en discussies die er bestaat.

• De "Originele" Versie: Ze hebben er voor gezorgd dat ze alleen de eerste versie van de papers hebben gebruikt, precies zoals de schrijver die heeft ingediend voordat er iets veranderd was. Dit is cruciaal voor de "eerlijkheid" van de data. Het is alsof je een spiegel hebt die de waarheid toont, zonder filters.
• De "Gespreks"-Modus: Ze hebben de discussies tussen schrijvers en recensenten omgezet in een meerdere-ronde gesprek (een chat). Stel je voor dat je een AI traint die niet alleen een briefje schrijft met "Dit is goed/slecht", maar die ook kan meedenken in een gesprek: "Ah, je zegt dat je de code hebt toegevoegd? Dat is een goed punt, maar heb je ook dit andere probleem opgelost?"
• De Omvang: Ze hebben data verzameld van 45 verschillende plekken (conferenties en workshops) over de afgelopen jaren. Het is alsof ze niet alleen naar boeken uit Amsterdam kijken, maar uit heel Europa, en ze hebben alles in één standaard formaat gezet zodat het makkelijk te gebruiken is.

3. Waarom is dit nuttig? (De "AI-Assistent")

Met deze enorme, schone dataset kunnen ze nu slimme AI-assistenten bouwen die twee dingen doen:

1. Voor de Schrijver (De "Proeflezer"): Voordat een schrijver zijn paper indient, kan hij de AI vragen: "Hoe zou een echte recensent dit vinden?" De AI, getraind op Re2, kan zeggen: "Je hebt een sterke introductie, maar je vergat je experimenten te beschrijven." Hierdoor sturen schrijvers betere papers in, en hoeven ze minder vaak opnieuw te sturen.
2. Voor de Recensent (De "Hulpkracht"): De AI kan helpen bij het schrijven van de recensie zelf, zodat de druk op de menselijke reviewers minder wordt. Ze kunnen sneller en beter feedback geven.

4. Het Resultaat: Een betere cyclus

In het kort: Re2 is de "trainingsgrond" voor AI die beter begrijpt hoe wetenschappelijk recenseren werkt.

• Vroeger: AI zag alleen losse stukjes tekst en leerde verkeerde patronen.
• Nu: AI ziet het hele verhaal: het originele werk, de eerlijke kritiek, en de constructieve discussie erna.

Dit helpt niet alleen de AI om slimmer te worden, maar het maakt het hele proces van wetenschappelijk publiceren ook minder stressvol en eerlijker voor iedereen: schrijvers krijgen betere feedback, en reviewers krijgen minder werk. Het is alsof je een bibliotheek hebt die zichzelf organiseert, zodat de beste boeken sneller en makkelijker gevonden worden.

Technische samenvatting

Probleemstelling

Het peer-reviewproces in wetenschappelijke velden zoals kunstmatige intelligentie (AI) kampt met een toenemende druk door de explosieve groei van het aantal inzendingen. Dit leidt tot een tekort aan reviewers en een daling in de kwaliteit van reviews. Een belangrijke oorzaak is het herhaaldelijk herindienen van substandaard manuscripten, vaak omdat auteurs geen effectieve hulpmiddelen hebben om hun werk voorafgaand aan de indiening objectief te evalueren.

Hoewel Large Language Models (LLMs) potentie hebben om auteurs en reviewers te assisteren, worden ze beperkt door de kwaliteit van de beschikbare trainingsdata. Bestaande datasets voor peer review lijden onder drie kritieke tekortkomingen:

1. Beperkte diversiteit: De data komt vaak slechts uit een paar conferenties (voornamelijk ICLR), wat de generaliseerbaarheid beperkt.
2. Inconsistentie en lage kwaliteit: Veel datasets bevatten niet de initieel ingediende versies van papers, maar de herziene versies. Dit creëert een fundamenteel probleem: reviewers reageren op de initiële versie, maar de dataset koppelt deze commentaren aan een latere, verbeterde versie. Dit ondermijnt de consistentie en de rationaliteit van modeltraining.
3. Gebrek aan ondersteuning voor weerlegging (rebuttal): Bestaande datasets negeren vaak de dynamische discussie tussen auteurs en reviewers (rebuttal-fase), die essentieel is voor het trainen van interactieve AI-assistenten.

Methodologie: De Re2 Dataset

De auteurs introduceren Re2, de grootste tot nu toe bestaande dataset voor peer review en weerlegging, die consistentie garandeert. De dataset is opgebouwd uit twee hoofdcomponenten:

1. Re2-Review Dataset:

   • Bron: Verzameld via de OpenReview API, dekkend 24 conferenties en 21 workshops van 2017 tot 2025.
   • Inhoud: 19.926 initiële paper-indieningen en 70.668 review-commentaren.
   • Verwerking: Om de consistentie te waarborgen, hebben de auteurs web-scraping-technieken gebruikt om specifiek de versie van het paper te extraheren die bestond op het moment van de oorspronkelijke deadline (voordat auteurs reageerden op reviews).
   • Formaat: Papers zijn geconverteerd van PDF naar LaTeX en Markdown (met behulp van Doc2X) om wiskundige formules nauwkeurig te behouden.

2. Re2-Rebuttal Dataset:

   • Inhoud: 14.830 paren van initiële submissions en 53.818 weerleggingen/discussies.
   • Structuur: De data is omgezet in een gestructureerd multi-turn conversatieformaat.
   • Technische uitdagingen en oplossingen:
     • Fragmentatie: Auteurs posten vaak meerdere opeenvolgende berichten op OpenReview. De auteurs hebben deze samengevoegd tot één "beurt" per rol (auteur of reviewer) om een vloeiende dialoog te creëren.
     • Reminder-berichten: Berichten die alleen bedoeld zijn om een niet-reagerende reviewer aan te sporen, zijn geïdentificeerd en verwijderd om de logische consistentie te behouden.
     • Global Responses: Auteurs geven soms één universeel antwoord op vragen van meerdere reviewers. Deze zijn als contextuele referentie in de dialoog ingevoegd zonder de logische flow van de specifieke dialoogdraad te verstoren.

Belangrijkste Bijdragen

• Grootste en meest diverse dataset: Re2 omvat data van 45 venues (conferenties en workshops) en is de enige dataset die garandeert dat alle paper-inhoud de initiële, niet-herziene versies zijn.
• Multi-turn Conversatie Paradigma: Voor het eerst wordt de rebuttal-fase niet als statische data behandeld, maar als een interactieve dialoog. Dit maakt het mogelijk om dynamische, chat-gebaseerde LLM-assistenten te trainen die auteurs kunnen helpen bij het verbeteren van hun werk voordat het wordt ingediend.
• Volledige dekking van review-fasen: De dataset bevat niet alleen reviews, maar ook aspect-scores, betrouwbaarheidsscores, scorewijzigingen na rebuttal, meta-reviews en definitieve beslissingen.

Resultaten

De auteurs hebben experimenten uitgevoerd op vier taken: acceptatievoorspelling, scorevoorspelling, review-generatie en rebuttal-discussie. Ze hebben open-source modellen (LLaMA-3.1-8B en Qwen2.5-7B) fijngefineerd (fine-tuning) op de Re2-data.

• Voorspellingstaken: Fijngefineerde modellen toonden aanzienlijke verbeteringen in nauwkeurigheid en een daling in Mean Absolute Error (MAE) voor scorevoorspelling ten opzichte van zero-shot prestaties en bestaande baselines. De modellen leerden de oordeelscriteria van menselijke reviewers beter te begrijpen.
• Review Generatie: Fijngefineerde modellen presteerden significant beter op lexische (BLEU, ROUGE) en semantische (BERTScore, EmbedCos) metrieken. Ze genereerden reviews die qua structuur en betekenis dichter bij echte menselijke reviews lagen.
• Rebuttal-Discussie: In de multi-turn conversatietaken overtroffen de fijngefineerde modellen hun zero-shot versies consistent. Evaluatie door een "LLM-as-judge" (beoordeling op kwaliteit, constructiviteit, nauwkeurigheid, volledigheid en duidelijkheid) bevestigde dat de modellen betere en meer contextbewuste feedback konden geven in een dialoogsetting.

Betekenis en Impact

De Re2 dataset is een mijlpaal voor het onderzoek naar geautomatiseerd peer review. Door de consistentie tussen de initiële paper en de reviews te garanderen, biedt het een betrouwbare basis voor het trainen van AI-modellen.

• Voor auteurs: Het stelt hen in staat om hun manuscripten voor de indiening te laten evalueren door AI-assistenten, wat de kwaliteit van inzendingen verhoogt en het aantal herindieningen vermindert.
• Voor reviewers: Het kan helpen bij het genereren van specifieke en constructieve feedback, waardoor de werklast van reviewers wordt verminderd.
• Voor de gemeenschap: Het biedt een standaard voor het trainen van interactieve, dynamische AI-systemen die de complexiteit van wetenschappelijke discussies kunnen nabootsen, wat essentieel is voor de toekomst van de academische publicatiecyclus.

De auteurs erkennen wel dat de huidige dataset voornamelijk tekstueel is en visuele elementen (figuren) nog niet volledig integreert in de evaluatie, wat een richting is voor toekomstig werk met vision-language modellen.