Metag: A dataset to build agentic meta-reviewing capabilities

Technische Samenvatting: Metag – Een dataset voor agentic meta-reviewing

Probleemstelling
Het wetenschappelijke peer-reviewproces staat onder toenemende druk door de groei in het aantal inzendingen voor conferenties. Hoewel er AI-tools zijn ontwikkend om auteurs te ondersteunen bij het schrijven en reviewers bij het identificeren van fouten, blijft het meta-reviewingproces grotendeels onderbelicht. Meta-reviewers moeten enorme hoeveelheden informatie uit reviews, reacties van auteurs (rebuttals) en manuscriptwijzigingen synthetiseren om te bepalen of auteurs de zorgen van reviewers adequaat hebben geadresseerd. Een kritieke flessenhals is traceerbaarheid: het vermogen om specifieke actiepunten van reviewers (zorgen en toezeggingen van auteurs) te koppelen aan de concrete tekstuele wijzigingen die in het definitieve manuscript zijn doorgevoerd. Bestaande documentvergelijkingstools kunnen verschillen tussen PDF-versies identificeren, maar falen in het verklaren van welke reviewer-opmerking een specifieke wijziging heeft gemotiveerd, wat de transparantie en verantwoording belemmert.

Methodologie
Het artikel introduceert Metag, een dataset die ontworpen is om de kloof tussen de dialoog tussen reviewer en auteur en de observeerbare manuscriptwijzigingen te overbruggen. De constructie van de dataset volgt een zesfasige pijplijn:

1. Data-acquisitie: De auteurs hebben inzendingen van ICLR 2024 gescraped via OpenReview. Ze identificeerden geaccepteerde papers en extraheerden de volledige dialoogthreads tussen reviewer en auteur (reviews, comments en rebuttals).
2. PDF-retrieval: Om de "voor"- en "na"-staten van de papers vast te leggen, hebben de auteurs de OpenReview-inzendingen gekoppeld aan hun pre-review arXiv-versies via Semantic Scholar. Ze zorgden ervoor dat de opgehaalde arXiv-versie de dichtstbijzijnde was bij de datum van inzending, waarbij post-submission updates werden uitgesloten.
3. Diff-berekening: Met behulp van PyMuPDF en het histogram diff-algoritme van Git berekende het systeem gestructureerde verschillen tussen de pre-review en de camera-ready PDF's. Dit genereerde een lijst met edits (inserties, deleties, vervangingen) getagd met tekstspannen, paginanummers en de omliggende context.
4. Extractie van actiepunten: Een LLM (Gemma-3-27B-IT) werd geprompt om discrete "actiepunten" te extraheren uit de dialoog. Deze items bestaan uit paren bestaande uit een zorg van een reviewer en een expliciete toezegging van een auteur om het manuscript te herzien (bijv. "We hebben Sectie 3 herzien...").
5. Menselijke annotatie: Annotatoren gebruikten een aangepaste Python-gebaseerde interface om zij-aan-zij PDF's te bekijken met kleurgecodeerde diff-overlays. Hun taak was om de geëxtraheerde actiepunten te koppelen aan de specifieke diffs in de all_diffs-lijst die de wijziging implementeerden.
6. Overeenstemming en Assemblage: Elk actiepunt werd geannoteerd door twee onafhankelijke annotatoren. De uiteindelijke dataset behield alleen de diffs die in de doorsnede van beide annotaties van de annotatoren voorkwamen om een hoge kwaliteit te garanderen.

De resulterende dataset bevat 349 hoogwaardige actiepunten gekoppeld aan 323.786 totale diffs verspreid over 137 papers. Elk instance bevat het actiepunt, de volledige lijst met kandidaat-diffs en binaire labels die de relevantie aangeven.

Belangrijkste Bijdragen

• Metag Dataset: De eerste dataset die expliciet de link legt tussen reviewer-actiepunten uit wetenschappelijke dialogen en specifieke, gestructureerde document-diffs. In tegenstelling tot eerder werk (bijv. ARIES) dat comments koppelt aan tekstspannen, koppelt Metag deze aan berekende diffs tussen documentversies, waarbij insertie/deletie/verplaatsingsoperaties en paginalocaties behouden blijven.
• Annotatiekader: Een nieuw instrument voor zij-aan-zij PDF diff-linking dat annotatoren in staat stelt om efficiënt door wijzigingen te navigeren, te zoeken en relevante wijzigingen te selecteren.
• Benchmarking: Het artikel stelt een baseline vast voor de "diff classificatie"-taak, waarbij zowel lexicale retrieval-methoden (BM25, TF-IDF) als diverse Large Language Models (LLMs), waaronder Gemma-3-27B-IT, GPT-5.6-Sol, DeepSeek-V4-Pro en Kimi-K2.5, worden geëvalueerd.

Resultaten
De auteurs evalueerden de moeilijkheid van de taak door meerdere modellen te testen op de validatie- en testsplits:

• Lexicale baselines: Traditionele retrieval-methoden (BM25, TF-IDF) presteerden zwak, met micro-F1 scores rond de 0.10. Dit suggereert dat relevante revisies vaak niet geïdentificeerd kunnen worden door directe lexicale overlap alleen, aangezien actiepunten de intentie beschrijven in plaats van de herziene tekst te herhalen.
• LLM-prestaties:
  • GPT-5.6-Sol behaalde de sterkste en meest stabiele prestaties, met een test micro-F1 van 0.360 en een macro-F1 van 0.398. Het demonstreerde een betere balans tussen precisie en recall vergeleken met andere modellen.
  • DeepSeek-V4-Pro vertoonde een hoge variantie, met een hoge validatie micro-F1 (0.410) maar een daling naar 0.261 op de testset.
  • Kimi-K2.5 behaalde een hoge recall maar een lagere precisie.
  • Gemma-3-27B-IT varianten (zero-shot en LoRA) presteerden minder goed dan hosted modellen, waarbij zero-shot modellen ernstige overselectie vertoonden (het voorspellen van honderden irrelevante diffs).
• Inter-annotator overeenstemming: Menselijke annotatoren kwamen overeen over de exacte set diffs in 37% van de gevallen, met een gemiddelde Jaccard-gelijkenis van 50.1%. Binaire overeenstemming over de vraag of er welke diff bestond voor een actiepunt leverde een Cohen's $\kappa$ van 0.369 op, wat duidt op een redelijke overeenstemming buiten de kansberekening en de inherente subjectiviteit benadrukt bij het koppelen van dialoog aan specifieke edits.

Significantie en Claims
Het artikel claimt dat Metag de ontwikkeling van agentic human-in-the-loop systemen mogelijk maakt om meta-reviewers te assisteren. Door de traceerbaarheid tussen review-dialoog en manuscriptbewijs te automatiseren, kunnen dergelijke systemen:

• Verifiëren of beloofde revisies zijn doorgevoerd.
• Substantieve wijzigingen onderscheiden van ongerelateerde edits.
• Het manuscriptbewijs inspecteren dat ten grondslag ligt aan een reactie van een auteur.

De auteurs positioneren Metag als een fundamentele bron voor het verbeteren van transparantie en traceerbaarheid in peer review. Ze vermelden expliciet beperkingen, waaronder het feit dat de dataset afkomstig is van één enkele conferentie (ICLR 2024) en het gebrek aan toegang tot tussenliggende revisieversies tijdens het reviewproces, wat de granulariteit van de analyse beperkt. Het werk wordt gepresenteerd als een stap richting het bouwen van tools die meta-reviewers in staat stellen om revisies efficiënter te navigeren, in plaats van een volledig opgelost probleem voor geautomatiseerde meta-reviewing.