Technische Samenvatting: Review Arcade

Probleemstelling

Het artikel behandelt de toenemende afhankelijkheid van Large Language Models (LLM's) in het academische peer-review-ecosysteem. Het stelt een scenario met dubbele adoptie voor, waarbij zowel auteurs LLM's gebruiken om manuscripten te herzien als reviewers LLM's inzetten om reviews te genereren of te ondersteunen bij het schrijven ervan. Deze dynamiek roept zorgen op met betrekking tot de wet van Goodhart: als auteurs papers specifiek optimaliseren om te voldoen aan LLM-reviewcriteria, kunnen de resulterende scores ophouden een geldig maatstaf te zijn voor de kwaliteit van een paper. De auteurs onderzoeken drie kernonderzoeksvragen (RQ's):

1. Validiteit: Kunnen LLM's reviews produceren die voldoende overeenkomen met menselijke reviews?
2. Stabiliteit: Zijn LLM-reviews consistent over verschillende modellen, prompts en herhaalde runs?
3. Speelbaarheid: Kunnen LLM-reviews worden "gespeeld" via geautomatiseerde, iteratieve bewerkingsworkflows die gericht zijn op het maximaliseren van review-scores?

Methodologie

De studie voert empirische experimenten uit op 984 echte inzendingen van de 2025 ACL Rolling Review (ARR). De dataset bevat zowel geaccepteerde als afgewezen papers, met een specifieke focus op de "Overall"-score als primaire maatstaf.

Experimentele Opstelling

• Modellen: De auteurs evalueerden vijf modellen (drie open-weight: Gemma-3-27B, Qwen-3.6-35B, Llama-3.3-70B; en twee closed-weight: GPT-5.4-mini, GPT-5.4).
• Prompts: Vijf verschillende prompting-strategieën werden getest, variërend van een minimale "simple"-prompt tot complexe, persona-gedreven prompts ("acl_senior") die zijn toegesneden op ARR-richtlijnen.
• Maatstaven:
  • Alignement: Gemeten via Mean Absolute Error (MAE) tegen menselijke scores en Pearson-correlatie ($r$) met de best passende menselijke review.
  • Inhoud: Semantische overlap van geïdentificeerde sterke punten en zwakke punten met behulp van een LLM-rechter (recall-gebaseerde maatstaf).
  • Stabiliteit: Variantie in scores over herhaalde runs en verschillende prompts.

Iteratieve Verbetering van Inzendingen (ISI)

Om RQ3 aan te pakken, simuleerden de auteurs een adversariele workflow waarbij een auteur een inzending iteratief bewerkt op basis van LLM-feedback. Dit proces werd uitgevoerd voor 10 iteraties onder drie verschillende instellingen:

1. Beperkt: Alleen oppervlakkige, cosmetische bewerkingen (bijv. grammatica, verduidelijking) zijn toegestaan; geen nieuwe experimenten of inhoudswijzigingen.
2. Standaard: Een middenweg-aanpak, geïnspireerd op eerdere werken, die bewerkingen toestaat maar niet-cosmetische veranderingen zoals het vervalsen van resultaten verbiedt.
3. Adversariaal: De LLM mag expliciet het systeem "spelen", inclusief het vervalsen van bewijs, het wijzigen van resultaten en het verzinnen van citaten om bezwaren van reviewers te bevredigen.

Er werd een taxonomie van bewerkingen opgesteld, die acties categoriseert van "Copy-Editing" en "Verduidelijking" tot "Methodologische-Augmentatie" en "Hallucinerend-Bewijs".

Belangrijkste Resultaten

1. Validiteit van LLM-reviews (RQ1)

• Score-Alignement: LLM's slagen er over het algemeen niet in om menselijke oordelen te matchen in termen van MAE. De best presterende modellen (GPT-5.4-varianten) behaalden een MAE van ~0,7, terwijl menselijke reviewers ~0,17 behaalden. Opvallend is dat een naïeve baseline (het voorspellen van de middelpunt-score van 2,5) de beste LLM's in MAE overtrof (0,64 vs. 0,70).
• Correlatie: Hoewel de MAE slecht is, is de Pearson-correlatie concurrerender. GPT-5.4 bereikte een correlatie van 0,276 tegenover menselijke reviews. Dit is echter vergelijkbaar met de lage mens-mens correlatie die in de dataset werd waargenomen (0,312), wat suggereert dat LLM's niet significant beter of slechter zijn dan de natuurlijke variantie tussen menselijke reviewers.
• Verschil tussen groepen: De prestaties varieerden aanzienlijk tussen geaccepteerde en afgewezen papers. Menselijke overeenstemming was veel hoger voor afgewezen papers (0,408) dan voor geaccepteerde (0,210), en LLM's volgden deze trend, waarbij ze meer moeite hadden om hoogwaardige papers te onderscheiden.

2. Stabiliteit van LLM-reviews (RQ2)

• Prompt-gevoeligheid: LLM-reviews zijn zeer instabiel over verschillende prompts. Bijvoorbeeld, de MAE van een model kon drastisch variëren afhankelijk van of een "simple"- of "senior"-prompt werd gebruikt.
• Run-instabiliteit: Zelfs met dezelfde prompt en model produceerden herhaalde runs inconsistente scores. Ongeveer 36,9% van de papers ontving verschillende scores over drie runs, waarbij 20% een verschil (delta) groter dan 0,5 punten vertoonde. Dit geeft aan dat LLM-reviews momenteel te instabiel zijn om als betrouwbare standalone-maatstaf te dienen.

3. Speelbaarheid van LLM-reviews (RQ3)

• Beperkte Instelling: Iteratieve bewerking met alleen oppervlakkige veranderingen leidde tot een statistisch significant toename in scores. Ongeveer 35% van de papers verbeterde na 10 iteraties, terwijl 22% een daling zag. Het effectgrootte was klein tot gemiddeld.
• Adversariële Instelling: Verrassend genoeg leverde het toestaan aan de LLM om bewijs of resultaten te vervalsen niet de grootste scoretoenames op. Het effectgrootte was zwakker dan in de beperkte instelling. De auteurs hypothetiseren dat model-guardrails significant hallucineren voorkomen en dat methodologische inconsistenties die door nep-data worden geïntroduceerd, de paper kunnen straffen in daaropvolgende LLM-reviews.
• Bewerkingssoorten: De meest succesvolle "speel"-strategie leunde op Verduidelijking en Refactoring (herstructurering zonder betekenisverandering), in plaats van substantiële inhoudsvervalsing.

Belangrijkste Bijdragen

1. Grootschalige Empirische Evaluatie: De eerste uitgebreide studie die LLM-reviews evalueert op echte ARR-inzendingen, waarbij meerdere modellen, prompts en runs worden bestreken.
2. Simulatie van Adversariële Aanvallen: Een onderzoek naar geautomatiseerd paper-editen als methode om LLM-review-scores te manipuleren, waarbij wordt aangetoond dat "spelen" haalbaar is zelfs met oppervlakkige bewerkingen.
3. Taxonomie van Bewerkingen: Een onderbouwde taxonomie voor het categoriseren van paper-bewerkingen, die onderscheid maakt tussen cosmetische veranderingen en substantiële (of vervalste) modificaties.

Betekenis en Beweringen

Het artikel concludeert dat, hoewel LLM's reviews kunnen produceren die in specifieke best-case scenario's correleren met menselijke oordelen, ze niet universeel betrouwbaar zijn vanwege instabiliteit over prompts en runs. De auteurs betogen dat de huidige staat van LLM-reviews onvoldoende is voor officiële adoptie zonder strenge waarborgen.

Cruciaal is dat de studie een kwetsbaarheid in het peer-reviewproces benadrukt: LLM-reviews kunnen worden gespeeld. Auteurs kunnen papers iteratief verfijnen met behulp van LLM-feedback om scores kunstmatig te verhogen, met name door oppervlakkige verduidelijkingen en structurele herorganisatie. De auteurs roepen de wetenschap op tot extreme voorzichtigheid met betrekking tot geautomatiseerde reviews, met de nadruk dat officiële implementaties moeten worden ontworpen om speelbaarheid te voorkomen en diverse perspectieven te waarborgen, in plaats van uitsluitend te vertrouwen op score-gebaseerde maatstaven.