Technische Samenvatting: Is Peer Review Echt in Verval? Analyse van Reviewkwaliteit over Venues en Tijd heen

Probleemstelling

Peer review is de hoeksteen van de moderne wetenschappelijke validatie, maar een heersend narratief suggereert een afname in de kwaliteit van reviews, gedreven door stijgende volumes aan inzendingen, een tekort aan reviewers en het onverantwoordelijke gebruik van Large Language Models (LLM's). Ondanks wijdverbreide bezorgdheid is empirisch bewijs met betrekking tot de traject van de reviewkwaliteit grotendeels anekdotisch. De primaire uitdagingen bij het bestuderen van deze trend zijn:

1. Moeilijkheid van Meting: Reviewkwaliteit is moeilijk te formaliseren, en menselijk oordeel is onderhevig aan bias en schaalt niet.
2. Data-heterogeniteit: Reviewformaten, richtlijnen en structuren variëren aanzienlijk tussen verschillende venues (bijv. ICLR, NeurIPS, ACL) en over de tijd heen, wat consistente cross-temporele vergelijking onmogelijk maakt met bestaande methoden.
3. Gebrek aan Framework: Er is geen holistisch, computationeel framework voor de multidimensionale analyse van reviewkwaliteit op schaal.

Methodologie

De auteurs stellen een nieuw framework voor voor de bewijs-gebaseerde vergelijkende studie van reviewkwaliteit, toegepast op belangrijke AI- en machine learning-conferenties (ICLR, NeurIPS, en *ACL/ARR). De methodologie bestaat uit drie kerncomponenten:

1. Review Unificatie

Om de structurele diversiteit aan te pakken, introduceren de auteurs een tweestaps unificatieproces:

• Flattening (Afvlakken): Alle tekstvelden en sectiekoppen van een reviewformulier worden samengevoegd tot één continue tekststreng ($r_f$), waarbij niet-tekstuele velden worden verwijderd.
• Itemization (Itemisatie): Een nieuwe LLM-gebaseerde aanpak (gebruikmakend van GPT-5.2 in een zero-shot setting) transformeert de afgeplatte tekst naar een set zelfstandige bullet-point items ($r_i$). Deze items worden toegewezen aan vooraf gedefinieerde secties: Summary (Samenvatting), Strengths (Sterktes), Weaknesses+ (Zwaktes+; aggregeert zwaktes, vragen en suggesties), en Other (Overig).
• Validatie: Het itemisatieproces werd geëvalueerd op inhoudelijke preservatie (hallucinaties en weglatingen) en de nauwkeurigheid van sectietoewijzing, waarbij een hoge precisie (0,95) en recall (0,88) werden behaald in zin-niveau alignment, waarbij menselijke beoordelaars bevestigden dat er geen hallucinaties of weglatingen waren.

2. Multidimensionaal Kwaliteitsschema

De auteurs definiëren reviewkwaliteit op basis van nut voor editors en auteurs, geoperationaliseerd via drie criteria en zes specifieke metingen (Tabel 1):

• Substantiviteit (Inhoudelijkheid):
  • ITX (Item Count): Het aantal kerninformatieve items in de Summary, Strengths en Weaknesses+ secties.
  • LEN (Length): Karakterlengte van de afgeplatte review (lichtgewicht proxy).
• Actionability (Actiegerichtheid):
  • ACT (Actionability Score): Een LLM-gebaseerde score (1–5) die beoordeelt hoe gemakkelijk suggesties kunnen worden vertaald naar specifieke acties.
  • REQ (Request Count): Een lichtgewicht telling van expliciete verzoekzinnen (bijv. "Please add...") geïdentificeerd via een pragmatische tagging classifier.
• Grounding (Verankering):
  • GND (Grounding Score): Een LLM-gebaseerde score (1–5) die meet in welke mate commentaren verankerd zijn aan specifieke delen van het paper.
  • EXL (Explicit Links): Een lichtgewicht telling van expliciete links van de review naar het paper (bijv. "Fig. 1", "Sec. 2").

3. Geaggregeerde Scoring en Analyse

• Normalisatie: Alle metrieken worden genormaliseerd naar [0, 1].
• Composite Score ($Q$): Een geaggregeerde reviewkwaliteitsscore wordt berekend als het niet-gewogen gemiddelde van alle genormaliseerde metingen.
• Data Omvang: De studie analyseert een willekeurige steekproef van 1.000 reviews per campagne van ICLR (2018–2025), NeurIPS (2021–2025) en ARR (2022–2025), waarbij desk-rejected en ingetrokken papers zijn uitgesloten.

Belangrijkste Bijdragen

1. Holistisch Framework: Het eerste computationele framework voor de grootschalige, multidimensionale studie van reviewkwaliteit over verschillende venues en tijd heen.
2. Review Unificatie: Een nieuwe, betekenis-preserverende aanpak om diverse reviewstructuren te standaardiseren met behulp van LLM's, wat cross-temporele analyse mogelijk maakt.
3. Kwaliteitsschema: Een multidimensionaal schema dat lichtgewicht (efficiënte) en LLM-gebaseerde (diepe) metingen combineert voor Substantiviteit, Actionability en Grounding.
4. Empirische Analyse: De eerste grootschalige studie die dit schema toepast om de evolutie van de reviewkwaliteit in top-tier CS-conferenties te analyseren.

Resultaten

Correlatie en Meettypen

• Alle metingen zijn positief gecorreleerd, wat duidt op niet-tegenstrijdige kwaliteitsdimensies, maar ze zijn niet perfect gecorreleerd, wat suggereert dat ze complementair zijn.
• Lichtgewicht metingen (LEN, REQ, EXL) vertonen een matig sterke correlatie ($\rho \approx 0,6$) met LLM-gebaseerde metingen (ACT, GND) in aggregatie, wat suggereert dat lichtgewicht proxies de resource-intensieve metrieken op schaal kunnen benaderen.

Temporele Trends

• Geen Consistente Daling: In tegenstelling tot het populaire narratief, laat de analyse geen consistente daling in de mediane reviewkwaliteit zien over de verschillende venues en jaren heen.
• Fluctuaties: Hoewel er wel fluctuaties bestaan (bijv. een opvallende toename in de mediane $Q$ voor ICLR-2021, ICLR-2025 en NeurIPS-2025), geven bootstrap-tests aan dat veel jaar-op-jaar verschillen niet statistisch significant of praktisch verwaarloosbaar zijn.
• Geaccepteerd vs. Afgewezen: In ICLR, waar de data volledig openbaar is, is de mediane kwaliteit voor geaccepteerde papers (0,24) slechts marginaal hoger dan voor afgewezen papers (0,23).

Distributie

De distributie van de geaggregeerde score $Q$ is scheefgetrokken door positieve uitschieters in de count-gebaseerde metrieken, met een kleine subset van extreem laag scorende reviews (bijv. placeholders of weigeringen).

Betekenis en Claims

Het paper claimt dat het "decline in review quality"-narratief niet wordt ondersteund door empirische data wanneer het wordt geanalyseerd via een systematisch, multidimensionaal framework. De auteurs postuleren dat de perceptie van een daling kan voortkomen uit:

1. Statistische Artefacten (H5): Naarmate het totaal aantal reviews groeit, neemt het absolute aantal reviews van lage kwaliteit proportioneel toe, wat leidt tot meer auteurs die te maken krijgen met slechte reviews, wat de negatieve sentimenten op sociale media versterkt.
2. Incomplete Meting (H3): Huidige metrieken kunnen specifieke dimensies van kwaliteit missen, of historische data (pre-2021) kan andere trends laten zien die momenteel minder toegankelijk zijn.
3. Worst-Case Scenario's (H4): Hoewel de mediaan stabiel kan zijn, zou de kwaliteit van de slechtste reviews gedegradeerd kunnen zijn, maar hiervoor is verder onderzoek nodig met nieuwe metrieken.

De auteurs benadrukken dat hun framework exploratief is en bedoeld is om toekomstige empirische studies te faciliteren, in plaats van te dienen als een direct instrument voor beleidsontwerp of automatische detectie van reviews. Ze roepen de gemeenschap op om voorbij anekdotisch bewijs te gaan en gestandaardiseerde, schaalbare metrieken te gebruiken om het peer review-ecosysteem te begrijpen en te verbeteren.