Large Language Models Threaten Double-blind Review

Technische Samenvatting: Large Language Models bedreigen dubbelblind peer-review

Probleemstelling
Dubbelblind peer-review is een fundamenteel mechanisme in de wetenschappelijke publicatie die is ontworpen om bias gerelateerd aan de reputatie van de auteur, institutionele affiliatie en eerdere zichtbaarheid te mitigeren. De effectiviteit ervan rust op de aanname dat geanonimiseerde manuscripten (ontdaan van namen, affiliaties en expliciete citaties) niet voldoende informatie bevatten om auteurs betrouwbaar te kunnen identificeren. Hoewel eerder onderzoek heeft aangetoond dat auteurschap kan worden hersteld met behulp van stilistische markers, lexicale patronen of bibliografische structuren, onderzoekt deze studie een diepere kwetsbaarheid: of Large Language Models (LLM's) de mogelijkheid hebben om papers te de-anonimiseren met behsoud van slechts minimale wetenschappelijke tekst (titels en abstracts) door latente conceptuele signaturen te infereren. De kernvraag is of de aanname van anonimiteit standhoudt wanneer de inferentie beperkt is tot kleine groepen nauw verwante vakgenoten en oppervlakkige cues zijn verwijderd.

Methodologie
De auteurs voerden een gecontroleerd experiment voor auteurschapstoeschrijving uit met een corpus van meer dan 12.000 wetenschappelijke papers gepubliceerd tussen 2024 en 2025, afkomstig van Semantic Scholar. Om ervoor te zorgen dat de modellen niet vertrouwden op memorized trainingsdata, was de evaluatieset strikt temporeel geïsoleerd van de trainingscutoffs van de gebruikte modellen (Qwen2.5-72B en LLaMA3-70B, beide met een cutoff in 2023).

• Inputbeperkingen: Modellen werden uitsluitend voorzien van paper-titels en abstracts. Alle expliciete identificatoren, affiliaties en bibliografische metadata werden uitgesloten.
• Kandidaat-pools: Voor elke paper werd het model gepresenteerd aan een gesloten set van vijf kandidaten: één ware auteur en vier distractoren. De studie varieerde in de constructie van deze distractoren:
  • Random: Afkomstig uit ongerelateerde domeinen.
  • Domeinexperts (Semantic Scholar): Auteurs die worden aanbevolen als werkzaam op vergelijkbare onderwerpen.
  • Domeinexperts (OpenAlex): Auteurs opgehaald via OpenAlex, die een strikter uitgelijnde, conceptueel gefundeerde pool vertegenwoordigen.
• Definities van de 'Ground Truth': De "ware auteur" werd op drie manieren gedefieerd om robuustheid over disciplines heen te testen: de laatste auteur, de meest senior auteur (hoogste aantal publicaties) en de meest junior auteur (laagste aantal publicaties).
• Evaluatiekader: In plaats van te vereisen dat er één enkele voorspelling wordt gedaan, maakte de studie gebruik van een confidence-aware ranking framework. Modellen rangschikten kandidaten en wijsden betrouwbaarheidsscores toe. Een "suspect set" werd geconstrueerd door kandidaten te accumuleren totdat hun cumulatieve waarschijnlijkheid een drempelwaarde $\tau$ overschreed (bijv. 0,5 of 0,9). Genoteerde metrieken waren Top-k nauwkeurigheid, Mean Reciprocal Rank (MRR), Suspect Set Recall en Expected Calibration Error (ECE).
• Menselijke Baseline: Een controlegroep van twintig onderzoekers in opleiding met expertise in machine learning voerde dezelfde taak uit om een menselijke baseline vast te stellen.
• Geavanceerde Inferentie-checks: De studie testte model-aggregatie (het combineren van voorspellingen van Qwen en LLaMA) en multi-round deliberatie (iteratief redeneren) om te zien of complexiteit de attributie verbeterde.

Belangrijkste Resultaten

1. Superieure LLM-prestaties: LLM's presteerden significant beter dan menselijke onderzoekers bij het identificeren van auteurs op basis van titels en abstracts alleen.

   • Top-1 Nauwkeurigheid: LLM's bereikten ~42% nauwkeurigheid (Qwen2.5-72B), vergeleken met 11% voor menselijke onderzoekers.
   • Ranking Kwaliteit: LLM's bereikten een MRR van 0,623 versus 0,36 voor mensen (statistisch significant, $p < 0,001$).
   • Suspect Set Efficiëntie: Bij een gematigde betrouwbaarheidsdrempel ($\tau = 0,5$) behielden LLM's de ware auteur in 61,6% van de gevallen, terwijl de suspect set werd teruggebracht tot een gemiddelde van 1,95 kandidaten. Mensen behielden de ware auteur in slechts 22% van de gevallen met een vergelijkbare grootte van de suspect set.

2. Latente Conceptuele Signaturen: De studie vond dat de ineenstorting van anonimiteit wordt gedreven door "latente regelmatigheden" in de manier waarop onderzoekers problemen kaderen, de reikwijdte van bijdragen bepalen en hun werk positioneren, in plaats door stilistische eigenaardigheden.

   • Wanneer distractoren werden getrokken uit ongerelateerde domeinen, steeg de recall naar 84,1%, wat aangeeft dat modellen sterk leunen op thematische uitlijning.
   • Zelfs met zeer verwarrende distractoren (OpenAlex-experts met overlappende onderzoeksprofielen), bleef de recall op 51,5%, wat aanzienlijk boven de menselijke baseline ligt.

3. Disciplinaire en Senioriteitsvariaties:

   • Discipline: De erosie van anonimiteit was prominenter in de Geneeskunde (66% recall bij $\tau=0,5$) dan in de Computerwetenschappen (58%), wat suggereert dat discipline-specifieke onderzoekconventies identificeerbare signalen versterken.
   • Senioriteit: Het effect was consistent voor zowel senior als junior auteurs, wat aangeeft dat de risico's voor anonimiteit niet beperkt zijn tot prominente onderzoekers, maar ook gelden voor onderzoekers in de beginfase van hun carrière.

4. Limieten van Complexiteit:

   • Aggregatie: Het combineren van voorspellingen van meerdere modellen leverde slechts marginale verbeteringen op ten opzichte van het beste enkelvoudige model.
   • Deliberatie: Multi-round redeneren verslechterde de prestaties juist, waardoor de suspect set groter werd en de recall afnam. Dit suggereert dat extra redeneerstappen onzekerheid introduceren in plaats van nieuwe auteurschapssignalen wanneer de input beperkt is tot korte abstracts.

Betekenis en Claims
Het artikel betoogt dat dubbelblind review voor een structurele beperking staat in het tijdperk van AI-ondersteund onderzoek. De bevindingen dagen de fundamentele aanname uit dat het verwijderen van expliciete identificatoren voldoende is om anonimiteit te waarborgen. De auteurs stellen dat:

• Anonimiteit Probabilistisch is, Niet Absoluut: Dubbelblind review faalt niet in absolute zin (dat wil zeggen: perfecte identificatie wordt niet gegarandeerd), maar lijdt onder "gegradeerde kwetsbaarheid". LLM's kunnen de set van plausibele auteurs systematisch verkleinen tot een kleine, hoog-betrouwbare subset, wat voldoende kan zijn om de verwachtingen en het gedrag van reviewers te beïnvloeden.
• Inferentie Voorbij Stijl: De dreiging komt niet voort uit stilistische imitatie of bibliografische artefacten, maar uit de semantische inhoud zelf—specifiek de unieke manieren waarop onderzoekers problemen kaderen en bijdragen definiëren.
• Beleidsimplicaties: Huidige anonimiseringsrichtlijnen, die zich richten op oppervlakkige kenmerken (namen, citaties, affiliaties), kunnen onvoldoende zijn. De auteurs suggereren dat de wetenschappelijke gemeenschap de anonimiteit en eerlijkheid opnieuw moet evalueren, in het besef dat identiteit geïnferreerd kan worden uit de wetenschappelijke inkadering van het werk zelf.

Het artikel concludeert bescheiden door op te merken dat hoewel de modellen de onzekerheid verminderen, ze de juiste auteur niet altijd met zekerheid identificeren. Echter, de consistente reductie van de kandidaat-pool vertegenwoordigt een significante verschuiving in het risicoprofiel van dubbelblind review, wat een herziening van reviewbeleid noodzakelijk maakt in een AI-geïntegreerd ecosysteem.