Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews

1. Probleemstelling

De integratie van Large Language Models (LLM's) in academisch peer review versnelt, met grote conferenties (zoals ICLR, AAAI, ICML) die ze adopteren voor assistentie of automatisering. Hoewel LLM's schaalbaarheid bieden, bestaat er een kritieke zorg met betrekking tot eerlijkheid en betrouwbaarheid. Eerdere studies hebben biases in LLM's gedocumenteerd met betrekking tot ras, geslacht en religie in algemene taken, maar de specifieke impact van deze biases op single-blind peer review (waarbij auteursmetadata zichtbaar is) blijft onderbelicht. De kernvraag is: Bevoordelen LLM's auteurs systematisch op basis van metadata (aansluiting, geslacht, senioriteit, publicatiegeschiedenis) in plaats van de verdienste van de inhoud van het artikel?

2. Methodologie

De auteurs introduceren een gecontroleerd counterfactueel evaluatiekader om bias te isoleren en te meten.

• Dataset: 252 artikelen van ICLR 2025, gelijkmatig bemonsterd uit 21 subvelden (6 geaccepteerd, 6 afgewezen per subveld).
• Experimenteel Ontwerp:
  • Single-Blind Simulatie: De LLM wordt geprompt met de volledige inhoud van het artikel plus specifieke auteursmetadata.
  • Counterfactuele Interventies: Voor elk artikel blijft de inhoud constant terwijl specifieke metadata-attributen één voor één worden gewijzigd:
    • Aansluiting: Omgewisseld tussen 8 "Ranked-Stronger" (RS) instellingen (bijv. MIT, CMU) en 8 "Ranked-Weaker" (RW) instellingen (bijv. University of Gondar, Midlands State University).
    • Geslacht: Omgewisseld tussen Angelsaksische mannelijke en vrouwelijke namen, gekoppeld aan zowel RS- als RW-aansluitingen.
    • Senioriteit: Omgewisseld tussen een "Senior Principal Investigator" (Senior PI) en een "Undergraduate Student" (UG).
    • Publicatiegeschiedenis: Omgewisseld tussen een profiel met 100 top-tier publicaties (TTP) en 0 TTP.
• Evaluatiemetrics:
  • Hard Ratings: De meest zelfverzekerde gehele getalbeoordeling (1–10) van het model, afgeleid via greedy decoding.
  • Soft Ratings: De verwachte waarde van de beoordeling, berekend op basis van de interne token-niveau waarschijnlijkheidsverdeling van het model. Deze metric is cruciaal voor het detecteren van impliciete bias die post-training alignment in de uiteindelijke output zou kunnen maskeren.
• Geëvalueerde Modellen: 9 diverse LLM's, waaronder Ministral 8B, DeepSeek R1-varianten, Llama 3.1 (8B/70B), Mistral Small, QwQ 32B, Gemini 2.0 Flash Lite en GPT-4o Mini.

3. Belangrijkste Bijdragen

1. Systematische Aansluitingsbias: Aangetoond dat LLM's consequent auteurs van hoog-prestige instellingen bevoordelen. Deze bias is vaak sterker in soft ratings (interne waarschijnlijkheden) dan in hard ratings, wat suggereert dat alignment-technieken expliciete bias kunnen onderdrukken terwijl impliciete voorkeuren intact blijven.
2. Detectie van Verborgen Bias: Introductie van het gebruik van soft ratings om "verborgen" biases te onthullen. Bijvoorbeeld, in Ministral 8B toonde de hard rating een winpercentage van 4,3% voor RS-instellingen, maar de soft rating onthulde een winpercentage van 68,6%, wat wijst op een aanzienlijke kloof tussen intern redeneren en output op oppervlakniveau.
3. Impact op Binaire Beslissingen: Aangetoond dat metadata-interventies acceptatie/afwijzingsbeslissingen kunnen omkeren. RS-aansluitingen verhoogden de kans dat afgewezen artikelen werden geaccepteerd (bijv. QwQ-32B converteerde 21,4% van afgewezen artikelen naar geaccepteerd), terwijl RW-aansluitingen geaccepteerde artikels naar afwijzing duwden.
4. Multidimensionale Bias: Identificatie van biases buiten aansluiting, waaronder:
   • Senioriteit: Sterke voorkeur voor Senior PIs boven undergraduates.
   • Publicatiegeschiedenis: Sterke voorkeur voor auteurs met uitgebreide publicatieregisters.
   • Geslacht: Gemengde maar aanwezige resultaten; sommige modellen bevoordeelden mannen, andere vrouwen (mogelijk door overcompensatie in alignment), maar het effect was minder consistent dan aansluitingsbias.
5. Kwalitatieve Redeneringsanalyse: Analyse van reviewtekst om te tonen hoe modellen bias rechtvaardigen (bijv. het associëren van RS met "geloofwaardigheid" of "toegang tot middelen" en RW met "beperkingen in middelen").

4. Belangrijkste Resultaten

• Aansluiting: Alle 9 modellen vertoonden een statistisch significante voorkeur voor RS boven RW-aansluitingen. In paarwise vergelijkingen wonnen RS-instellingen de meerderheid van de gevallen bij alle modellen (p-waarden < 0,01).
• Soft vs. Hard Discrepantie: De kloof tussen soft en hard ratings was het meest uitgesproken bij modellen zoals Ministral 8B en Llama 3.1, wat aangeeft dat interne waarschijnlijkheidsverdelingen sterk vertekend zijn, zelfs wanneer de uiteindelijke gehele getalscore neutraal lijkt.
• Beslissingen Omkeren: De studie vond dat metadata alleen de uitkomst voor marginale artikelen kon veranderen. Bijvoorbeeld, het wijzigen van de aansluiting van een auteur van RW naar RS kon in ongeveer 20% van de gevallen voor bepaalde modellen een afwijzing omkeren in een acceptatie.
• Subveldconsistentie: De RS-over-RW-bias bleef bestaan over alle 21 subvelden, hoewel de omvang varieerde (bijv. het sterkst in Robotica/CV, het zwakst in Neurowetenschappen/Cognitieve Wetenschappen).
• Geslacht: Resultaten waren heterogeen. Gemini 2.0 gaf de voorkeur aan mannelijke namen, terwijl GPT-4o Mini de voorkeur gaf aan vrouwelijke namen. Dit suggereert dat alignment-strategieën gericht op het verminderen van bias kunnen leiden tot overcompensatie, waardoor nieuwe directionele voorkeuren ontstaan.

5. Betekenis en Implicaties

• Bedreiging voor Wetenschappelijke Integriteit: De bevindingen suggereren dat LLM-ondersteund peer review onderzoekers van lager gerangschikte instellingen, het Globale Zuiden of vroege carrièresystematisch kan benadelen, ongeacht de daadwerkelijke kwaliteit van hun werk.
• Beperkingen van Alignment: De ontdekking van sterke soft bias impliceert dat standaard alignment (RLHF) bias mogelijk alleen maskeert in plaats van elimineert. Modellen kunnen "leren" neutrale tekst uit te brengen terwijl ze vooroordelen in hun interne representaties behouden.
• Beleid Aanbevelingen: De auteurs pleiten voor voorzichtigheid bij het adopteren van LLM's voor evaluatief oordeel. Zij suggereren dat, indien LLM's worden gebruikt, deze beperkt moeten blijven tot assistieve rollen (bijv. het controleren van reproduceerbaarheid) in plaats van acceptatiebeslissingen te nemen, en dat double-blind reviewprocessen essentieel zijn om deze specifieke metadata-gedreven biases te mitigeren.
• Toekomstig Onderzoek: Benadrukt de noodzaak van het ontwikkelen van debiasing-technieken die interne waarschijnlijkheidsverdelingen targeten, niet alleen uiteindelijke outputs, en het belang van het auditen van LLM's in domeinen met hoge stakes voor besluitvorming.

Concluderend biedt het artikel robuust empirisch bewijs dat huidige LLM's geen neutrale arbiters zijn in peer review. Zij erven en versterken maatschappelijke vooroordelen met betrekking tot institutioneel prestige en auteursstatus, wat een significant risico vormt voor de eerlijkheid van het ecosysteem voor wetenschappelijke evaluatie.