Traditional statistical representations outperform generative AI in identifying expert peer reviewers

Technische Samenvatting: Traditionele Statistische Representaties Presteren Beter dan Generatieve AI bij het Identificeren van Deskundige Peer Reviewers

Probleemstelling
De exponentiële groei van wetenschappelijke inzendingen heeft het wereldwijde peer review-systeem onder druk gezet, waardoor handmatige identificatie van experts onuitvoerbaar is geworden. Hoewel instellingen steeds vaker Large Language Models (LLM's) en geautomatiseerde systemen toepassen om reviewers aan inzendingen te koppelen, ontbreekt het aan een rigoureuze, grootschalige evaluatie van de betrouwbaarheid van deze generatieve modellen bij het nauwkeurig identificeren van domeinexperts. Huidige methodologieën vertrouwen vaak op proxy-labels die bias introduceren (bijvoorbeeld zelfbeoordelingen of externe menselijke annotatie) en missen een gestandaardiseerde ground truth voor wetenschappelijke expertise. Bovendien lijdt het veld aan een gefragmenteerd landschap van algoritmen zonder consensus over welke representatiemethoden experts het beste terugvinden in operationele omgevingen.

Methodologie
De auteurs formuleren expertidentificatie als een Information Retrieval (IR)-probleem, waarbij het Distributed Peer Review (DPR)-systeem van de European Southern Observatory (ESO) tijdens Periode 110 (P110) als testomgeving wordt gebruikt. Dit kader biedt een unieke "gesloten-lus" omgeving waar voorstelauteurs tegelijkertijd optreden als de pool van reviewers, wat een rigoureuze evaluatie mogelijk maakt.

• Data: De studie analyseert 435 voorstellen en 379 unieke, door het voorstel aangewezen reviewers. De primaire data-invoer bestaat uit voorstelabstracts en expertiseprofielen van reviewers, afgeleid van publicatieabstracts (opgehaald via NASA/ADS) en zelfgerapporteerde trefwoorden.
• Ground Truth: De studie hanteert een dubbele validatiestrategie:
  1. Proxy Gold Labels: Het behandelen van de "door het voorstel aangewezen reviewer" (de auteur die is genomineerd om de peer-groep van zijn eigen voorstel te beoordelen) als de ground truth-expert voor dat specifieke voorstel.
  2. Zelfgerapporteerde Labels: Het vergelijken van ophaalscores met de zelfgecategoriseerde expertise-niveaus van reviewers (Expert, Intermediair, Niet-expert).
• Geëvalueerde Methoden: Zes verschillende methodologieën zijn gebenchmarkt:
  1. Trefwoorden: Het basale trefwoordmatching-systeem van ESO.
  2. LDA (Latent Dirichlet Allocation): Topic modeling.
  3. TF-IDF (Term Frequency-Inverse Document Frequency): Statistische lexische representatie.
  4. SPECTER2: Een Transformer-gebaseerd model dat is fine-gefineerd op wetenschappelijke citaties.
  5. SentenceTransformer: Een algemeen semantisch embedding-model.
  6. GPT-4o mini: Een generatieve LLM die wordt gebruikt om semantische uitlijning te scoren.
• Evaluatiemetrics: De studie maakt gebruik van rang-gebaseerde IR-metrics, waaronder Median Rank, Mean Reciprocal Rank (MRR), Hit@25 (fractie van de voorstellen waarbij de aangewezen expert in de top 25 zit) en Z-scores. Daarnaast wordt Normalized Discounted Cumulative Gain (NDCG) gebruikt om de uitlijning met zelfgerapporteerde expertise-hiërarchieën te evalueren. Statistische significantie wordt bepaald via bootstrap-resampling en de Wilcoxon signed-rank test.

Belangrijkste Resultaten
De empirische evaluatie toont aan dat traditionele statistische representaties in dit gespecialiseerde domein significant beter presteren dan generatieve AI en semantische neurale architecturen:

• Ophaalprestaties: TF-IDF behaalde de hoogste prestatie en slaagde er 79,5% van de tijd in om de aangewezen expert te identificeren binnen de top 25 aanbevelingen (Hit@25), met een Median Rank van 4,0. Daarentegen behaalde GPT-4o mini slechts een Hit@25 van 51,5% met een Median Rank van 24,0, presteerde het vergelijkbaar met LDA (50,3% Hit@25) en aanzienlijk slechter dan de TF-IDF-baseline.
• Uitlijning met Menselijke Oordelen: Bij het evalueren van de uitlijning met zelfgerapporteerde expertise-labels leidde TF-IDF opnieuw met een NDCG van 0,832, gevolgd door SentenceTransformer (0,827). Beide presteerden significant beter dan de zelfgeselecteerde Trefwoorden-baseline (0,789). Opmerkelijk is dat GPT-4o mini (0,811) en SPECTER2 (0,815) ook beter presteerden dan de trefwoorden-baseline, maar TF-IDF niet overtroffen.
• Robuustheid: TF-IDF en SentenceTransformer toonden robuustheid in datageconstraineerde scenario's (bijvoorbeeld beperkte publicatiegeschiedenissen), terwijl de prestaties van LDA en SPECTER2 aanzienlijk verslechterden bij minder publicaties.
• Semantische Gladdening: De auteurs observeren dat hoewel neurale embeddings brede semantische relaties vastleggen, ze een "gladdeningseffect" toepassen dat de fijnmazige, domeinspecifieke vocabulaire (bijvoorbeeld "Type Ia", "Bruine Dwerg") verduistert die nodig is om sterk gespecialiseerde subdomeinen te onderscheiden. Generatieve modellen slaagden er in het bijzonder niet in om deze precieze lexische signalen effectief te benutten.

Betekenis en Aanspraken
Het artikel stelt dat voor gespecialiseerde wetenschappelijke taken transparante en reproduceerbare statistische representaties superieur blijven aan computationally expensive en probabilistische LLM's. De auteurs betogen dat het succes van TF-IDF benadrukt dat in gespecialiseerde domeinen de matching van precieze technische vocabulaire meer discriminerend is dan de brede semantische clustering die moderne neurale architecturen bieden.

De studie vestigt een rigoureus evaluatiekader voor geautomatiseerd peer review, waaruit blijkt dat:

1. Precisie boven Semantiek: Bij wetenschappelijk peer review zijn exacte matches van domeinspecifieke terminologie cruciaal, een kracht van statistische methoden zoals TF-IDF die vaak wordt verwaterd door de semantische gladdening van generatieve modellen.
2. Reproduceerbaarheid: Deterministische statistische methoden bieden de reproduceerbaarheid die vereist is voor formele peer review-beslissingen, terwijl generatieve LLM's non-determinisme en hoge computatiekosten introduceren die deze eisen ondermijnen.
3. Operationele Realiteit: De bevindingen daagden recente literatuur uit die suggereerde dat deep learning-modellen volledige teksten van manuscripten nodig hebben om te concurreren met TF-IDF; deze studie toont aan dat TF-IDF semantische modellen zelfs overtreft wanneer het beperkt is tot publicatieabstracts, mits de evaluatie de operationele realiteit van wereldwijde expertopslag weerspiegelt.

De auteurs concluderen dat naarmate financieringsinstanties en observatoria peer review automatiseren, transparante, computatie-efficiënte lexische methoden de robuuste standaard moeten blijven voor het terugvinden van wetenschappelijke expertise.