Technische Samenvatting: Heroverweging van de Evaluatie van Literatuurzoekopdrachten

Probleemstelling

Literatuurzoekopdrachten zijn een fundamentele stap in wetenschappelijk werk, maar hun evaluatie blijft problematisch. De gemeenschap evalueert traditioneel ophaalsystemen door precisie en recall te meten tegen de referentielijst van een query-paper, waarbij die door mensen samengestelde lijst wordt behandeld als "waarheid". De auteurs identificeren twee kritieke gebreken in deze conventie:

1. Ophaalbeperkingen: Standaard API-gebaseerde zoekopdrachten (die vertrouwen op enkele of meerdere trefwoordqueries) zijn breekbaar en slagen er niet in de lange-staartstructuur van citatiediagrammen vast te leggen, waardoor relevant werk dat verborgen zit achter ketens van referenties, wordt gemist.
2. Gebreken in de Waarheid: De menselijke referentielijst zelf is onvolledig en idiosyncratisch. Deze bevat niet-topische citaties zoals toewijzingen aan fundamentele papers, credits voor software/bibliotheken en citaties naar directe samenwerkingspartners, die mogelijk geen weerspiegeling vormen van topische relevantie in strikte zin.

Methodologie

1. De Deep Research-pijplijn

De auteurs stellen een modulaire ophaalpijplijn voor die is ontworpen om de beperkingen van zoekopdrachten op basis van trefwoorden te overwinnen. Het systeem werkt in twee fasen:

• Fase 1 (Ophalen met hoge recall): Een LLM genereert diverse trefwoordqueries op basis van de volledige tekst van de query-paper. Deze worden vertaald naar provider-specifieke syntaxis voor academische API's (arXiv, OpenAlex, Semantic Scholar) om seed-papers op te halen.
• Fase 2 (Breedte-gerichte expansie): Het systeem breidt de kandidaatset breedte-gericht uit langs bibliografische referenties tot een configureerbare diepte ($D_{max}=3$) en paper-budget ($N_{max}$). Dit maakt gebruik van het citatiediagram om relevante literatuur bloot te leggen die trefwoordqueries missen.
• Opnieuw rangschikken: De uitgebreide pool wordt opnieuw gerangschikt met behulp van een van drie uitwisselbare modules:
  • QWEN3 Embeddings: Dichte ophaling met behulp van instructie-geconditioneerde query-embeddings.
  • LLM-debat: Een agent genereert argumenten voor en tegen het citeren van een kandidaat en wijst een relevantiescore van 0–100 toe.
  • Ensemble: Een combinatie van debatscores en QWEN3-scores.

2. Benchmark en Evaluatiemetrics

Om deze systemen te evalueren zonder datacontaminatie, introduceren de auteurs ROLLINGEVAL-JUN25, een benchmark van 250 computerwetenschappelijke arXiv-indieningen uit juni 2025 (na de trainingscutoffs van de geëvalueerde modellen). De evaluatie maakt gebruik van vier complementaire metrics:

• Precisie en Recall: Gemeten tegen de menselijke referentielijst.
• Semantische Relevantie (SR): Een score van 0–100 toegewezen door een neutrale LLM-rechter (GPT-OSS-120B) op basis van de volledige tekst van de query-paper en de titel/abstract van de kandidaat.
• $\alpha$-nDCG: Een nieuwheidsbewuste metric die thematische diversiteit en redundantie in de gerangschikte lijst meet.
• Co-auteur-afstand: Een diagnostische metric die het co-auteur-diagram van OpenAlex gebruikt om de hop-afstand tussen de auteurs van de query en de auteurs van de kandidaat te meten.

3. Analyse van de Waarheid

De auteurs behandelen de menselijke referentielijst niet als een absolute waarheid, maar als een doel dat geanalyseerd moet worden. Ze gebruiken een neutrale LLM-rechter om de topische relevantie van elke menselijke citatie te beoordelen en vergelijken deze verdeling met AI-genereren lijsten van dezelfde lengte. Ze analyseren verder de "citatiegap" door citaties te mappen op het co-auteur-diagram van OpenAlex om netwerkbias te kwantificeren.

Belangrijkste Resultaten

Ophaalprestaties

De Deep Research-pijplijn toont een verbetering in recall met een orde van grootte ten opzichte van traditionele API-only zoekopdrachten:

• Recall: Standaard zoekopdrachten pieken op ongeveer 15% recall, zelfs bij $K \approx 10^5$. Daarentegen overschrijden alle Deep Research-varianten 80% recall bij $K=10^4$. De beste variant (QWEN3-embeddings) bereikt 51,9% recall bij $K=1000$, wat bijna een verdrievoudiging is van de prestaties van een arXiv-API-baseline.
• Precisie: QWEN3-embeddings bereiken de sterkste top-$K$ precisie (0,37 bij $K=1$).
• Diversiteit: De op debat gebaseerde opnieuw rangschikkende module bereikt de hoogste $\alpha$-nDCG, wat suggereert dat deze relevante items gelijkmatiger over de lijst verdeelt in vergelijking met alleen embedding-ähnelijkheid.

De "Waarheid"-gap

De studie onthult een significante discrepantie tussen menselijke citaties en door AI gegenereerde lijsten met betrekking tot topische relevantie:

• Semantische Relevantie: Wanneer beperkt tot dezelfde lijstlengte, wordt slechts 51% van de menselijke citaties beoordeeld als matig relevant of hoger (score $\ge 60$). Daarentegen bereiken de sterkste AI opnieuw rangschikkende modules (QWEN3 en Debate+Qwen) 86–88% hoge relevantiescores.
• Netwerkbias: Analyse van het co-auteur-diagram van OpenAlex toont aan dat mensen 2,5 keer zo waarschijnlijk zijn als de beste AI opnieuw rangschikkende modules om een directe samenwerkingspartner te citeren ($d=0$). De bias strekt zich uit tot samenwerkingspartners op één hop, waarbij mensen citeren met een frequentie van 12,2% tegenover 6,9–7,4% voor AI.
• Niet-topische Citaties: Ongeveer 48,6% van de menselijke citaties valt in categorieën met lage relevantie (fundamentele architecturen, softwarebibliotheken, klassieke algoritmen) die geen topische signalen bevatten in hun abstracts, terwijl AI opnieuw rangschikkende modules dergelijke citaties produceren met een frequentie van slechts 12–14%.

Betekenis en Claims

Het paper pleit tegen het gebruik van evaluatie op één as voor literatuurzoekopdrachten. De auteurs beweren dat:

1. Menselijke Referentielijsten Onvolmaakte Waarheid zijn: Het behandelen van menselijke citaties als een schoon doel voor evaluatie is problematisch omdat ze systematisch niet-topische citaties bevatten (fundamenteel werk, tools) en netwerkbias vertonen (samenwerkingspartners).
2. Meerdimensionale Evaluatie Vereist is: Geen enkele metric vangt de volledige kwaliteit van een literatuurzoekopdracht. De auteurs bepleiten het gezamenlijk rapporteren van vier complementaire eigenschappen:
   • Recall: Om dekking tegen bekende doelen te meten.
   • Topische Relevantie: Om semantische uitlijning met de query te meten.
   • Diversiteit van de Gerangschikte Lijst: Om ervoor te zorgen dat de lijst uiteenlopende onderwerpen bestrijkt zonder redundantie.
   • Co-auteur-afstand: Om netwerkbias in de citatieset te diagnosticeren.
3. Deep Research een Noodzakelijke Baseline is: De winst in recall met een orde van grootte die door Deep Research wordt geleverd, breidt de kandidaatpool uit en verhoogt het haalbare plafond voor elk ophaalsysteem, ongeacht de definitie van de uiteindelijke waarheid.

De auteurs concluderen dat toekomstige benchmarks menselijke referentielijsten niet als de enige waarheid moeten behandelen, maar ze in plaats daarvan moeten gebruiken als één diagnostische as naast semantische relevantie en netwerkanalyse. Ze publiceren de ROLLINGEVAL-JUN25-benchmark, de Deep Research-pijplijn en de OpenAlex-afstandsanalyse-scripts om deze herbeoordeling te faciliteren.