From Isolated Scoring to Collaborative Ranking: A Comparison-Native Framework for LLM-Based Paper Evaluation

Probleemstelling

Huidige methoden voor het evalueren van wetenschappelijke papers met Large Language Models (LLMs) vertrouwen voornamelijk op het toekennen van absolute scores aan individuele papers. Dit benadering heeft twee fundamentele beperkingen:

1. Contextafhankelijkheid: Scoreniveaus variëren sterk tussen verschillende conferenties, tijdsperioden en evaluatiecriteria. Modellen die op absolute scores zijn getraind, neigen naar het leren van specifieke, contextgebonden regels in plaats van robuust academisch oordeel.
2. Beperkte Generalisatie: Omdat LLMs als gesloten kennisystemen werken, hebben ze moeite met complex redeneren over geavanceerde innovaties. Modellen die zijn getraind om menselijke scores na te bootsen, vertonen vaak hallucinaties en vertekeningen, en presteren slecht bij het evalueren van nieuwe datasets die niet overeenkomen met de trainingsverdeling.

Bestaande vergelijkingsmethoden (pairwise of listwise) trainen de modelparameters vaak niet specifiek voor vergelijkingstaken of geven uiteindelijk toch absolute scores terug, wat de generalisatie en prestaties beperkt.

Methodologie: CNPE Framework

De auteurs stellen CNPE (Comparison-Native framework for Paper Evaluation) voor. Dit framework verschuift het paradigma van geïsoleerd scoren naar collaboratief rangschikken door vergelijkingen te integreren in zowel de dataconstructie als het modelleerproces.

Het framework bestaat uit drie kernfasen:

1. Data Constructie en Pair Sampling (Paringsselectie)
Om effectieve vergelijkingen te faciliteren, wordt een strategie gebruikt om de meest informatieve paren papers te selecteren:

• Graph-based Similarity Ranking (GBR-BR): Een algoritme dat een gewichtsgewijze graaf bouwt op basis van semantische similariteit. Het gebruikt bidirectionele retrieval (embeddings + reranking) om papers met overlappende onderzoeksdomeinen te koppelen. Dit zorgt ervoor dat papers binnen dezelfde context worden vergeleken (voor fijne kwaliteitsonderscheiding) en dat de graaf verbonden is (geen geïsoleerde papers).
• Sampling Strategieën:
  • Similarity-based: Selecteert paren uit semantisch vergelijkbare domeinen voor gedetailleerde kwaliteitsvergelijking.
  • Random-based: Genereert paren over verschillende domeinen heen om de generalisatie van het model te verbeteren.
• Filtering: Paren worden gefilterd op basis van een minimale scoreverschil (om ruis te verminderen) en een maximale voorkomingsfrequentie per paper (om diversiteit te waarborgen).

2. Model Training
Het model wordt getraind om relatieve voorkeuren te leren in plaats van absolute scores:

• Cold-Start SFT (Supervised Fine-Tuning): Het model wordt eerst getraind met reasoning-chains gegenereerd door een instruct-model, gebaseerd op titels en abstracts.
• Reinforcement Learning met Vergelijkingsbeloningen (RLVR): Er wordt een verbeterde GRPO (Group Relative Policy Optimization) gebruikt. In plaats van beloningen te baseren op numerieke scores, wordt een verifieerbare, regelgedreven beloning gebruikt. Het model krijgt een beloning alleen als de geproduceerde vergelijking (Paper A > Paper B) overeenkomt met de ground truth (gebaseerd op het gemiddelde menselijke scoreverschil). Dit dwingt het model om zich te richten op het correct identificeren van kwaliteitsverschillen.

3. Inference (Afleiding)
Tijdens het testen worden papers niet individueel gescoord, maar gepaard:

• Het getrainde model voert paarsgewijze vergelijkingen uit op een subset van de papers.
• De gegenereerde voorkeursignalen worden geaggregeerd tot een globale rangschikking met behulp van het Bradley-Terry-model. Dit model schat een latente kwaliteitswaarde voor elke paper op basis van alle waargenomen paarvergelijkingen.
• Papers worden vervolgens gerangschikt en een acceptatiebeslissing wordt genomen op basis van een vooraf bepaald acceptatiepercentage.

Belangrijkste Bijdragen

1. Vergelijkings-Natief Framework: De eerste aanpak die vergelijkingen systematisch integreert in dataconstructie, training en inferentie voor paper-evaluatie, in plaats van ze als een naslagwerk te gebruiken.
2. GBR-BR Algoritme: Een nieuwe methode voor het selecteren van informatieve paper-paren via een graafgebaseerde similariteitsranking, wat zorgt voor betere contextuele dekking.
3. Vergelijkings-Beloning: Een Reinforcement Learning-strategie die gebruikmaakt van verifieerbare relatieve voorkeuren in plaats van absolute scores, wat leidt tot robuustere oordelen.
4. Efficiëntie en Generalisatie: Het framework gebruikt alleen titels en abstracts (geen volledige teksten), wat de rekentijd drastisch verlaagt, en toont sterke generalisatie naar onbekende datasets.

Resultaten

De experimenten zijn uitgevoerd op de ICLR-2025 dataset en getest op vijf andere topconferenties (ICML, NeurIPS, ACL, EMNLP, NAACL).

• Prestaties: CNPE (met slechts 7B parameters) overtreft de sterke baseline DeepReview-14B met een gemiddelde relatieve verbetering van 21,8% over alle evaluatiemetrics.
• Rangschikking: Het model behaalt aanzienlijke verbeteringen in rangschikkingsmetrics (MAP@20 en NDCG@20), met name een verbetering van 52,6% in MAP@20 ten opzichte van de tweede beste methode.
• Beslissingsnauwkeurigheid: Voor de acceptatie/rejectie-taak wordt een F1-score van 0,6732 en een AUC van 0,7408 behaald.
• Generalisatie: Het model toont sterke prestaties op vijf volledig onzichtbare datasets uit 2025, wat aantoont dat het niet overfit op specifieke scoreniveaus van één conferentie.
• Efficiëntie: Hoewel het iets meer tokens verbruikt dan DeepReview, is de daadwerkelijke rekentijd (computational cost) 13,5 keer lager (0,074x) dankzij de korte inferentie en het gebruik van alleen metadata.

Betekenis en Conclusie

Dit onderzoek markeert een paradigmaverschuiving in AI-gestuurde peer review. Het toont aan dat het modelleren van paper-evaluatie als een relatief rangschikkingsprobleem (collaboratief) superieur is aan het voorspellen van absolute scores (geïsoleerd).

• Robuustheid: Door te leren op relatieve voorkeuren, is het model minder gevoelig voor variaties in scoreniveaus tussen verschillende tijden en venues.
• Toepasbaarheid: Het vermogen om alleen op titels en abstracts te werken maakt het systeem schaalbaar en toepasbaar in scenario's waar volledige toegang tot papers beperkt is.
• Toekomst: De auteurs benadrukken dat dit systeem niet bedoeld is om menselijke reviewers te vervangen, maar als een krachtig hulpmiddel te fungeren dat de efficiëntie en consistentie van het reviewproces verbetert, terwijl het menselijk oordeel behoudt voor de definitieve beslissing.