Technische Samenvatting: SurGE – Een Benchmark en Evaluatiekader voor Wetenschappelijke Overzichtsartikelen

Probleemstelling

De exponentiële groei van wetenschappelijke literatuur, geïllustreerd door het verdubbelen van de dagelijkse arXiv-indieningen tussen 2019 en 2024, heeft de handmatige creatie van uitgebreide overzichtsartikelen steeds onpraktischer gemaakt. Hoewel recente agenten op basis van Large Language Models (LLM) de haalbaarheid hebben aangetoond van het automatiseren van het genereren van overzichten via hiërarchische decompositie en geheugengestuurde mechanismen, ontbreekt het op dit gebied aan een gestandaardiseerd, schaalbaar evaluatieprotocol. Bestaande evaluatiemethoden lijden aan twee primaire beperkingen:

1. Schaalbaarheidsproblemen: Veel benaderingen, zoals StepSurvey, vertrouwen zwaar op menselijke evaluatie, wat arbeidsintensief is en moeilijk te reproduceren valt.
2. Bias en Gebrek aan Vergelijkbaarheid: Andere methoden, zoals AutoSurvey en SurveyForge, maken gebruik van aangepaste evaluatiekaders die zijn ontworpen om hun specifieke pijplijnen te valideren. Dit creëert een zelfvalidatiecirkel die systematische bias introduceert, ontwerpspecifieke aannames bevoordeelt en eerlijke, systeemoverschrijdende vergelijkingen verhindert.

Gevolg hiervan is dat er een dringende behoefte bestaat aan een methode-agnostische, reproduceerbare en diagnostische benchmark die het vermogen om relevante literatuur op te halen kan ontkoppelen van het vermogen om deze te synthetiseren tot een coherent overzicht.

Methodologie

De auteurs introduceren SurGE (Survey Generation Evaluation), een uitgebreid benchmark- en evaluatiekader dat het genereren van overzichten formaliseert als een tweestapsproces: (1) Informatieverzameling, waarbij een systeem relevante papers uit een corpus ophaalt, en (2) Overzichtsgeneratie, waarbij een systeem deze papers synthetiseert tot een gestructureerd artikel met juiste citaties.

1. Datasetconstructie

SurGE biedt een zorgvuldig opgebouwde dataset bestaande uit:

• Ground-Truth Overzichten: 205 hoogwaardige overzichtsartikelen afkomstig van arXiv (2020–2024) die expliciet zichzelf identificeren als overzichten of systematische reviews en een minimum van 20 citaties bezitten. Deze werden onderworpen aan een secundair handmatig filteringsproces door vier promovendi en een faculteitslid, waarbij citatie-impact, inhoudelijke dekking, structurele coherentie en citatiekwaliteit werden geëvalueerd. Papers werden alleen behouden als beide annotatoren ze "bruikbaar" achtten, wat resulteerde in een Cohen's Kappa van 0,792.
• Ophaalcorpus: Een grootschalig academisch corpus van 1.086.992 unieke papers volledig opgebouwd uit arXiv-metadata (titels, auteurs, samenvattingen, categorieën, enz.). Het corpus werd samengesteld door metadata op te halen voor papers die in de ground-truth overzichten werden geciteerd, en de pool uit te breiden met themagerelateerde papers en een willekeurige steekproef van CS-papers om bias te mitigeren. De dataset voldoet aan ethische standaarden door volledige PDF's uit te sluiten en uitsluitend te vertrouwen op metadata die zijn toegestaan onder CC0-licenties.

2. Evaluatiekader

SurGE stelt een multidimensionaal, geautomatiseerd evaluatiekader voor dat vier sleuteldimensies beoordeelt tegen de Ground Truth (GT):

• Uitgebreidheid: Gemeten door Recall, waarbij de overlap wordt berekend tussen de referenties van het gegenereerde overzicht en de GT-referentielijst. Dit dient als een pragmatische metriek voor het identificeren van de kern van het werk dat door de onderzoeksgemeenschap is gevalideerd.
• Citatiekwaliteit: Geëvalueerd op drie niveaus (Document, Sectie, Zin) met behulp van een Natural Language Inference (NLI) model (nli-deberta-v3-base). Het model bepaalt of een geciteerde paper thematisch relevant is voor het onderwerp, semantisch geschikt is voor de sectie en het specifieke bewijs in de zin ondersteunt. Scores worden afgeleid uit de Entailment-, Neutral- en Contradiction-kansen van het model.
• Structurele Kwaliteit: Beoordeeld via twee metrieken:
  • Structure Quality Score (SQS): Een LLM-as-a-Judge-metriek die de hiërarchische organisatie, betekenis en formulering van gegenereerde koppen vergelijkt met GT-koppen.
  • Soft-Heading Recall (SHR): Een metriek die semantische embedding-gebruikt om de uitlijning tussen gegenereerde en GT-koppen te meten, waarbij parafraseren robuust wordt verwerkt via soft cardinality-overlap.
• Inhoudskwaliteit: Gemeten door de Content Quality Score (CQS), waarbij een LLM (GPT-4o) elke sectie beoordeelt op vloeiendheid, logische helderheid, het vermijden van redundantie, duidelijkheid van beschrijving en afwezigheid van fouten.

De betrouwbaarheid van het kader werd gevalideerd via een meta-evaluatie, waarbij een hoge correlatie (Spearman's $\rho \approx 0,70$–$0,88$) werd aangetoond tussen de geautomatiseerde metrieken en menselijke expert-rangschikkingen, met name bij het onderscheiden van machine-genererde tekst van menselijk niveau van wetenschappelijk werk.

Belangrijkste Bijdragen

1. SurGE Benchmark: De introductie van een methode-agnostische benchmark met expert-gevalideerde ground-truth overzichten en een grootschalig ophaalcorpus van meer dan één miljoen papers.
2. Geautomatiseerd Evaluatiekader: Een robuust protocol dat de kwaliteit van overzichten beoordeelt over vier dimensies: uitgebreidheid, citatiekwaliteit, structuur en inhoud, waarbij gebruik wordt gemaakt van een hybride van objectieve metrieken en LLM-gebaseerde oordelen.
3. Empirische Analyse: Uitgebreide experimenten waarbij state-of-the-art systemen worden gebenchmarkt, wat diagnostische inzichten biedt in de specifieke knelpunten van huidige agent-pijplijnen.

Experimentele Resultaten

De auteurs hebben meerdere systemen gebenchmarkt, waaronder standaard Retrieval-Augmented Generation (RAG) baselines en gespecialiseerde agent-pijplijnen (AutoSurvey, StepSurvey, SurveyForge), waarbij allen een gedeelde dense retriever en de Qwen2.5-14B-Instruct backbone gebruikten voor een eerlijke vergelijking.

• Ophaalprestaties: De fine-tuned dense retriever bereikte een Recall@1000 van 68,05% voor ground-truth referenties, wat significant beter presteerde dan de BM25-baseline (27,15%). Dit bevestigt dat het corpus de benodigde informatie bevat en dat de bottleneck ligt in het generatiestadium, niet in de beschikbaarheid van data.
• Generatieprestaties:
  • Vloeiendheid versus Nauwkeurigheid: Standaard RAG-modellen (bijv. RAG-Qwen) behaalden concurrerende n-gram-scores (ROUGE-L, BLEU), maar leden aan de laagste Citatiekwaliteit en Recall. Dit benadrukt een "vloeiendheid-hallucinatie"-valstrik waarbij modellen coherente maar feitelijk ongegronde tekst genereren.
  • Structurele Kwaliteit: Gespecialiseerde agent-pijplijnen presteerden consequent beter dan standaard RAG-baselines in Structurele Kwaliteit (SQS) en Soft-Heading Recall (SHR), wat de noodzaak aantoont van expliciete planning en hiërarchische decompositie.
  • Agent-capaciteiten: Hoewel agent-pijplijnen de structurele kwaliteit en citatiekwaliteit verbeterden, hadden ze nog steeds moeite met informatienut. Bijvoorbeeld, SurveyForge excelleerde in het ophalen van accurate literatuur (hoogste Recall en Doc-Acc), terwijl StepSurvey de hoogste Content Quality Score (CQS) behaalde vanwege zijn granulaire, stap-voor-stap schrijfproces.
  • Modelcapaciteit: De resultaten suggereren dat goed gestructureerde agent-kaders beperkte modelcapaciteit kunnen compenseren; SurveyForge (met Qwen-14B) overtrof RAG-Gemini in citatiekwaliteit, wat aangeeft dat decompositiestrategieën kleinere modellen in staat kunnen stellen om meer getrouwe outputs te produceren.

Betekenis

Het artikel stelt dat SurGE een kritieke kloof in het veld aanpakt door de eerste methode-agnostische benchmark voor wetenschappelijke overzichtsgeneratie te vestigen. Door ophalen te ontkoppelen van generatie en een diagnostisch evaluatieprotocol te bieden, stelt SurGE onderzoekers in staat om te identificeren of prestatiefalen voortkomen uit informatieverwerving of inhoudssynthese. De auteurs concluderen dat hoewel agent-pijplijnen een aanzienlijke vooruitgang vormen ten opzichte van standaard RAG, huidige systemen nog steeds uitdagingen ondervinden in citatiekwaliteit en volledige informatienut. SurGE biedt de benodigde infrastructuur om deze systemen rigoureus te beoordelen en toekomstig onderzoek te sturen naar betrouwbaardere en effectievere geautomatiseerde overzichtsgeneratie.