RWGBench: Evaluating Scholarly Positioning in Related Work Generation

Technische Samenvatting: RWGBench

Probleemdefinitie
Het artikel adresseert een kritiek gat in de evaluatie van Automated Related Work Generation (RWG). Hoewel Large Language Models (LLMs) een sterke vloeiendheid vertonen in wetenschappelijk schrijven, vertrouwen bestaande evaluatiemetrieken grotendeels op samenvattingsgerichte benaderingen (bijv. lexicale overlap, semantische gelijkenis met referentietekst). De auteurs stellen dat RWG fundamenteel verschilt van generieke samenvatting; het is een taak van wetenschappelijke positionering (scholarly positioning). Deze taak vereist niet alleen tekstsynthese, maar complexe besluitvorming op citatieniveau: het selecteren van relevant eerder werk, het organiseren ervan om hiaten te benadrukken, en het inkaderen van de bijdrage van het doelartikel relatief aan bestaand onderzoek. Huidige metrieken slagen er niet in om academisch kritieke fouten te detecteren, zoals ongepaste citatieselectie, verkeerd geplaatste referenties of het weglaten van centraal eerder werk, zelfs wanneer de gegenereerde tekst vloeiend en coherent lijkt.

Methodologie
Om deze beperkingen aan te pakken, introduceren de auteurs RWGBench, een benchmark die ontworpen is om RWG te evalueren vanuit het perspectief van citatiebesluitvorming in plaats van oppervlakkige tekstgelijkenis.

• Dataset Constructie:

  • Bron: De benchmark is gebouwd op basis van 40.108 computer science-artikelen gepubliceerd op arXiv tussen 2020 en 2025.
  • Retrieval Corpus: Een grootschalig corpus van 1,09 miljoen documenten werd geconstrueerd door citaties uit de bronartikelen af te stemmen op de SurGE-corpus en ontbrekende vermeldingen aan te vullen via de arXiv API.
  • Testset: Een hoogwaardige testset van 100 artikelen is gecureerd. Deze artikelen bevatten professioneel geschreven secties over eerder werk en hebben een citatie-dekking van 97,7% binnen het retrieval corpus, wat zorgt voor realistische evaluatiebeperkingen.

• Evaluatiekader:
  In plaats van uitsluitend te vertrouwen op ROUGE of BERTScore, stellen de auteurs een multidimensionaal kader voor dat vier kernaspecten van wetenschappelijke positionering beoordeelt:

  1. Citatie-geschiktheid (Citation Appropriateness):
     • Precisie/Recall: Meet de afstemming tussen de gegenereerde en de gouden standaard citatiesets.
     • Claim-Support Consistentie (CSC): Gebruikt Natural Language Inference (NLI) om te verifiëren of de abstract van het geciteerde artikel de specifieke claim in de gegenereerde zin ondersteunt.
     • Topische Relevantie (TRT): Meet de semantische gelijkenis tussen het doelartikel en de geciteerde artikelen op documentniveau.
  2. Citatie-organisatie:
     • Citatie-dichtheid (CD): Evalueert de snelheid van citaties per zin om over- of onder-citatie te detecteren.
     • Balans in Citatieverdeling (CDB): Meet de proportie unieke citaties om diversiteit versus repetitieve afhankelijkheid van een kleine set artikelen te beoordelen.
  3. Structurele Coherentie:
     • Positioneringsstructuur Gelijkenis (PSS): Vergelijkt de distributie van discourstaken (Achtergrond, Gat, Positionering) in de gegenereerde tekst met menselijke referenties met behulp van de Jensen–Shannon divergentie.
  4. Tekstkwaliteit:
     • Omvat standaardmetrieken (ROUGE-L, BERTScore) en een LLM-als-Judge score, hoewel de auteurs opmerken dat deze aanvullend zijn op de citatie-gecentreerde metrieken.

• Experimentele Opstelling:
  De studie evalueert vier generatieparadigma's (RAG, ALCE, TAG, Workflow) over drie frontier LLM's (DeepSeek-V3, Llama-3-8B, Qwen-2.5-7B) met zowel sparse (BM25) als dense retrieval methoden. Een "Oracle"-setting wordt eveneens toegepast, waarbij modellen worden voorzien van de grondwaarheid (ground-truth) citaties om generatiefouten te isoleren van retrievalfouten.

Belangrijkste Resultaten
Experimenten op RWGBench onthullen systematische beperkingen in huidige RWG-systemen die verborgen blijven voor standaardevaluaties:

1. Retrieval vs. Generatie Bottlenecks: Hoewel dense retrieval de semantische gelijkenis verbetert, levert dit slechts marginale winst op in citatienauwkeurigheid. Oracle-experimenten tonen aan dat zelfs met perfecte citaties, modellen moeite hebben met plaatsing en inkadering, maar de primaire bottleneck blijft de retrieval.
2. Ontkoppeling van Vloeiendheid en Nauwkeurigheid: Modellen kunnen vloeiende, hoog scorende tekst genereren (volgens LLM-as-Judge of ROUGE) terwijl ze erin falen noodzakelijke citaties te identificeren of irrelevante selecteren. Oppervlakkige metrieken slagen er niet in deze wetenschappelijke redeneerfouten te detecteren.
3. Systematische Organisatorische Afwijkingen: Gegenereerde secties vertonen een hogere citatie-dichtheid en een lagere distributiebalans vergeleken met door mensen geschreven secties, wat wijst op een neiging tot repetitieve nadruk en citatieclustering.
4. Contextuele Rechtvaardigingskloof: Zelfs wanneer modellen de juiste papers selecteren, worstelen ze met het integreren ervan in een coherente argumentatie (plaatsing en retorische inkadering). Deze kloof blijft bestaan, zelfs in de Oracle-settings.
5. Metriek-alignement: Menselijke evaluatie bevestigt dat citatie-specifieke metrieken (CSC, TRT, Recall) significant beter aansluiten bij deskundig oordeel (60–69% paarwijze nauwkeurigheid) dan oppervlakkige metrieken zoals BERTScore (44,4%) of LLM-as-Judge scores (35,8%), die vaak vloeiende maar citatie-arme outputs bevoordelen.

Betekenis en Bijdragen
Het artikel claimt vier primaire bijdragen:

1. Herformulering: Het herformuleert RWG als een taak van wetenschappelijke positionering die gecentreerd is rond citatiebesluitvorming, waarmee het verder gaat dan louter tekstgeneratie.
2. Benchmark: Het biedt RWGBench, een realistische benchmark met gecureerde targets en een massaal retrieval corpus om end-to-end evaluatie te ondersteunen.
3. Framework: Het introduceert een gedragsgeoriënteerd evaluatiekader dat fijnmazige diagnose van foutmodi in citatieselectie, plaatsing en organisatie mogelijk maakt.
4. Empirisch Inzicht: Het legt cruciale beperkingen van huidige systemen bloot, waarbij wordt aangetoond dat de kwaliteit van retrieval en citatie-redenering twee verschillende uitdagingen zijn die standaardmetrieken niet kunnen vatten.

De auteurs concluderen dat RWGBench een noodzakelijke testomgeving biedt voor het ontwikkelen van RWG-systemen die aansluiten bij werkelijke wetenschappelijke schrijfpraktijken, waarbij zij benadrukken dat rigoureuze benchmarking essentieel is om te begrijken waar LLM-ondersteuning gepast is en waar het tekortschiet in consequente academische taken.