Technische Samenvatting: Expert-gebaseerde Evaluatie van Preferentieën voor Geautomatiseerde Generatie van Gerelateerd Werk

Probleemstelling

Wetenschappelijk schrijven, in het bijzonder de generatie van secties over "Gerelateerd Werk" (Related Work, RW), vereist uitgebreide domeinkennis en het vermogen om te redeneren over nieuwe informatie in relatie tot bestaande literatuur. Hoewel Large Language Models (LLM's) veelbelovend zijn in dit domein, blijft het evalueren van de kwaliteit van automatisch gegenereerde wetenschappelijke tekst een kritiek openstaand vraagstuk. Conventionele automatische metrieken (bijv. ROUGE, BERTScore) en standaard "LLM-als-rechter"-systemen zijn onvoldoende omdat ze niet beschikken over domeinspecifieke criteria, geen rekening houden met expert-preferenties en vaak lijden onder pretraining-biases en een gebrek aan transparantie. Bestaande evaluatieframeworks onderscheiden onvoldoende tussen geldige generaties die verschillen in oppervlakkige lexicon en identificeren niet de incorrecte generaties die vergelijkbare lexicale kenmerken delen met correcte generaties. Bovendien vertrouwen huidige RW-generatiedatasets vaak op beperkte context (bijv. titels en abstracts), waardoor ze niet de diepgang bieden die nodig is voor uitgebreide literatuuronderzoeken.

Methodologie

Om deze tekortkomingen aan te pakken, stellen de auteurs GREP (Granular Related-work Evaluation based on Preferences) voor, een multi-turn evaluatieframework dat ontworpen is om realistische mens-AI collaboratieve schrijfacties te simuleren.

1. Dataset Constructie

De auteurs hebben een nieuwe RW-generatiedataset geconstrueerd bestaande uit 50 hoofdpapers uit top-tier NLP en Computer Vision venues, met gemiddeld 13,5 geciteerde papers per stuk (totaal 725 papers). In tegenstelling tot eerdere datasets die alleen titels en abstracts gebruikten, bevat deze dataset ook de Introductiesecties van de geciteerde papers om de rijke contextuele informatie te bieden die noodzakelijk is voor het begrijpen van de relaties tussen werken. De data is handmatig gecureerd om kwaliteit en volledigheid te waarborgen.

2. Evaluatiecriteria

GREP deelt evaluatie op in Harde Randvoorwaarden (essentiële vereisten voor een geldige RW-sectie) en Zachte Randvoorwaarden (die de voorkeuren van experts reflecteren tussen meerdere geldige concepten):

• Harde Randvoorwaarden:

  • Citatieverificatie: Meet de "Missing Ratio" (niet-geciteerde verstrekte papers) en de "Hallucination Ratio" (citaties die niet in de verstrekte lijst staan).
  • Getrouwheid (Faithfulness): Evalueert de feitelijke afstemming tussen de citatiesentences en de bronpapers met behulp van Natural Language Inference (NLI). Een citatie is alleen getrouw als alle beweringen volledig worden ondersteund door de bron.
  • Bestaan van Positionering: Controleert op uitspraken die de bijdragen van het hoofdpaper differentiëren van eerder werk.

• Zachte Randvoorwaarden:

  • Lengte: Zorgt ervoor dat het aantal tokens binnen een tolerantieratio van een gouden standaard valt.
  • Nadruk op Citatie: Meet de allocatie van inhoud aan specifieke citaties vergeleken met een gouden standaard.
  • Type & Ratio van Positionering: Evalueert of bijdragen in elke paragraaf worden benadrukt of in de laatste paragraaf worden samengevat, en de ratio van paragrafen die voldoen aan het verwachte expressietype.

3. Het GREP Framework

GREP werkt als een iteratieve lus (Figuur 1 in het paper):

1. Generatie: Een LLM (de generator) produceert een concept op basis van de details van het hoofdpaper en een lijst met geciteerde papers.
2. Evaluatie: Specifieke modules evalueren het concept tegen harde en zachte randvoorwaarden.
   • Getrouwheid en Positionering worden geëvalueerd met behulp van LLM's. Om de beperkingen van standaard LLM-rechters te mitigeren, gebruikt GREP Gelokaliseerde Oordeelsvorming (het evalueren van specifieke contexten in plaats van holistische scores) en Gemanipuleerde Contrastieve Voorbeelden (few-shot voorbeelden die correcte en incorrecte redeneringen tonen om de rechter te sturen).
   • Harde randvoorwaarden (zoals ontbrekende citaties) worden deterministisch geverifieerd.
3. Feedback Generatie: Het evaluatierapport wordt omgezet in natuurlijke taal feedback.
4. Verfijning: De generator gebruikt deze feedback om in de volgende iteratie een herzien concept te produceren.

Het framework biedt twee varianten: PreciseGREP (gebruikmakend van propriëtaire modellen zoals GPT-4o en o3-mini voor hogere nauwkeurigheid) en OpenGREP (gebruikmakend van open-weight modellen zoals Gemma 3 en Llama 3.3 voor kostenefficiëntie).

Belangrijkste Bijdragen

1. Nieuwe Dataset: Een hoogwaardige RW-generatiedataset verrijkt met Introductiesecties van geciteerde papers, wat de contextbeperkingen van eerdere datasets aanpakt.
2. Gedetailleerd Evaluatierubriek: Een uitgebreide set harde en zachte randvoorwaarden die zowel validiteit als expert-stijlelementen vastleggen.
3. GREP Framework: Een multi-turn evaluatiesysteem dat deterministische controles integreert met gelokaliseerde, door contrastieve voorbeelden versterkte LLM-oordeelsvorming. Het verenigt verifieerbare criteria met criteria die diep begrip van natuurlijke taal vereisen.
4. Expert Validatie: Een studie waarbij 16 domeinexperts (NLP en CV) LLM-generaties evalueerden in een pairwise, multi-turn setting. De studie valideert dat de oordelen van GREP nauw aansluiten bij menselijke expert-beoordelingen en de standaard judge-modellen overtreft.

Resultaten

• Afstemming met Experts: In expertstudies vertoonden GREP-varianten een significant hogere overeenkomst met menselijke oordelen dan baseline judge-modellen (bijv. Self-Taught Evaluator, DeepSeek-GRM). PreciseGREP bereikte een match-rate van 78% in citatiegetrouwheid vergeleken met experts, tegenover 53% voor gespecialiseerde SoTA LLM's. OpenGREP toonde eveneens een sterke afstemming (66%).
• Prestaties van de Generator: State-of-the-art LLM's worstelen met het genereren van geldige RW-secties zonder hulp. Zelfs het best presterende model (o3-mini) bereikte perfecte citatiegetrouwheid in slechts 20% van de initiële concepten.
• Gebruik van Feedback: LLM's hebben over het algemeen moeite met het effectief incorporeren van feedback. Hoewel sommige modellen verbeterden op specifieke metrieken (bijv. lengte-aanpassing), faalden velen er vaak in om meerdere verbeteringsaspecten simultaan te volgen of introduceerden zij inconsistenties die de kwaliteit verslechterden.
• Dynamische Aanpasbaarheid: Wanneer gebruikersvoorkeuren dynamisch veranderden (bijv. het introduceren van nieuwe papers halverwege de interactie of het veranderen van positioneringsstijlen), lieten modellen een ernstige daling in prestaties zien. Ze slaagden er vaak niet in om nieuwe informatie te integreren of direct aan te passen aan stijlveranderingen, waarbij de prestaties zelfs na herhaalde feedback niet volledig herstelden.

Betekenis

Het paper claimt dat GREP een robuust, domeingrondig evaluatieframework biedt dat de kloof overbrugt tussen automatische metrieken en menselijke expert-beoordeling in wetenschappelijk schrijven. Door complexe evaluatietaken te deconstrueren naar gelokaliseerde, semi-objectieve tests en gebruik te maken van contrastieve voorbeelden, adresseert GREP de problemen van "wat te beoordelen" en "hoe te beoordelen" die inherent zijn aan huidige LLM-als-rechter systemen.

De auteurs benadrukken dat hun werk het eerste is dat automatische RW-evaluatie conceptualiseert als een expert-domeintaak met domeinspecifieke utiliteiten. Het framework biedt een betrouwbare proxy voor menselijke oordeelsvorming, wat de kosten van human-in-the-loop experimentatie verlaagt en de ontwikkeling van realistische mens-AI collaboratieve schrijftools ondersteunt. De studie onderstreept dat huidige frontier LLM's, ondanks hun redeneervermogens, nog steeds worstelen met de genuanceerde randvoorwaarden van wetenschappelijke synthese, met name wat betreft citatiegetrouwheid en dynamische aanpassing aan voorkeuren.