Technische Samenvatting: SAGE (Search-AuGmented Evaluation)

Probleemstelling

De evaluatie van Large Language Models (LLMs) bij vrije vraag-en-antwoord-taken (QA) staat voor een kritieke flessenhals. Traditionele evaluatie vertrouwt op statische, vooraf geannoteerde referentieantwoorden die worden vergeleken via lexicale metrieken (bijv. Exact Match, F1). Deze methoden slagen er echter niet in de diversiteit van open eind antwoorden te vatten, zijn kostbaar om op te schalen vanwege de vereisten voor menselijke annotatie, en zijn fundamenteel niet afgestemd op de niet-deterministische, contextafhankelijke outputs van LLM's.

Daartegenover staat het opkomende "LLM-als-rechter"-paradigma, dat modellen gebruikt om outputs te evalueren zonder externe referenties, wat echter onbetrouwbaar blijkt voor objectieve, op feiten gebaseerde taken. Zonder externe gronding vertrouwen deze rechters uitsluitend op bevroren parametrische kennis, wat leidt tot specifieke faalmodi:

1. Kennisveroudering: Rechters bevestigen met veel vertrouwen antwoorden die verouderd zijn ten opzichte van hun trainingsstopdatum.
2. Lengtebias: Langere, meer verbale antwoorden worden vaak overgewaardeerd, zelfs wanneer ze feitelijk onjuist zijn.
3. Prompt-gevoeligheid: Oordelen kunnen omslaan op basis van kleine variaties in de prompt of de volgorde van kandidaat-antwoorden.
4. Gehallucineerde Rationales: Rechters fabriceren ondersteunende bewijslast om onjuiste beslissingen te rechtvaardigen.

Het artikel betoogt dat objectieve correctheid niet uitsluitend via de interne kennis of voorkeuren van een LLM kan worden beoordeeld, wat een raamwerk noodzakelijk maakt dat de kloof tussen schaalbare automatisering en feitelijke gronding overbrugt.

Methodologie: Search-AuGmented Evaluation (SAGE)

SAGE is een referentievrij raamwerk ontworpen om de outputs van LLM's te beoordelen door een LLM-rechter in staat te stellen actief externe bewijslast op te halen, te synthetiseren en te reflecteren. In tegen tegenstelling tot single-pass search-augmented methoden, opereert SAGE als een iteratieve agent.

Kerncomponenten

Het raamwerk maakt gebruik van een LLM-rechter ($J$) die vier verschillende rollen speelt via one-shot prompt templates, waarbij interactie plaatsvindt met een webzoektool ($S$) en een kortetermijngeheugenbuffer ($M$):

1. Query Generatie ($Q$): Bij elke iteratie $i$ produceert de generator een zoekopdracht $q_i$ gebaseerd op de invoervraag $x$ en de geaccumuleerde geheugenstatus $M_{i-1}$. De initiële query is op topniveau; daaropvolgende queries worden verfijnd op basis van eerdere bevindingen om specifieke informatiegaten te richten.
2. Webzoekopdracht ($S$): Queries worden ingediend bij een zoekmachine (bijv. Serper API), wat een set snippets (titel, tekst, URL) teruggeeft als ruwe externe bewijslast.
3. Samenvatting ($\Sigma$): De opgehaalde resultaten worden gecondenseerd tot een gefocust bewijssegment $E_i$, waarbij redundantie wordt gefilterd en de meest relevante feitelijke inhoud wordt geëxtraheerd.
4. Reflectie ($\Phi$): De samenvatter beoordeelt de bewijslast $E_i$ tegenover de vraag $x$ en het kandidaat-antwoord $\hat{y}$. Het bepaalt of het bewijs de antwoorden ondersteunt, tegenspreekt of dat het inconclusief is met betrekking tot het antwoord, en markeert ontbrekende informatie om de volgende query te sturen.
5. Kortetermijngeheugen ($M$): Een append-only buffer legt het spoor van interacties $(q_i, E_i, r_i)$ vast over de iteraties heen, wat toekomstige query-verfijning conditioneert en de volledige context biedt voor het uiteindelijke oordeel.
6. Eindoordeel ($J$): Na een vastgesteld budget van $N$ iteraties (standaard $N=3$) synthetiseert de rechter de volledige geheugenstatus $M_N$ om een binair verdict ($v \in \{0, 1\}$) en een natuurlijke taal rationale ($\rho$) te produceren.

Het proces is iteratief: de reflectiemodule stuurt expliciet de query-verfijning aan, waardoor het systeem koers kan corrigeren als de eerste zoekopdrachten onvoldoende of irrelevante bewijslast opleveren.

Belangrijkste Bijdragen

1. Een Referentievrij Raamwerk: SAGE elimineert de noodzaak voor kostbare menselijk geannoteerde grondwaarheid door dynamisch output-specifieke webqueries te genereren om feiten te verifiëren.
2. Iteratieve Bewijssynthese: In tegenstelling tot eerdere search-augmented evaluatoren die doorgaans een single-pass retrieval uitvoeren, hanteert SAGE een "samenvatten–reflecteren–verfijnen" lus. Dit iteratieve proces stelt het systeem in staat om adaptief informatiegaten te targeten en ambiguïteiten op te lossen.
3. Gronding in Verifieerbare Data: Door te vertrouwen op opgehaalde externe bewijslast in plaats van parametrische kennis, mitigeert SAGE hallucinaties, kennisveroudering en lengtebias die inherent zijn aan ongeleide LLM-rechters.
4. Schaalbaarheid en Kostenefficiëntie: Het raamwerk biedt een schaalbaar alternatief voor menselijke annotatie, met kosten die orden van grootte lager liggen dan handmatige evaluatie, terwijl een hoge mate van overeenstemming met menselijke oordelen behouden blijft.

Experimentele Resultaten

De auteurs hebben SAGE geëvalueerd op vijf vrije QA-benchmarks (AmbigQA, HotpotQA, TriviaQA, Natural Questions, FreshQA) met diverse kandidaat- en rechtermodellen (waaronder GPT-3.5, GPT-4o, Gemini, en kleinere open-weight modellen zoals Mistral 7B en Qwen).

• Overeenstemming met Referentie-gebaseerde Metrieken: SAGE presteert aanzienlijk beter dan parametrische-alleen rechters. Zo behaalde een GPT-3.5 rechter met SAGE op AmbigQA een nauwkeurigheid van 0,80 ten opzichte van RefGPT (een referentie-gebaseerde baseline), vergeleken met 0,67 zonder externe bewijslast.
• Afstemming met Menselijke Evaluatoren: Op datasets met menselijke annotaties (AmbigQA en HotpotQA) bereikte SAGE een substantiële tot perfecte overeenstemming met de meerderheidsstemmen van mensen.
  • Cohen's $\kappa$: SAGE verkleinde de kloof tussen LLM-rechters en mensen. Op HotpotQA behaalde bijvoorbeeld een GPT-4o rechter zonder zoekopdracht een $\kappa = 0,38$, terwijl dezelfde rechter onder SAGE een $\kappa = 0,70$ bereikte.
  • Macro-F1: SAGE leverde consistent de hoogste Macro-F1 scores over modellen en taken heen, waarbij de neiging van referentievrije rechters om correctheid te overschatten (hoge recall, lage precisie) werd gecorrigeerd.
• Detectie van Verouderde Kennis: Op FreshQA identificeerde en verwierp SAGE succesvol verouderde antwoorden (bijv. het identificeren van de huidige locatie van EMNLP 2025 als Suzhou, China, terwijl kandidaten vaak locaties uit de pre-training cutoff opgaven).
• Ablatiestudies:
  • Iteraties: Prestaties verbeteren met het aantal iteraties, waarbij 3 iteraties de beste balans bieden tussen prestaties en kosten.
  • Query Generatie: Het verwijderen van de stap voor query-verfijning (het direct gebruiken van de invoervraag) verslechterde de prestaties aanzienlijk, vooral op ambigue datasets zoals AmbigQA.
  • Robuustheid van de Zoekmachine: De winst van SAGE bleef standhouden bij verschillende zoekmachines (Serper, Brave, Tavily), hoewel de absolute prestaties licht varieerden op basis van de kwaliteit van de retrieval.
  • Capaciteit van de Rechter: Hoewel SAGE de prestaties over alle groottes van de rechter verbetert, leveren meer capabele rechters (bijv. GPT-4o) een hogere overeenstemming met mensen op dan kleinere modellen (bijv. Mistral 7B), hoewel zelfs kleine modellen aanzienlijk profiteren van de zoek-augmentatie.

Betekenis en Claims

Het artikel beweert dat SAGE een significante vooruitgang vormt in de geautomatiseerde evaluatie van LLM's voor objectieve taken. Door te verschuiven van statische referentiematching of ongegronde parametrische oordeelsvorming naar een actief, op bewijs gebaseerd verificatieproces, adresseert SAGE de kernbeperkingen van huidige evaluatieprotocollen.

De auteurs stellen dat SAGE een schaalbaar, adaptief en kostenefficiënt alternatief biedt voor het evalueren van de feitelijkheid van LLM's. Het is bijzonder effectief voor:

• Vrije QA: Waarbij antwoorden open-ended zijn en geen enkele definitieve grondwaarheid hebben.
• Dynamische Onderwerpen: Waarbij informatie snel evolueert en de pre-trained kennis onvoldoend is.
• Resource-beperkte Omgevingen: Het biedt een levensvatbaar alternatief voor menselijke annotatie zonder de betrouwbaarheid op te offeren die vereist is voor objectieve correctheid.

Het artikel concludeert dat hoewel SAGE geen perfect substituut is voor menselijke review in scenario's met een hoog belang, het effectief de kloof overbrugt tussen de schaalbaarheid van geautomatiseerde evaluatie en de betrouwbaarheid van menselijke feitencontrole, waarmee het een nieuwe standaard zet voor de referentievrije evaluatie van LLM-feitelijkheid.