Beyond Precision: Importance-Aware Recall for Factuality Evaluation in Long-Form LLM Generation

Probleemstelling

Het evalueren van de feitelijkheid van langere teksten (long-form) gegenereerd door Large Language Models (LLM's) blijft een grote uitdaging. Bestaande methoden richten zich bijna uitsluitend op precisie (precision): ze ontleden een antwoord in atomische claims en verifiëren deze tegen externe kennisbronnen (zoals Wikipedia). Als een claim wordt ondersteund, wordt deze als feitelijk beschouwd.

Deze aanpak negeert echter een cruciale dimensie: recall (herroeping). Bestaande methoden meten niet of het model belangrijke feiten die hadden moeten worden opgenomen, heeft gemist. In open-ended scenario's kan een model dus feitelijk correcte zinnen produceren (hoge precisie), maar toch een onvolledig antwoord geven omdat het essentiële informatie weglaat (lage recall). Bestaande benaderingen voor recall zijn vaak gebaseerd op heuristieken (zoals een vast aantal vereiste feiten) of beperkt tot subtopics, wat niet voldoende is voor fijnmazige feitelijke evaluatie.

Methodologie

De auteurs stellen een nieuw, geïntegreerd evaluatiekader voor dat zowel precisie als recall meet, met een nadruk op de belangrijkheid van de feiten. Het proces verloopt als volgt:

1. Constructie van een Referentie-Feitenverzameling ($F$):

   • Gegeven een query $q$, worden relevante documenten opgehaald uit een externe kennisbron (bijv. Wikipedia of Google Search) via Retrieval Augmented Generation (RAG).
   • Deze documenten worden verwerkt tot een set atomische feiten ($F$) met behulp van een LLM (gebaseerd op de VeriScore-methode), waarbij redundantie wordt verwijderd en feiten worden gedecomposeerd.
   • Belangrijkheidsscore: In tegenstelling tot eerdere werken die alle feiten gelijk behandelen, worden de feiten gewogen op basis van twee factoren:
     • Relevantie: Hoe relevant is het feit voor de specifieke query?
     • Salience (Opspringendheid): Hoe centraal is het feit voor het hoofdonderwerp?
     • Een LLM-judge geeft scores (1-5) voor beide, die worden genormaliseerd en gecombineerd tot een samengestelde belangrijkheidsscore: $imp(f_k; q) = \alpha \tilde{r}_k + \beta \tilde{s}_k$.
   • Een "moet-bevatten" referentie-set ($F^*$) wordt gevormd door de feiten te rangschikken op deze score.

2. Extractie van Claims ($C$):

   • De gegenereerde LLM-antwoorden ($G_o$) worden eveneens ontbonden in atomische claims ($C$) door een LLM, waarbij zorg wordt gedragen voor specificiteit en het vermijden van redundantie.

3. Evaluatiemetrics:

   • Factual Precision ($Prec_F$): Het percentage van de gegenereerde claims dat wordt ondersteund door de opgehaalde bewijzen.
   • Factual Recall ($Rec_F$): Het percentage van de referentie-feiten in $F^*$ dat wordt gedekt door de gegenereerde claims.
   • Gewogen Recall ($Rec^w_F$): Een recall-score waarbij de bijdrage van elk feit wordt gewogen op basis van de eerder berekende belangrijkheidsscore. Dit geeft meer gewicht aan het dekken van kernfeiten dan aan perifere details.
   • F1-score: Het harmonisch gemiddelde van precisie en recall.

Experimentele Opstelling

De auteurs hebben hun methode getest op drie verschillende domeinen voor langere generatie:

• FactScore (Bio): Biografieën van entiteiten uit Wikidata, met Wikipedia als bron.
• LongFact: Prompts over 38 verschillende onderwerpen, met Google Search als bron.
• LongForm: Prompts afgeleid van diverse bronnen (Wikipedia, StackExchange, etc.).

Er zijn zes modellen geëvalueerd, waaronder open-source modellen (Llama-3.1, Qwen2.5, Mistral) en gesloten modellen (GPT-4o-mini, Gemini-2.5-flash-lite).

Belangrijkste Resultaten

1. Precisie vs. Recall Dispariteit:

   • LLM's presteren over het algemeen aanzienlijk beter op precisie dan op recall. Dit suggereert dat feitelijke onvolledigheid een grotere beperking is dan het produceren van directe hallucinaties.
   • Modellen zijn beter in het dekken van zeer belangrijke feiten dan in het dekken van de volledige set relevante feiten.

2. Trade-off en Lengte:

   • Er is een duidelijke trade-off tussen precisie en recall. Modellen die langere antwoorden genereren (hoger aantal claims per prompt, gemeten als $\rho$), hebben vaak een hogere recall maar een lagere precisie.
   • Echter, langere generaties zijn niet per se beter. Modellen zoals GPT-4o-mini bereiken een hoge recall met minder claims (hogere efficiëntie) en behouden tegelijkertijd de hoogste precisie.

3. Foutanalyse:

   • De meest voorkomende fout is het produceren van claims die niet worden ondersteund door de bronnen (lack of evidential support), eerder dan directe tegenstrijdigheden (contradictions).
   • Tegenstrijdigheden komen vaker voor in biografische datasets, waar specifieke feiten (zoals geboortedata) vaak expliciet worden tegengesproken.

4. Invloed van Belangrijkheid:

   • Bij het rangschikken van referentie-feiten op basis van alleen relevantie of alleen salience, varieert de recall. De combinatie van beide (gewogen score) levert de meest robuuste recall op.
   • Modellen slaan het vaakst de "top" feiten (hoogste salience) goed, maar falen bij het dekken van de volledige set van relevante feiten naarmate de set groter wordt.

Bijdragen

1. Geautomatiseerde Feitextractie: Een praktische methode om feiten uit opgehaalde kennisbronnen te extraheren met behulp van retrieval, zonder handmatige annotatie.
2. Uitgebreide Evaluatiemetric: Een kader dat zowel precisie als recall meet, inclusief een belangrijkheidsgevoelige weging die onderscheid maakt tussen kernfeiten en perifere informatie.
3. Uitgebreide Analyse: Een diepgaande analyse van LLM-gedrag in verschillende scenario's, die aantoont waar modellen faalt (onvolledigheid) en hoe precisie en recall met elkaar in verband staan.

Significantie

Dit paper is significant omdat het de evaluatiestandaard voor LLM-factelijkheid verschuift van een eenzijdige focus op "niet liegen" (precisie) naar een holistische kijk op "niet vergeten" (recall). Het benadrukt dat voor nuttige langere antwoorden niet alleen correctheid, maar ook volledigheid en de juiste weging van informatie essentieel zijn. De voorgestelde methode biedt een robuuster instrument om de kwaliteit van LLM-antwoorden te beoordelen, wat cruciaal is voor toepassingen waar informatievolledigheid net zo belangrijk is als nauwkeurigheid (bijv. nieuwsrapportage, medische samenvattingen, of biografieën).