Context Shapes LLMs Retrieval-Augmented Fact-Checking Effectiveness

Probleemstelling

Hoewel Large Language Models (LLMs) sterke redeneervermogens tonen, blijft hun prestatie inconsistent bij het verwerken van uitgebreide contexten. Bestaand onderzoek heeft zich voornamelijk gericht op het "verloren in het midden"-effect (mid-context degradation) bij vraag-antwoordtaken, waarbij modellen moeite hebben met informatie in het midden van de prompt. Echter, bij automatische feitencontrole (fact-checking) is de uitdaging complexer: het vereist vaak het synthetiseren en verzoenen van tegenstrijdige informatie uit meerdere bronnen.

De kernvraag is hoe LLMs omgaan met lange contexten in feitencontrole en hoe de plaatsing van bewijsmateriaal (evidence) binnen de prompt de nauwkeurigheid beïnvloedt. Er bestaat een risico dat systemen falen als relevant bewijsmateriaal niet op de juiste positie in de input wordt geplaatst, ondanks dat het technisch beschikbaar is.

Methodologie

De auteurs hebben een reeks gecontroleerde experimenten opgezet om drie onderzoeksvragen (RQ's) te beantwoorden:

1. RQ1: In welke mate kunnen LLMs claims verifiëren puur op basis van parametrische kennis (zonder extern bewijs)?
2. RQ2: Hoe beïnvloedt de contextlengte de nauwkeurigheid van de feitencontrole?
3. RQ3: Hoe beïnvloedt de positie van het relevante bewijsmateriaal binnen de prompt de nauwkeurigheid?

Datasets:
Er zijn drie veelgebruikte datasets voor claim-verificatie gebruikt:

• HOVER: Vereist het samenvoegen van meerdere documenten.
• FEVEROUS: Focus op tabulaire en tekstuele bewijsvoering.
• ClimateFEVER: Gespecialiseerd in klimaatgerelateerde claims.
  Om memorisatie te minimaliseren, werden de ontwikkelingssets van HOVER en FEVEROUS en de trainingsset van ClimateFEVER gebruikt. De labels zijn gestandaardiseerd naar een binair systeem: SUPPORTS (ondersteunt) en REFUTES (weerlegt).

Modellen:
Er zijn vijf open-source modellen getest met verschillende grootte en families:

• Llama-3.1: 8B en 70B parameters.
• Qwen2.5: 7B parameters.
• Qwen3: 8B en 32B parameters.
  Alle modellen zijn instructie-gefine-tuned (instruction-tuned).

Experimenteel Opzet:

1. Parametrische Baseline: Modellen kregen alleen de claim zonder extern bewijs.
2. Contextmanipulatie: Bewijsmateriaal werd geconstrueerd in een blok en op 11 evenwijdig verdeelde posities (van 0% tot 100% diepte) in de prompt geplaatst.
3. Contextlengte: Er werden vier contextlengtes gebruikt (2k, 4k, 8k en 16k tokens). Om de lengte te controleren zonder de inhoud te veranderen, werd "vullende tekst" (filler text) uit Wikipedia gebruikt.
4. Configuraties: Per model werden 44 unieke configuraties getest (4 lengtes × 11 posities).

Belangrijkste Resultaten

1. Parametrische Kennis (RQ1):
Modellen beschikken over aanzienlijke parametrische kennis en kunnen veel claims verifiëren zonder extern bewijs.

• ClimateFEVER leverde de hoogste scores op puur parametrische kennis.
• HOVER was het moeilijkst.
• Het toevoegen van "gouden" bewijs (gold evidence) verbeterde de prestaties systematisch, met de grootste winst voor FEVEROUS (tot +20% nauwkeurigheid).

2. Effect van Contextlengte (RQ2):
Over het algemeen neemt de verificienauwkeurigheid af naarmate de contextlengte toeneemt.

• Langere inputs (8k en 16k tokens) leiden tot interferentie en een minder effectief gebruik van bewijsmateriaal.
• Uitzondering: De Qwen3-modellen vertoonden een niet-monotoon patroon met een lokaal minimum bij 4k tokens, gevolgd door een gedeeltelijk herstel bij 8k. Dit suggereert dat grotere context niet lineair degradeert en mogelijk interacties heeft met interne attentiemechanismen.
• Qwen3-32B bleek het meest stabiel over alle contextlengtes.

3. Effect van Bewijsplaatsing (RQ3):
De positie van het bewijsmateriaal is cruciaal.

• Positiebias: De nauwkeurigheid is het hoogst wanneer bewijs aan het begin (0%) of einde (100%) van de prompt staat.
• Mid-context degradatie: Wanneer bewijs in het midden van de prompt staat, daalt de nauwkeurigheid aanzienlijk. Dit bevestigt het "lost in the middle"-effect.
• Modelverschillen:
  • Llama-3.1-8B toont grote fluctuaties afhankelijk van de positie.
  • Llama-3.1-70B is robuuster dan de 8B-versie.
  • Qwen3-32B vertoont de gladste nauwkeurigheidscurves en is het minst gevoelig voor positie. Deze presteerde consistent boven de "alleen claim"-baseline, ongeacht waar het bewijs zat.

Dataset Sensitiviteit:
ClimateFEVER bleek het meest gevoelig voor variaties in positie en contextlengte, met grotere prestatiedalingen dan HOVER of FEVEROUS.

Bijdragen en Significatie

Technische Bijdragen:

• Het paper biedt een uitgebreide evaluatie van de interactie tussen contextlengte, bewijsplaatsing en modelgrootte in de specifieke context van feitencontrole (niet alleen vraag-antwoord).
• Het kwantificeert de "positionele robuustheid" van moderne LLM-families (Llama vs. Qwen) en toont aan dat architecturale verschillen en trainingsstrategieën een even grote rol spelen als schaal (parameteraantal).

Praktische Implicaties:

• Retrieval-Augmented Generation (RAG) Systemen: Het is niet voldoende om alleen bewijsmateriaal op te halen; de orde waarin dit materiaal in de prompt wordt gepresenteerd, is kritiek voor de succesvolheid van de verificatie.
• Prompt Engineering: Voor feitencontrolesystemen moet bewijsmateriaal strategisch worden geplaatst (bij voorkeur aan het begin of einde van de prompt) om de "mid-context" degradatie te minimaliseren.
• Modelkeuze: Voor toepassingen die werken met lange contexten en variabele bewijsposities, blijken modellen zoals Qwen3-32B robuuster dan andere families, ondanks dat ze niet de grootste parameteraantallen hebben.

Conclusie:
De effectiviteit van geautomatiseerde feitencontrole hangt niet alleen af van de toegang tot bewijs, maar ook van hoe dat bewijs is georganiseerd binnen de input van het model. Het "verlies in het midden"-effect blijft een beperkende factor, maar kan worden verzacht door slimme prompt-structuur en het gebruik van modellen met een hogere positie-robustheid.