Technische Samenvatting: FullCite – Expliciete Gronding van Bewijs via Gestructureerde Generatie van Inline-citaten

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker traditionele zoekmachines vervangen door directe antwoorden te geven, is de vraag naar feitelijke en getrouwe generatie gegroeid, met name in domeinen met een hoog belang zoals de geneeskunde, de juridische sector en de wetenschap. Hoewel Retrieval-Augmented Generation (RAG) modellen in staat stelt om outputs te funderen op externe documenten, garandeert de loutere aanwezigheid van de opgehaalde context niet een getrouwe toepassing. Modellen vertrouwen vaak op parametrische kennis, schrijven claims onterecht toe aan irrelevante documenten, of produceren outputs die slechts gedeeltelijk worden ondersteund door bewijs.

Bestaande oplossingen vallen over het algemeen uiteen in twee categorieën:

1. Document-niveau citaten: Grofmazige attributies die naar een brondocument verwijzen, maar er niet in slagen specifieke ondersteunende bewijslast te identificeren, waardoor mogelijk documenten worden geciteerd die wel gerelateerde maar niet-ondersteunende informatie bevatten.
2. Fijnmazige citaten: Benaderingen die verwijzen naar specifieke bewijssegmenten, maar vaak tegelijkertijd documentattributie missen of moeite hebben met strikte structurele naleving.

Er is een kritiek gat in frameworks die simultaan optimaliseren voor zowel document-niveau attributie als precieze bewijssegment-identificatie, terwijl de semantische getrouwheid behouden blijft.

Methodologie: Het FullCite Framework

De auteurs introduceren FullCite, een framework ontworpen om gestructureerde inline-citaten te genereren die elke claim in een antwoord koppelen aan zowel het brondocument als een letterlijk ondersteunend bewijssegment. Het citatenformaat is strikt gedefinieerd als {doc_id: <identifier>, snippet: <verbatim text>}.

FullCite evalueert drie verschillende strategieën voor het genereren van deze gestructureerde citaten:

1. Prompt-gebaseerde Generatie: Het model krijgt via natuurlijke taalprompts de instructie om letterlijke bewijs-citaten te verstrekken na elke claim. Naleving is volledig afhankelijk van het vermogen van het model om instructies op te volgen, zonder interventie tijdens het decoderen.
2. Constrained Decoding (Beperkte Decodering): Een eindige-toestandsautomaat (Finite-State Automaton, FSA) dwingt de citatengrammatica af tijdens de inferentie. De automaat houdt de generatietoestand bij (claim, document-ID of snippet) en beperkt de volgende token tot diegene die consistent zijn met de grammatica en de letterlijke inhoud van de context. Als het model niet aan de structuur voldo than voldoet, probeert het het tot drie keer opnieuw met een hogere temperatuur.
3. Posthoc Span Alignment (Achteraf Segment-uitlijning): Het model genereert tekst vrijelijk. Vervolgens probeert het systeem het geciteerde bewijs te benaderen door het meest gelijkaardige fragment in het brondocument te vinden (gegeven een correct gegenereerde document-ID) met behulp van woord-niveau Jaccard-gelijkenis. Een gelijkenisdrempel van 0,7 wordt gebruikt om fragmenten te reconstrueren die niet woord voor woord overeenkomen.

Experimentele Opzet

Het framework werd geëvalueerd op drie benchmarks die diverse domeinen en vraagtypen beslaan:

• BioASQ: Biomedisch domein (ja/nee, factoid, samenvatting, lijst).
• ASQA: Algemene factoid-vragen.
• ExpertQA: Multi-domein vragen (32 domeinen) met door experts geannoteerde bronnen.

Omdat ASQA en ExpertQA oorspronkelijk geen fijnmazige bewijssegment-annotaties hadden, pasten de auteurs een extra annotatiestap toe met behulp van GPT-5.4-mini om atomaire bewijssegmenten te extraheren, gevalideerd tegen de gouden annotaties van BioASQ (waarbij een ROUGE-L van >90% werd behaald).

Experimenten maakten gebruik van twee open-weight LLM's: Qwen3-8B en Gemma-3-12B-it. De evaluatie mat prestaties over drie dimensies:

1. Document-niveau correctheid (Doc-F1): Nauwkeurigheid bij het citeren van het juiste brondocument.
2. Bewijssegment-identificatie (Snippet-F1): Nauwkeurigheid bij het identificeren van het precieze ondersteunende tekstfragment.
3. Claim-citatie getrouwheid: Semantische gelijkenis tussen de claim en het geciteerde segment, geëvalueerd via sentence transformers, LLM-als-Judge (GPT-5.4) en menselijke annotatie.

Belangrijkste Resultaten

1. Document- versus Segment-lokalisatie

De resultaten onthullen een aanzienlijk verschil in de capaciteiten van modellen. LLM's zijn over het algemeen effectief in het identificeren van relevante documenten (hoge Doc-F1 scores), maar worstelen met het aanwijzen van de precieze ondersteunende segmenten binnen deze documenten (lage Snippet-F1 scores).

• Baseline (Prompt-gebaseerd): Behaalde een hoge Doc-F1 (bijv. 58,08 op BioASQ) maar een zeer lage Snippet-F1 (6,18 op BioASQ).
• Posthoc Strategie: Toonde de meest substantiële winst in segment-identificatie. Voor ASQA verbeterde de Snippet-F1 van 12,80 (prompt-gebaseerd) naar 61,87 (Posthoc) met behulp van Qwen3-8B. Dit ging echter vaak gepaard met een trade-off waarbij de documentdekking licht afnam in ruil voor een hogere segmentprecisie.
• Constrained Decoding: Bood matige verbeteringen in segment-identificatie, maar was minder effectief dan de Posthoc-benadering in sommige settings.

2. Getrouwheid en Semantische Uitlijning

Er is een opgemerkte trade-off tussen strikte segment-lokalisatie en semantische getrouwheid.

• Qwen3-8B behaalde de hoogste semantische gelijkenisscores onder de baseline prompt-gebaseerde setting, waarbij de scores daalden onder de Posthoc en Constrained settings.
• Gemma-3-12B-it demonstreerde meer stabiliteit, waarbij de gelijkenisscores vaak behouden bleven of verbeterden onder de Posthoc en Constrained settings.
• Menselijke/LLM Evaluatie: Zowel menselijke annotatoren als GPT-5.4 beoordeelden citaten hoog op "Ondersteuning" en "Relevantie", waarbij de Posthoc-strategie over het algemeen de sterkste prestaties leverde. Discrepanties tussen menselijke en LLM-evaluatoren waren primair aangrenzende scores (bijv. 1 vs. 2).

3. Systematische Biases en Falen

De analyse legde twee systematische patronen bloot die de bewijsvoering ondermijnen:

• Primacy Bias (Eersteplaats-bias): In BioASQ richtten 81,8% van de citaten zich alleen op de eerste twee van de vijf contextdocumenten, wat consistent is met het "lost-in-the-middle" fenomeen.
• Citatie-omissie: Modellen lieten citaten vaak volledig weg bij binaire ja/nee-vragen, wat de baseline-scores kunstmatig opblooft. Zodra attributie werd afgedwongen, daalden deze scores, wat onthulde dat het succes van de baseline te wijten was aan een gebrek aan gronding in plaats van superieure prestaties.

4. Downstream Impact

In downstream QA-taken leverde de Posthoc FullCite setting de sterkste algehele resultaten op, met name voor BioASQ (gemiddelde winst van 19,85 punten). Hoewel prompt-gebaseerde baselines hoger scoorden op ja/nee-vragen, kwam dit door citatie-omissie. Voor factoid, samenvatting en lijst-vragen verbeterde de gronding de prestaties aanzienlijk, vooral voor korte, verifieerbare antwoorden.

Betekenis en Claims

Het artikel beweert dat FullCite het enige framework is dat simultaan optimaliseert voor zowel document-niveau als bewijssegment-attributie, terwijl het concurrerende semantische gelijkenisscores behoudt.

• Gezamenlijke Dekking: In tegen tegenstelling tot voorgaande werken die zich richten op ofwel documentreferenties of bewijssegmenten, biedt FullCite een gebalanceerde aanpak voor getrouwe, geattribueerde QA.
• Segment-identificatie Kloof: Het werk benadrukt dat de primaire bottleneck in getrouwe attributie niet documentretrieval is, maar de precieze identificatie van bewijssegmenten.
• Methodologische Inzicht: De studie toont aan dat het afdwingen van een strikte structuur (via constrained decoding) of het benaderen van segmenten na de generatie (Posthoc) leidt tot betere bewijsvoering dan het enkel vertrouwen op prompt-gebaseerde generatie, hoewel dit ten koste kan gaan van de semantische uitlijning afhankelijk van het model.

De auteurs concluderen dat het bereiken van getrouwe, geattribueerde QA een verschuiving vereist in de onderzoeksfocus van document-niveau retrieval naar precieze bewijssegment-identificatie en evaluatiemethoden die het onderscheid kunnen maken tussen oppervlakkige gelijkenis en werkelijke ondersteuning.

Limitaties

De auteurs erkennen verschillende beperkingen:

• Domeinomvang: De bevindingen zijn gebaseerd op biomedische, algemene en multi-domein datasets en worden mogelijk niet overdraagbaar naar juridische of financiële domeinen.
• Modelomvang: Experimenten waren beperkt tot twee open-weight modellen; patronen kunnen verschillen voor grotere of propriëtaire modellen.
• Evaluatiemetrieken: Automatische metrieken (Doc-F1, Snippet-F1) zijn proxies en vatten implicatie niet volledig; de menselijke evaluatie was beperkt in omvang.
• Niet-behandelde Biases: Het framework mitigeert niet expliciet de primacy bias of de neiging om citaties weg te laten bij binaire vragen.
• Training: De studie heeft niet onderzocht of modellen specifell voor gezamenlijke document- en segment-citatiegeneratie gefinetuned kunnen worden.