Technische Samenvatting: Selectieve Abstractie voor Betrouwbare Tekstgeneratie op Lange Termijn

Probleemstelling

Grote taalmodellen (LLM's) zijn vatbaar voor feitelijke fouten, wat het gebruikersvertrouwen ondermijnt en de adoptie in kritieke domeinen zoals de gezondheidszorg en de juridische sector beperkt. Hoewel mechanismen voor onzekerheidsinschatting bestaan om dit te verzachten, vertrouwen huidige benaderingen op een binaire "alles-of-niets"-beslissing: ofwel het model genereert een antwoord, ofwel het onthoudt zich volledig van een antwoord. Deze binaire benadering is excessief restrictief voor generatie op lange termijn. Lange reacties bevatten vaak talrijke feitelijke beweringen met variërende niveaus van onzekerheid; het volledig afzien van een hele generatie vanwege één onzeker detail betekent dat waardevolle informatie verloren gaat. Omgekeerd brengt het genereren van de volledige tekst zonder aanpassingen het risico met zich mee dat hallucinaties worden opgenomen. Het artikel identificeert een cruciale behoefte aan een fijnmazige aanpak die modellen in staat stelt om specificiteit in te ruilen voor betrouwbaarheid zonder volledige reacties weg te gooien.

Methodologie: Selectieve Abstractie (SA)

De auteurs introduceren Selectieve Abstractie (SA), een framework dat LLM's in staat stelt om de detailgraad van onzekere inhoud te verminderen in plaats deze volledig te verwijderen. De kern van het idee is het vervangen van claims met een lage vertrouwensgraad door abstracties met een hogere vertrouwensgraad die minder specifiek zijn.

Formalisering van het Framework

SA wordt geformaliseerd via de lenzen van selectief risico en dekking:

• Risico: Gedefinieerd als de snelheid van feitelijke fouten (hallucinaties) in de gegenereerde tekst.
• Dekking: Gedefinieerd als het deel van de behouden informatie ten opzichte van de oorspronkelijke generatie.
• Trade-off: Door een vertrouwensdrempel $\theta$ te variëren, induceert SA een trade-off-curve waarbij hogere drempels het risico verlagen (door abstractie te verhogen) maar ook de dekking verminderen (door specificiteit te verwijderen).

Atoom-gewijze Selectieve Abstractie

Het artikel stelt een specifieke instantie voor genaamd Atoom-gewijze Selectieve Abstractie, die op claim-niveau opereert via een vierfasige pijplijn:

1. Generatie: Het LLM genereert een initiële reactie $T$ op een prompt $p$.
2. Atomisering: De reactie wordt gedecomposed in atomaire claims (atomen). Dit zijn korte, zelfstandige beweringen, waarbij elke bewering een enkel feit uitdrukt (bijv. "Amelia Earhart werd geboren in Atchison, Kansas").
3. Abstractie: Dit is de kern van de verwerkingsfase, bestaande uit drie stappen:
   • Vertrouwensoproging (Confidence Elicitation): Het model wijst een vertrouwensscore toe aan elk atoom.
   • Abstractiegeneratie: Voor atomen met een vertrouwensniveau onder een drempel $\theta$, genereert het model een sequentie van steeds algemenere abstracties (bijv. "Atchison, Kansas" $\to$ "Kansas" $\to$ "Midwestern US" $\to$ "US"). De sequentie eindigt met volledige onthouding ($\top$).
   • Selectie: Het model wijst vertrouwensscores toe aan de abstractiesequentie. Het selecteert de meest specifieke abstractie in de sequentie die voldoet aan de vertrouwensdrempel $\theta$. Als geen enkele abstractie aan de drempel voldoet, wordt het atoom weggelaten.
4. Reconstructie: De geselecteerde abstracties worden gereconstrueerd tot een coherente tekst $T'$.

Evaluatiepijplijn

Om SA te evalueren, hebben de auteurs een end-to-end pijplijn ontwikkeld voor open-ended feitelijke generatie:

• Risicometing: Gebruikt een agentic fact-checking systeem dat atomaire claims verifieert tegen Wikipedia. Een claim wordt gelabeld als "onderbouwd" als er bewijs wordt gevonden, anders is deze "niet-onderbouwd". Risico wordt berekend als $1 - \text{nauwkeurigheid}$.
• Dekkingsmeting: Gebruikt een informatietheoretische maatstaf. De informatie-inhoud van een claim wordt gekwantificeerd door de reductie in entropie die het biedt met betrekking tot de set compatibele entiteiten (bijv. "geboren in Londen" is informatiever dan "geboren in Europa" omdat het de set mensen meer significant verkleint). Dekking is de ratio van de behouden informatie in $T'$ ten opzichte van die in $T$.
• Metrieken: Prestaties worden samengevat met behulp van Risk-Coverage (RC) curves en de Area Under the Risk-Coverage Curve (AURC). Een lagere AURC duidt op een betere trade-off.

Belangrijkste Bijdragen

1. Selectieve Abstractie Framework: Een algemeen framework voor het ruilen van specificiteit voor betrouwbaarheid in tekstgeneratie op lange termijn, geformaliseerd via selectief risico en dekking.
2. Atoom-gewijze Instantie: Een procedure op claim-niveau die onzekere claims selectief vervangt door abstracties met een hogere vertrouwensgraad in plaats van ze te verwijderen.
3. Evaluatiepijplijn: Een nieuwe end-to-end pijplijn voor open-ended generatie die risico instantiëert via feitelijke juistheid en dekking via een informatietheoretische maatstaf van behouden inhoud.
4. Empirische Validatie: Demonstraties over zes open-source LLM's en twee benchmarks (FactScore en LongFact-Objects) die consistente verbeteringen laten zien ten opzichte van baselines.
5. Drempelselectie-algoritme: Een risicogestuurd algoritme gebaseerd op split conformal prediction om vertrouwensdrempels te selecteren die met een hoge waarschijnlijkheid voldoen aan door de gebruiker gedefinieerde doelrisico's.

Resultaten

De auteurs evalueerden de methode op zes open-source modellen (inclusief GPT-OSS, Qwen3 en Llama 3.3) met behulp van de FactScore en LongFact-Objects benchmarks.

• Prestaties t.o.v. Baselines: Atoom-gewijze SA presteerde consequent beter dan bestaande baselines, waaronder Selectieve Redactie (het volledig verwijderen van onzekere atomen), Inline Abstractie (genereren met een grovere granulariteit vanaf het begin) en Zelfrevisie (post-hoc herschrijven).
• AURC Verbeteringen: Atoom-gewijze SA verbeterde de AURC met maximaal 27,73% ten opzichte van claimverwijdering (Redactie) op de FactScore benchmark. Gemiddelde verbeteringen waren 17,43% op FactScore en 13,77% op LongFact.
• Risico-Dekking Trade-off: De methode bereikte een gladdere trade-off-curve en domineerde de baselines over het volledige dekkingsbereik. Bij gelijkwaardige dekking bereikte Atoom-gewijze SA een aanzienlijk lager risico (gemiddelde kloof van ~10 procentpunten) vergeleken met de Inline en Zelfrevisie baselines.
• Drempelselectie: Het voorgestelde algoritme slaagde erin om drempels te selecteren die het empirische risico dicht bij de door de gebruiker gedefinieerde doelrisico's hielden over verschillende modellen en datasets.

Betekenis en Claims

Het artikel betoogt dat betrouwbaarheid in generatie op lange termijn geen binaire keuze is tussen antwoorden en onthouden, maar een spectrum van specificiteit versus correctheid. De betekenis van dit werk ligt in het aantonen dat het verminderen van specificiteit de nauwkeurigheid en betrouwbaarheid kan vergroten terwijl de oorspronkelijke betekenis grotendeels behouden blijft.

Door te opereren op het niveau van individuele claims, vermijdt de voorgestelde methode het abrupte informatieverlies dat gepaard gaat met het verwijderen van hele zinnen of claims. In plaats daarvan biedt het gerichte, claim-specifieke controle over onzekerheid. De auteurs positioneren Selectieve Abstractie als een stap naar generatieparadigma's die expliciet redeneren over de passende hoeveelheid detail in een reactie, waarbij zij suggereren dat in kritieke situaties minder specifieke reacties te prefereren zijn boven zelfverzekerde fouten.

Het artikel blijft bescheiden over toekomstige richtingen, waarbij wordt opgemerkt dat de kwaliteit van abstractie sterk afhangt van de confidence scoring functie (geverbaliseerde vertrouwensscores bleken superieur aan log-prob-gebaseerde scores) en dat het modelleren van afhankelijkheden tussen claims (in plaats van ze als onafhankelijk te behandelen) de resultaten verder zou kunnen verbeteren.