Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation

Technische Samenvatting: Factuality-Controlled Generation (FCG)

1. Probleemstelling

Large Language Models (LLMs) bezitten interne kennis met variërende gradaties van betrouwbaarheid, wat een inherent compromis creëert tussen feitelijkheid (accuratesse) en informativiteit (detailniveau). In scenario's met hoge inzet (bijv. medisch, juridisch) vereisen gebruikers conservatieve, zeer feitelijke outputs, terwijl creatieve of brainstormtaken vaak prioriteit geven aan rijke inhoud, ondanks potentiële feitelijke risico's.

Huidige frontier LLM's missen een ingebouwd mechanisme om dit compromis te controleren. Hoewel gebruikers proberen het gedrag te sturen via prompts (bijv. "wees feitelijker"), laten empirische bevindingen zien dat deze modellen niet betrouwbaar hun outputs aanpassen om aan specifieke feitelijkheidstargets te voldoen. Bestaande evaluatiebenchmarks zoals FactScore onthullen dat standaardmodellen vaak niet in staat zijn om zelfs matige tot strikte feitelijkheidsrestricties te voldoen, wat de noodzaak voor een controleerbaar alternatief creëert dat gebruikers in staat stelt een gewenst feitelijkheidsniveau te specificeren.

2. Methodologie: Factuality-Controlled Generation (FCG)

De auteurs stellen Factuality-Controlled Generation (FCG) voor, een framework waarbij een LLM een query en een numerieke feitelijkheidsrestrictie $c \in [0, 1]$ als input krijgt, en een respons genereert waarbij het proportie ondersteunde feitelijke beweringen voldoet aan of hoger is dan $c$, terwijl de informativiteit wordt gemaximaliseerd.

A. Synthetische Data Generatie Pipeline
Omdat er geen bestaande gelabelde dataset bestaat voor (vraag, feitelijkheidsrestrictie, gouden respons) triples, introduceren de auteurs een confidence-guided synthetische pipeline om trainingsdata te construeren:

1. Initiële Generatie: Een basismodel genereert een ongeconstrueerde, gedetailleerde respons ($r_0$) voor een gegeven vraag.
2. Feit Segmentatie: De respons wordt gesegmenteerd in atomaire feitelijke beweringen.
3. Confidence Scoring: Het model wordt geprompt om de betrouwbaarheid (confidence) van elk atomaire feit te evalueren (bijv. "Is dit Waar of Onwaar?"), waarbij een waarschijnlijkheidsscore wordt afgeleid.
4. Iteratieve Pruning: Feiten worden gerangschikt op basis van confidence. Om aan een doelrestrictie $c$ te voldoen, verwijdert het systeem progressief de feiten met de laagste confidence totdat de resterende subset voldoet aan de feitelijkheidsdrempel.
5. Reconstructie: De resterende hoog-betrouwbare feiten worden samengevoegd tot een vloeiende respons, waarbij de oorspronkelijke formulering zoveel mogelijk behouden blijft.
   Dit proces wordt herhaald over een reeks $c$-waarden (bijv. 0.1 tot 1.0) om uitgelijnde antwoordsets te creëren voor supervised fine-tuning.

B. Training en Inferentie
De auteurs fine-tunen een Mistral-7B model op de synthetische $(question, c, response)$ triples. Tijdens inferentie wordt het model geconditioneerd op het door de gebruiker gespecificeerde feitelijkheidsniveau $c$, waardoor het zijn output dynamisch kan aanpassen om aan de restrictie te voldoen zonder dat iteratieve filtering of post-hoc re-ranking vereist is.

C. Evaluatiemetrieken
Prestaties worden geëvalueerd op twee assen met behulp van FactScore:

• Factuality Adherence: De proportie generaties waarbij de feitelijkheidsscore $f(o) \ge c$.
• Informativeness: Het aantal gevalideerde atomaire beweringen in de output, genormaliseerd door lengte.

3. Belangrijkste Bijdragen

• Taakdefinitie: Introductie van FCG als een controleerbare generatietaak die LLM-outputs conditioneert op een door de gebruiker gespecificeerde feitelijkheidsdrempel.
• Synthetisch Trainingsframework: Ontwikkeling van een nieuwe pipeline om trainingsdata te genereren door systematisch feiten met een lage confidence te verwijderen uit ongeconstrueerde generaties, wat het supervised leren van de feitelijkheid-informativiteit trade-off mogelijk maakt.
• Empirische Validatie: Demonstratie dat fine-tuning op deze synthetische data de prompting-gebaseerde baselines significant overtreft in het naleven van feitelijkheidsrestricties.

4. Resultaten

Experimenten werden uitgevoerd op een biografie-generatietaak met 500 entiteiten (450 training, 50 validatie, 183 test).

• Factuality Adherence:

  • Prompting Baselines: Standaard prompting (Factuality-Controlled Inference, FCI) slaagde er niet in de naleving te verbeteren; in sommige gevallen (bijv. $c=0.9$) daalde de naleving vergeleken met de ongeconstrueerde baseline (3.8% vs. 5.5%).
  • FCG Training: Het gefinetunede model vertoonde substantiële verbeteringen. De naleving nam toe met 17.2% bij $c=0.8$ en 130.0% bij $c=0.9$ ten opzichte van de baseline.
  • Strikte Restricties: Op het strengste niveau ($c=1.0$, waarbij alle informatie correct moet zijn), bereikten de baseline en FCI-methoden 0% naleving, terwijl het FCG-model 23.6% bereikte.

• Factuality–Informativeness Trade-off:

  • Het FCG-model verschuift de trade-off frontier naar buiten. Voor elk gegeven feitelijkheidsniveau produceert FCG responsen met een hogere informativiteit (meer ondersteunde feiten) dan de baselines.
  • Opvallend genoeg, bij $c=1.0$, leverde het FCG-model niet-lege, volledig feitelijke responsen, terwijl de inferentie-baseline effectief alle inhoud moest wegfilteren om hallucinaties te voorkomen, wat resulteerde in nul informativiteit.

5. Betekenis en Claims

Het artikel claimt dat FCG een betrouwbaar mechanisme biedt voor gebruikers om de balans tussen feitelijkheid en informativiteit van LLM-outputs aan te passen aan specifieke applicatiebehoeften. Door de trade-off te internaliseren via supervised training op synthetische data, leert het model om "de minst zekere details te laten vallen maar de rest te behouden" wanneer een hoge feitelijkheid wordt gevraagd.

De auteurs positioneren dit werk als een stap naar meer betrouwbare en flexibele LLM's, met name voor kennisintensieve taken. Ze benadrukken dat hun methode de controleerbaarheid verbetert zonder de computationele overhead van post-hoc filtering of rejection sampling die in andere frameworks wordt gebruikt.

Erkende Beperkingen:

• De studie is momenteel beperkt tot het Engels en biografie-generatietaken.
• Experimenten werden uitgevoerd op een middelgroot model (Mistral-7B); de schaalbaarheid naar grotere state-of-the-art architecturen blijft ongetest.
• De toepasbaarheid van het framework op andere talen en complexe generatieve taken (bijv. multimodale begrijping) vereist verder onderzoek.