Technische Samenvatting: TIGER

Probleemstelling

Het paper behandelt faithfulness hallucination (getrouwheidshallucinatie) in multimodale generatie, waarbij een vloeiende output specifieke feiten bevat die niet door de input worden ondersteund (bijv. een afbeelding van twee vrachtwagens die wordt beschreven als drie). Terwijl bestaande iteratieve herstelmethoden proberen deze fouten te corrigeren door feedback te genereren die geconditioneerd is op zowel de input als de huidige output, identificeren de auteurs een kritieke faalmodus: spuriouse correlaties (schijncorrelaties). Wanneer een feedbackgenerator gezamenlijk conditioneert op de input en de gehallucineerde output, kunnen de gehallucineerde claims de interpretatie van het model van de input beïnvloeden, waardoor de feedback de niet-ondersteunde inhoud eerder bekrachtigt dan signaleert als foutief. Bovendien produceren bestaande methoden vaak vrije tekstuele feedback, die geen expliciete risicoscores op feilniveau bevat, wat het moeilijk maakt om reparaties te prioriteren onder een beperkt rekenbudget.

Methodologie: TIGER

TIGER (Traceable Inference with Graph-Based Evidence Routing) is een framework voor inferentie die is ontworpen om hallucinaties te verminderen door het feedbackmechanisme te herontwerpen. Het werkt op een frozen backbone model en bestaat uit drie kerncomponenten:

1. Onafhankelijke Atomaire Projectie:
   In plaats van de input en output gezamenlijk te verwerken, extraheert TIGER ze onafhankelijk in gestructureerde factengrafen:

   • Observatie-graaf ($G_X$): Geëxtraheerd uit de input ($X$) met behulp van een prompt die observeerbare feiten extraheert als triples $(e_1, rel, e_2)$. Deze graaf wordt één keer berekend en blijft vaststaand.
   • Claim-graaf ($G_{Y_t}$): Geëxtraheerd uit de huidige output ($Y_t$) met behulp van dezelfde atomaire extractieprompt.
     Deze scheiding voorkomt dat gehallucineerde claims in de output de extractie van feiten uit de input beïnvloeden.

2. Deterministische Risicoranking op Feilniveau:
   TIGER berekent een risicoscore $r(f)$ voor elke claim $f$ in $G_{Y_t}$ op basis van de relatie met $G_X$:

   • Support Score ($s(f)$): Meet de gelijkenis tussen een claim en het best passende feit in $G_X$. Om extractie-omissies op te vangen, wordt deze score langs coreferentie-edges in $G_{Y_t}$ gepropageerd met geometrische afname.
   • Conflict Score ($c(f)$): Meet de sterkste tegenstrijdigheid tussen een claim en $G_X$, gedefinieerd door topicconsistentie en conclusiedivergentie.
   • Risicoberekening: $r(f) = (1 - s(f)) + \lambda \cdot c(f)$.
     Omdat de scoring deterministisch is, kan het systeem claims rangschikken en een specifieke subset (top-$\lceil \alpha N \rceil$) selecteren voor reparatie, wat scheduling op feilniveau mogelijk maakt.

3. Gelokaliseerde Verfijning:
   Het model voert een iteratieve reparatie uit waarbij alleen de geselecteerde hoog-risico claims worden aangepakt. De verfijningsstap ($Y_{t+1} = \Phi(P_{refine}, X, Y_t, F_t)$) gebruikt de ruwe input $X$ en de huidige output $Y_t$ om de gemarkeerde spans lokaal te repareren, terwijl de backbone bevroren blijft.

Theoretische Garantie:
Het paper biedt een convergentieanalyse (Theorem 3.1) die aantoont dat onder milde assumpties (begrensde grafengrootte, progressie per feit, begrensde bijeffecten), de verwachte totale risico geometrisch afneemt naar een expliciete asymptotische grens.

Belangrijkste Bijdragen

1. Identificatie van Feedback Faalmodi: De auteurs demonstreren dat gezamenlijke conditionering in feedbackgeneratie toestaat dat gehallucineerde claims de interpretatie van de input beïnvloeden, wat leidt tot de versterking van fouten.
2. TIGER Framework: Een nieuw framework voor inferentie dat vrije vorm gezamenlijke feedback vervangt door onafhankelijke atomaire projectie en deterministische risicoranking. Dit maakt feedback expliciet, rangschikbaar en geschikt voor gelokaliseerde reparatie.
3. Uitgebreide Evaluatie: TIGER wordt geëvalueerd over vier cross-modale generatiepaden:
   • Beeld $\to$ Tekst (COCO, AMBER)
   • Beeld+Tekst $\to$ Tekst (MMHal-Bench)
   • Audio $\to$ Tekst (Clotho)
   • Video $\to$ Tekst (VideoHallucer)
     Het framework gebruikt Qwen2.5-Omni als primaire backbone, met validatie op LLaVA-1.5 en propriëtaire modellen.

Experimentele Resultaten

• Reductie van Hallucinaties: TIGER vermindert consistent niet-ondersteunde claims (gemeten via metrieken zoals CHAIR, AEHR en HallucRate) over alle modaliteiten heen. Bijvoorbeeld, op COCO met Qwen2.5-Omni verminderde het CHAIRs van 0.070 naar 0.050 en CHAIRi van 0.069 naar 0.035.
• Kwaliteitsbehoud: In tegenstelling tot sommige baselines die vloeiendheid opofferen voor nauwkeurigheid, behoudt of verbetert TIGER de taakkwaliteit (bijv. BERTScore steeg van 0.588 naar 0.643 op COCO).
• Ablatie-studies:
  • Iteratieve reparatie alleen (zonder onafhankelijke extractie) verslechterde de prestaties door hallucinaties te versterken.
  • Het toevoegen van atomaire projectie herstelde de prestaties.
  • Het toevoegen van deterministische risicoranking leverde de beste resultaten op, wat bevestigt dat alle drie de componenten noodzakelijk zijn.
• Mechanisme-analyse: Experimenten toonden aan dat atomaire projectie het vermeldingspercentage van afwezige objecten in de feedback vermindert (van 5.0% in gezamenlijke feedback naar 2.0% in TIGER). Daarnaast slaagde de verfijningsstap erin correcte feiten te herstellen die tijdens de initiële extractie van de input-graaf waren gemist.
• Real-World Case Study: In een multi-source crisisrapportagescenario (CrisisFACTS) verbeterde TIGER de precisie van 0.65 naar 0.96 en de F1 van 0.66 naar 0.74, wat de capaciteit demonstreert om samenvattingen te funderen in ruisgevoelige, multi-source bewijslast.

Betekenis en Claims

Het paper beweert dat TIGER een robuuste oplossing biedt voor het "feedback bias"-probleem in iteratieve multimodale reparatie. Door de observatie van de input te ontkoppelen van de extractie van claims uit de output en een deterministische, rangschikbare risicometriek te introduceren, maakt TIGER precieze, gelokaliseerde reparaties mogelijk zonder de noodzaak voor model fine-tuning. De auteurs stellen dat deze aanpak generaliseert over verschillende backbones en modaliteiten, waardoor hallucinaties effectief worden verminderd terwijl de bruikbaarheid van de gegenereerde inhoud behouden blijft. Het werk suggereert dat gestructureerde, graaf-gebaseerde evidence routing een levensvatbaar pad is naar meer getrouwe multimodale generatie in real-world, ruisgevoelige omgevingen.

Genoteerde Beperkingen:
De auteurs erkennen dat TIGER zich richt op gelokaliseerde feitelijke triples, wat minder direct kan zijn voor abstracte, causale of subjectieve inhoud. Daarnaast voegt het iteratieve karakter extra rekenkracht toe tijdens de inferentie, wat wijst op een behoefte aan toekomstig onderzoek naar efficiëntere scheduling-strategieën voor real-time implementatie.