🤖 machine learning

FLaG: Fine-Grained Latent Grouping for Hallucination Detection

FLaG is een lichtgewicht, frozen-model framework dat LLM-hallucinaties detecteert door ze te modelleren als heterogene faalmechanismen via energiegebaseerde latente bewijsgroepering en principiële log-marginale aggregatie, waarmee het state-of-the-art prestaties bereikt over diverse benchmarks zonder het onderliggende model aan te passen.

Oorspronkelijke auteurs: Wentao Ye, Liyao Li, Zhiqing Xiao, Muzhi Zhu, Jiaqi Hu, Zhanming Shen, Xiaomeng Hu, Sean Du, Haobo Wang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wentao Ye, Liyao Li, Zhiqing Xiao, Muzhi Zhu, Jiaqi Hu, Zhanming Shen, Xiaomeng Hu, Sean Du, Haobo Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die het essay van een leerling nakijkt. Soms schrijft de leerling iets dat perfect klinkt, prachtig vloeit en indrukwekkende woorden gebruikt, maar de feiten zijn volledig verzonnen. Dit noemen we een "hallucinatie" bij Large Language Models (LLM's).

Het probleem is dat deze "nep" antwoorden niet allemaal hetzelfde zijn. Sommige leugens ontstaan omdat het model in de war is over de feiten; anderen omdat het de gebruiker te veel wil pleasen; en andere omdat het simpelweg wild aan het gokken is.

De Oude Manier: De Eenheidsworst-Detective
Eerdere methoden probeerden deze leugens te vangen met één enkele "leugendetector". Ze keken naar één ding—zoals hoe zelfverzekerd het model klonk of hoe vreemd het laatste woord was—en gaven het hele antwoord één enkele score.

Het Gebrek: Het is alsof je probeert elke dief te vangen met één enkele metaaldetector. Als een dief een pistool verbergt, piept de detector. Als hij een mes verbergt, misschien niet. Als hij een bom verbergt, kan de detector volledig doorslaan. Omdat hallucinaties in zoveel verschillende "smaken" voorkomen, mist een enkele score vaak de subtiele varianten of raakt deze in de war.

De Nieuwe Manier: FLaG (Fine-Grained Latent Grouping)
De auteurs van dit artikel stellen een nieuw systeem voor genaamd FLaG. In plaats van één detective te gebruiken, gebruiken ze een team van specialisten, die elk naar een ander type fout kijken.

Zo werkt FLaG, met behulp van eenvoudige analogieën:

1. Aanwijzingen verzamelen uit twee verschillende bronnen

Voordat er een oordeel wordt gevormd, bekijkt FLaG het werk van het model vanuit twee hoeken:

De "Geometrische" Aanwijzing: Stel je de gedachten van het model voor als een kaart. FLaG controleert of het uiteindelijke antwoord in de juiste buurt ligt ten opzichte van de vraag. Is het model ver afgedwaald van het oorspronkelijke onderwerp?
De "Probabilistische" Aanwijzing: Dit kijkt naar de interne zelfverzekerdheid van het model. Stamelde het model over bepaalde woorden? Was het onzeker? Of was het overdreven zelfverzekerd over iets wat niet waar zou moeten zijn?

2. Het "Zachte" Sorteersysteem (De Latente Groepen)

Dit is de kern van de magie. FLaG dwingt een antwoord niet in één hokje. In plaats daarvan gebruikt het een soft routing systeem.

De Analogie: Stel je een triageverpleegkundige in een ziekenhuis voor. Wanneer een patiënt binnenkomt, zegt de verpleegkundige niet alleen "Ziek" of "Niet Ziek." De verpleegkundige vraagt: "Is het een gebroken been? Een koorts? Of een buikpijn?"
Hoe FLaG het doet: Het kijkt naar de aanwijzingen en zegt: "Dit antwoord lijkt voor 60% op een 'feitenfabricage'-fout, voor 30% op een 'logische tegenstrijdigheid'-fout, en voor 10% op een 'verwarde context'-fout." Het kiest niet zomaar één; het erkent dat het antwoord een mix van verschillende problemen kan zijn.

3. De Stemming van het "Expertpanel"

Zodra het antwoord in deze verschillende "groepen" (of fouttypen) is gesorteerd, vraagt FLaG een specifieke expert voor elke groep: "Op basis van de aanwijzingen voor dit specifieke type fout, hoe waarschijnlijk is het dat dit een leugen is?"

Groep A (Fe factencheckers) zegt: "Dit ziet er nep uit."
Groep B (Logica-controleurs) zegt: "Dit ziet er oké uit."
Groep C (Zelfverzekerdheid-controleurs) zegt: "Dit ziet er verdacht uit."

4. Het Eindvonnis (Log-Marginal Aggregation)

In plaats van alleen het gemiddelde van deze meningen te nemen (wat de waarheid zou kunnen wegwassen), gebruikt FLaG een speciale wiskundige formule om ze te combineren.

De Analogie: Denk hierbij aan een jury. Als zelfs één expert zegt: "Ik weet voor 99% zeker dat dit een leugen is vanwege het specifieke patroon dat ik zie," dan moet de hele jury heel voorzichtig zijn. FLaG weegt de meningen zo dat als elke specialist een duidelijk patroon van liegen signaleert, de eindscore die gevaar reflecteert.

Waarom is dit beter?

Het is Flexibel: Omdat het niet op één enkele regel vertrouwt, werkt het goed, zelfs als het model verandert of het onderwerp verandert. Het is als het hebben van een team detectives dat kan aanpassen aan nieuwe soorten misdrijven, in plaats van een robot die alleen weet hoe hij één specifiek wapen moet herkennen.
Het Heeft Minder Data Nodig: Het artikel laat zien dat FLaG goed werkt, zelfs als je niet over een enorme hoeveelheid "gelabelde" data beschikt (antwoorden waarvan we al weten of ze waar of onwaar zijn). Het kan de verschillende "groepen" fouten zelfstandig ontdekken.
Het is Snel en Lichtgewicht: Het heeft geen her-training van het gigantische AI-model nodig. Het is als het toevoegen van een slim "post-it"-systeem bovenop het bestaande model om het werk te controleren, zonder de manier waarop het model denkt te veranderen.

De Kernboodschap

Het artikel beweert dat door toe te geven dat "hallucinaties rommelig zijn en in veel vormen voorkomen", en door een systeem te bouwen dat antwoorden in deze verschillende vormen kan sorteren voordat ze worden beoordeeld, we een veel betrouwbaardere manier krijgen om leugens in AI te detecteren. Het beweegt weg van de vraag "Is dit antwoord fout?" naar de vraag "Wat voor soort fout is dit, en ziet die specifieke soort er gevaarlijk uit?"

Technische Samenvatting: FLaG – Fine-Grained Latent Grouping voor Hallucinatie-detectie

1. Probleemformulering

Large Language Models (LLM's) produceren regelmatig hallucinaties—outputs die vloeiend zijn maar feitelijk onjuist. De kern van de uitdaging die in dit werk wordt aangepakt, is dat hallucinaties niet voortkomen uit één enkele, homogene foutmodus. In plaats daarvan ontstaan ze uit diverse mechanismen die zich manifesteren als heterogene patronen in representatie-signalen, token-niveau waarschijnlijkheidssporen en generatiedynamiek.

Bestaande detectiemethoden vertrouwen vaak op één globale onzekerheidsscore of een monolithische classifier die getraind is op een verenigd beeld van bewijslast. De auteurs stellen dat dergelijke benaderingen impliciet een homogene opvatting van hallucinatie veronderstellen, wat leidt tot een broze prestatie bij datasetverschuivingen of variërende generatieregimes. Het artikel stelt dat betrouwbare detectie vereist dat hallucinatie niet louter als een classificatieprobleem wordt behandeld, maar als een bewijsaggregatieprobleem onder latente mechanisme-onzekerheid. Het doel is om een betrouwbaarheidsscore te leren die heterogene bewijsbronnen aggregeert terwijl deze invariant blijft voor beslissingsdrempels en evaluatiemetrieken.

2. Methodologie: FLaG-framework

Het voorgestelde FLaG (Fine-Grained Latent Grouping) framework is een lichtgewicht, bevroren model-head die geen aanpassingen vereist aan de onderliggende LLM. Het werkt via drie primaire stadia:

2.1 Multi-View Bewijsrepresentatie

FLaG extraheert complementair bewijs uit twee verschillende bronnen met betrekking tot een prompt $q$ en gegenereerde output $a$ :

Latente Geometrische Signalen ( $\psi(x)$ ): De geconcateneerde sequentie $q \oplus a$ wordt teruggevoerd in de bevroren LLM. Het framework berekent mean-pooled verborgen toestanden voor de prompt ( $\bar{h}_q$ ) en de output ( $\bar{h}_a$ ), samen met de residuele drift ( $\bar{h}_a - \bar{h}_q$ ) en de verborgen toestand van het laatste token ( $h_{end}$ ). Dit vangt semantische drift en absolute coördinatinformatie op.
Probabilistische Sporsignalen ( $\phi(x)$ ): Een set trace-functionals wordt geëxtraheerd uit de token-niveau log-waarschijnlijkheden, inclus_ief gemiddelde, minimum en standaarddeviatie van log-probs, predictieve entropie, logit-marge, en een tail-frequency functional die laag-waarschijnlijke uitschieters telt.

Deze twee typen bewijs worden geprojecteerd in een gedeelde latente ruimte en gefuseerd via een Multi-Layer Perceptron (MLP) om een verenigde representatie $r(x)$ te vormen.

2.2 Groep-bewuste Redenering

In plaats van $r(x)$ direct naar een score te mappen, introduceert FLaG $K$ latente bewijsgroepen, waarbij elke groep een specifieke hallucinatiemechanisme vertegenwoordigt.

Prototype-gebaseerde Allocatie: Elke groep $g$ wordt gedefinieerd door een leerbaar prototype-vector $c_g$ . Een energie-gebaseerd routingmechanisme berekent de compatibiliteit $\alpha_g(x)$ tussen het bewijs $r(x)$ en prototype $c_g$ .
Soft Routing: De routingverdeling $\pi_g(x)$ wordt berekend met behulp van een Boltzmann-vorm met een temperatuurparameter $\tau$ , waardoor instanties zachtjes geassocieerd kunnen worden met meerdere groepen. Deze verdeling fungeert als een benaderende posterior van de mate waarin een instantie tot een specifieke latente mechanisme behoort.
Groep-conditionele Scoring: Elke groep $g$ heeft een bijbehorende lineaire scorefunctie $s_g(x) = w_g^T r(x) + b_g$ . Verschillende groepen worden getraind om verschillende dimensies van het bewijs te benadrukken, wat verschillende foutmodi reflecteert.

2.3 Log-Marginale Bewijsaggregatie

De uiteindelijke waarheidsgetrouwheidsscore $s(x)$ wordt verkregen door groep-conditionele signalen te aggregeren via een log-marginale aggregatieregel:
$s(x) = \log \sum_{g=1}^{K} \pi_g(x) e^{s_g(x)}$
Deze formulering aggregeert effectief over concurrerende latente mechanismen in plaats van zich vast te leggen op één enkele verklaring. De uiteindelijke binaire voorspelling wordt gemaakt door $s(x)$ te drempelen (bijv., $G(x) = \mathbb{I}[s(x) \geq 0]$ ).

2.4 Leermetode

Het framework ondersteunt supervised, weakly supervised en semi-supervised leren:

Supervised Objectief: Een margin-gebaseerde ranking loss moedigt aan dat waarheidsgetrouwe instanties hogere scores krijgen dan gehallucineerde instanties binnen gelabelde paren.
Semi-Supervised Objectief: Voor ongelabelde data identificeert het model hoog-betrouwbare instanties voor elke groep en dwingt een consistente relatieve ordening af binnen die groepen. Dit verfijnt de latente groepsstructuur zonder expliciete pseudo-labels te vereisen.

3. Theoretische Analyse

Het artikel biedt een theoretische rechtvaardiging die FLaG verbindt met optimale hypothesetests.

Bayes-Optimale Statistiek: Onder een mixture-of-mechanisms model waarbij data wordt gegenereerd uit een mengeling van groep-conditionele distributies, bewijzen de auteurs dat de Bayes-optimale log-likelihood ratio (LLR) voor het detecteren van waarheidsgetrouwheid noodzakelijkerwijs een log-marginale vorm aanneemt over mechanisme-geconditioneerd bewijs.
Approximatie: Er wordt aangetoond dat FLaG een hanteerbare, leerbare benadering is van deze optimale statistiek. De routingverdeling $\pi_g(x)$ benadert de onhandelbare posterior, en de groepsscores $s_g(x)$ benaderen de groep-geconditioneerde log-likelihood ratio's.
Foutgrens: De auteurs demonstreren dat naarmate het aantal latente groepen $K$ toeneemt, de benaderingsfout ten opzichte van de Bayes-optimale statistiek polynomiaal afneemt ( $O(K^{-1/d})$ ), wat een controleerbare foutgrens biedt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op vier benchmarks (TruthfulQA, TriviaQA, CoQA, TyDiQA-GP) met twee LLM backbones (LLaMA-3-8B-Instruct en Qwen2.5-7B-Instruct).

Prestaties: FLaG bereikt State-of-the-Art (SOTA) prestaties en presteert beter dan 17 baselines (inclusief training-vrije methoden zoals Semantic Entropy en training-gebaseerde probes zoals SAPLMA en HaloScope). Onder volledige supervisie verbeterde FLaG de AUROC met 3,03% en 3,60% ten opzichte van de beste baselines op de twee backbones.
Semi-Supervised Robuustheid: Zelfs met slechts 20% gelabelde data presteerde FLaG beter dan de meeste volledig gesuperviseerde concurrenten, wat de effectiviteit onder beperkte supervisie aantoont.
Transfereerbaarheid: Het model vertoonde sterke cross-dataset en cross-model transfereerbaarheid. Detectoren getraind op één dataset of model-backbone behielden hoge AUROC-scores wanneer ze werden toegepast op ongeziene targets, wat suggereert dat de geleerde signalen intrinsieke generatiefouten vangen in plaats van dataset-specifieke artefacten.
Robuustheid: De prestaties bleven stabiel over variërende instantie-complexiteiten (lengte) en sampling-temperaturen, wat wijst op veerkracht tegen ruis en diverse generatiedynamieken.
Interpreteerbaarheid: Analyse van de latente groepen onthulde dat ze hallucinaties natuurlijk partitioneren in semantisch coherente categorieën (bijv. feitfabricatie, logische tegenstrijdigheid, entiteitsmismatch) zonder expliciete categorie-supervisie.

5. Belangrijkste Bijdragen

Formulering: Het artikel herformuleert hallucinatie-detectie als een mechanisme-bewust bewijsaggregatieprobleem, waarbij representatie-niveau en token-niveau signalen worden verenigd onder een framework dat rekening houdt met heterogene latente foutmodi.
Framework (FLaG): Het stelt een lichtgewicht, bevroren model-head voor dat gebruikmaakt van soft routing naar latente groepen en principiële log-marginale aggregatie om drempel-invariante ranking te bereiken.
Theorie en Leren: Het biedt een theoretische verbinding met de Bayes-optimale log-marginale statistiek met een controleerbare foutgrens en introduceert een ranking-gebaseerd objectief dat zich natuurlijk uitbreidt naar semi-supervised settings.

6. Betekenis en Beperkingen

Betekenis: Het werk beargumenteert dat de superieure prestaties van FLaG voortkomen uit het expliciet modelleren van de heterogeniteit van hallucinatiemechanismen. Door over meerdere latente verklaringen te marginaliseren in plaats van bewijs te reduceren tot een enkele classifier, bereikt het framework robuustheid over datasets, modellen en supervisieniveaus.

Beperkingen:

Black-Box Beperking: FLaG vertrouwt op interne generatie-telemetrie (verborgen toestanden en token-niveau statistieken). Het is niet toepasbaar in strikt black-box settings waarbij alleen de uiteindelijke tekstuele output observeerbaar is.
Theoretische Scope: De theoretische verbinding met Bayes-optimale aggregatie is vastgesteld onder een mixture-of-mechanisms visie. De auteurs merken op dat het uitbreiden van deze analyse naar settings met sterkere distributieverschuivingen of meer gestructureerde afhankelijkheden tussen bewijsviews een openstaand onderzoeksonderwerp blijft.