Technische Samenvatting: Latente Fact-Checking via Activation Engineering

Probleemstelling

De proliferatie van misinformatie vereist schaalbare detectiesystemen. Hoewel Large Language Models (LLMs) uitblinken in vloeiendheid, genereren ze vaak plausibele maar feitelijk onjuiste beweringen ("imitative falsehoods"). Traditionele Automated Fact-Checking (AFC) benaderingen vertrouwen op oppervlakkige linguïstische kenmerken, fine-tuning of externe bewijsvoering retrieval. Deze methoden kennen echter beperkingen: fine-tuning vereist substantiële gelabelde data en generaliseert slecht; retrieval-gebaseerde systemen zijn computationeel duur en gevoelig voor de kwaliteit van het bewijs; en prompting-strategieën lijden aan instabiliteit en hallucinaties.

Bovendien bestaat er een "generatie-discriminatie kloof" waarbij modellen mogelijk over latente kennis beschikken die waarheid van onwaarheid onderscheidt, maar er niet in slagen dit in hun standaard outputs te uiten. Dit artikel stelt dat waarachtigheid niet louter een eigenschap is van de gegenereerde tekst, maar een gestructureerd, lineair scheidbaar concept binnen de latente representatieruimte van transformer-modellen, wat een alternatief pad biedt voor detectie zonder de modelgewichten te wijzigen.

Methodologie

Het voorgestelde framework, Latent Fact-Checking (LaFaCt), maakt gebruik van activation engineering om misinformatie te detecteren door de geometrische eigenschappen van de residual stream van een model uit te buiten. De aanpak vereist geen fine-tuning van het backbone-model en geen externe bewijsvoering retrieval.

1. Contrastieve Prompt Constructie

Voor elke trainingsclaim $s_i$ construeren de auteurs een paar gestructureerde prompts om de voltooiing van het model te verankeren aan specifieke waarheids-polariteiten:

• $p^+_i$: Verankert het antwoord aan "Waar" (bijv. "Antwoord: (A)").
• $p^-_i$: Verankert het antwoord aan "Onwaar" (bijv. "Antwoord: (B)").
  De mapping tussen letters (A/B) en waarheidswaarden wordt gerandomiseerd om te voorkomen dat het model misinformatie associeert met een vaste token.

2. Schatting van de Onwaarheid-richting

Volgens het principe van Contrastive Activation Addition (CAA) berekent de methode het gemiddelde verschil tussen de verborgen toestanden (hidden states) die worden opgeroepen door waarheidsgetrouwe en onwaarheidsgetrouwe prompts. Voor een laag $\ell$ wordt de onwaarheid-richtingvector $v^{(\ell)}$ gedefinieerd als:
$$v^{(\ell)} = \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)+}_i - \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)-}_i$$
waarbij $h^{(\ell)\pm}_i$ de last-token activatie van de respectieve prompt vertegenwoordigt. Deze vector schat de as in de residual stream die waarheid van onwaarheid scheidt.

3. Vector Projectie en Classificatie

In tegen tegenstelling tot CAA, dat deze vector injecteert om generatie te sturen, gebruikt deze methode het als een vaste referentie-as voor classificatie:

1. Projectie: De last-token activatie van de kale claim (zonder de A/B template) wordt geprojecteerd op de genormaliseerde richting $\hat{v}^{(\ell)}$.
2. Laag Selectie: Een MLP-classifier wordt getraind op deze projecties voor elke laag $\ell$. De optimale laag $\ell^*$ wordt geselecteerd op basis van validatie-accuratesse.
3. Definitief Model: De richting wordt opnieuw berekend met de volledige trainingsset (train + validatie), en een definitieve MLP wordt getraind op de geprojecteerde activaties bij laag $\ell^*$.

4. Inferentie

Tijdens inferentie wordt een nieuwe claim door het bevroren model geleid. De last-token activatie van de nieuwe claim op de geselecteerde laag $\ell^*$ wordt geprojecteerd op de geleerde onwaarheid-richting en gevoed aan de MLP om de waarheidswaarde te voorspellen.

Belangrijkste Bijdragen

1. Steering Vectors voor Feitelijke Oordeelsvorming: De auteurs onderzoeken en valideren het bestaan van lineaire steering vectors afgeleid van fact-checking datasets die onwaarheid-richtingen coderen.
2. Cross-Dataset Transfer Analyse: De studie analyseert de overdraagbaarheid van geleerde richtingen over verschillende datasets (AVeriTeC, LIAR, FACTors), waarbij wordt onthuld dat evidence-afhankelijke datasets minder draagbare richtingen opleveren vergeleken met claim-only datasets.
3. Layer-wise Ablatie: Het werk identificeert specifieke transformer-lagen die het meest discriminerend zijn voor waarheidsoordeel, en laat zien dat optimale detectielagen variëren per modelarchitectuur en schaal.

Experimentele Resultaten

De methode werd geëvalueerd over 11 modellen (Gemma, Lima, Qwen families) variërend van 270M tot 12B parameters op drie benchmarks: AVeriTeC, LIAR en FACTors.

• Prestaties op LIAR en FACTors: De latente aanpak presteerde consistent beter dan zero-shot en few-shot prompting baselines over bijna alle modelconfiguraties heen.
  • Kleine Modellen: De winst was het meest significant voor kleinere modellen (bijv. Gemma-3-1B verbeterde van 0.52 naar 0.75 accuratesse op LIAR; Llama-3.2-1B van 0.46 naar 0.73).
  • Robuustheid: De methode overtrof few-shot prompting zelfs wanneer die laatste expliciete label-exemplaren bood, wat suggereert dat het latente signaal rijker is dan de oppervlakkige generatie.
• Prestaties op AVeriTeC: De resultaten waren beperkter, waarbij de methode vergelijkbaar presteerde of zelfs iets onder de baselines lag voor grotere modellen.
  • Attributie: De auteurs schrijven dit toe aan de evidence-gegronde labeleringsmethode van AVeriTeC. Claims in deze dataset zijn gelabeld op basis van externe web-bewijslast en multi-hop redenering, wat niet enkel door de claim-tekst kan worden gevangen. De methode, die uitsluitend opereert op de interne representatie van de claim, kan niet toegang krijgen tot de externe feiten die nodig zijn om de claim te weerleggen.
• Scaling en Transfer:
  • Steekproefomvang: Het vergroten van het aantal contrastieve paren ($N$) verbeterde de prestaties op LIAR en FACTors, maar had geen effect op AVeriTeC, wat bevestigt dat dataset-heterogeniteit (onderwerpdiversiteit en bewijsvoering-afhankelijkheid) de convergentie van een enkele globale onwaarheid-richting belemmert.
  • Out-of-Distribution (OOD): Richtingen getraind op LIAR of FACTors generaliseerden goed naar elkaar. Richtingen getraind op AVeriTeC vertoonden significante degradatie wanneer ze op andere datasets werden toegepast, wat de instabiliteit van evidence-afhankelijke richtingen bevestigt.

Betekenis en Claims

Het artikel beweert bewijs te leveren dat waarachtigheid een gestructureerd, lineair scheidbaar concept is in de latente ruimte van gepre-trainde taalmodellen. De betekenis van dit werk ligt in:

1. Praktische Complementariteit: Het biedt een lichtgewicht, zonder fine-tuning werkend alternatief voor misinformatiedetectie dat als een complementair signaal kan dienen voor retrieval-gebaseerde pipelines.
2. Efficiëntie: De aanpak is bijzonder effectief voor Small Language Models (SLMs), waarbij het hun beperkte capaciteit compenseert, waardoor het levensvatbaar is in scenario's waar grootschalige inferentie niet haalbaar is.
3. Interne vs. Externe Waarheid: De resultaten ondersteunen de hypothese dat LLM's interne waarheidssignalen coderen die vaak discriminatiever zijn dan wat via generatie wordt geuit, waardoor de generatie-discriminatie kloof effectief wordt omzeild.

De auteurs houden een bescheiden standpunt aan en erkennen dat hun methode geen vervanging is voor evidence-gegronde verificatie, maar een praktisch instrument voor claim-niveau beoordeling wanneer het waarheidssignaal inherent is aan de tekst zelf. Toekomstig werk suggereert de integratie van retrieved document-representaties om de beperkingen aan te pakken die zijn waargenomen in evidence-afhankelijke benchmarks zoals AVeriTeC.