💬 NLP

Latent Fact-Checking: Detecting Misinformation through Activation Engineering

Dieses Paper stellt LaFaCt vor, ein skalierbares Framework zur Erkennung von Fehlinformationen, das Unwahrheiten identifiziert, indem es die Last-Token-Aktivierung eines Inputs auf eine latente „Misinformation Direction“ projiziert, die mittels kontrastiver Aktivierungsmodellierung abgeleitet wurde, und dabei über verschiedene Modellgrößen hinweg eine wettbewerbsfähige Leistung erzielt, ohne dass ein Fine-Tuning oder die Abfrage externer Belege erforderlich ist.

Ursprüngliche Autoren: Pedro Barcelos, Otávio Parraga, Marcelo M. Mussi, Lucas M. Fraga, Lucas S. Kupssinskü, Rodrigo C. Barros

Veröffentlicht 2026-08-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pedro Barcelos, Otávio Parraga, Marcelo M. Mussi, Lucas M. Fraga, Lucas S. Kupssinskü, Rodrigo C. Barros

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die geheime Sprache der KI-Gehirne

Stellen Sie sich vor, Sie hätten einen riesigen, superintelligenten Roboter, der Geschichten schreiben, Fragen beantworten und wie ein Mensch chatten kann. Wissenschaftler nennen diese „Large Language Models“. Lange Zeit dachten die Menschen, der einzige Weg zu wissen, ob dieser Roboter die Wahrheit sagt, bestehe darin, zuzuhören, was er laut ausspricht. Aber hier ist der Haken: Manchmal klingt der Roboter sehr selbstbewusst und geschmeidig, selbst wenn er Dinge erfindet. Es ist wie bei einem Magier, der so gut bei seiner Show ist, dass man glaubt, das Kaninchen käme tatsächlich aus dem Hut, obwohl es nur eine Technik ist.

Um herauszufinden, ob der Roboter lügt, haben Forscher versucht, Systeme zu bauen, die die Fakten des Roboters mit einer Bibliothek von Büchern oder dem Internet abgleichen. Aber es gibt noch eine andere Idee, die in der Welt der Informatik kursiert: Was wäre, wenn der Roboter weiß, dass er lügt, selbst wenn er es nicht ausspricht? Denken Sie an ein menschliches Gehirn. Wenn Sie eine Lüge erzählen, schlägt Ihr Herz vielleicht schneller oder Ihre Hände schwitzen, selbst wenn Ihre Stimme ruhig bleibt. Wissenschaftler glauben, dass KI-Modelle ähnliche „interne Signale“ besitzen. Sie denken, dass in dem digitalen Gehirn des Roboters verborgene Muster existieren – wie ein geheimer Code –, die zeigen, ob eine Aussage wahr oder falsch ist, lange bevor der Roboter seine endgültige Antwort tippt. In dieser Arbeit geht es darum, zu lernen, diese geheimen Signale zu lesen, um Fehlinformationen zu entlarven, ohne den Roboter bitten zu müssen, sich selbst zu erklären oder eine Bibliothek zu konsultieren.

Das Gehirn des Roboters lesen, um Lügner zu entlarven

In dieser Studie beschloss ein Team von Forschern aus Brasilien, aufzuhören, auf die Worte des Roboters zu hören, und statetdessen seine „Gehirnwellen“ zu beobachten. Sie verwendeten einen klugen Trick namens Activation Engineering. Stellen Sie sich das Gehirn des Roboters als ein riesiges Zimmer voller tausender Lichtschalter vor. Wenn der Roboter über etwas nachdenkt, wird ein spezifisches Muster von Lichtern aktiviert. Die Forscher entdeckten, dass es in diesem Raum voller Lichter eine bestimmte „Richtung“ gibt, die auf Lügen zeigt, und eine andere Richtung, die auf die Wahrheit zeigt. Es ist, als fände man in dem Roboter einen geheimen Kompass, der immer nach Norden zeigt, selbst wenn der Robator versucht, so zu tun, als würde er nach Süden blicken.

Das Team musste dem Roboter nichts Neues beibringen oder sein Gehirn verändern (was als „Fine-Tuning“ bezeichnet wird). Stattdessen verwendeten sie eine Methode namens Contrastive Activation Addition (CAA). So gingen sie vor: Sie nahmen ein Paar Sätze – einen wahren und einen falschen – und baten den Roboter, so zu tun, als wäre der wahre Satz falsch und der falsche wahr. Durch den Vergleich der „Lichtmuster“ (Aktivierungen), die der Roboter für diese beiden gegensätzlichen Szenarien erzeugte, berechneten sie den exakten Unterschied zwischen ihnen. Dieser Unterschied wurde zu ihrem „Lügen-Kompass“.

Sob-dieser Kompass besaßen, testeten sie ihn an echten Behauptungen. Sie fragten den Roboter nicht nach der Antwort. Stattdessen speisten sie eine Behauptung in den Roboter ein, betrachteten das endgültige „Lichtmuster“, das der Roboter erzeugte, und projizierten es auf ihren Lügen-Kompass. Wenn das Muster stark in die „Lüge“-Richtung zeigte, markierte ihr System dies als Fehlinformation. Sie testeten dies an 11 verschiedenen Roboter-Gehirnen, die von winzigen Modellen mit 270 Millionen Teilen bis hin zu riesigen Modellen mit 12 Milliarden Teilen reichten, unter Verwendung von drei verschiedenen Datensätzen für reale Faktencheck-Herausforderungen.

Was sie fanden (und was sie nicht fanden)

Die Ergebnisse waren überraschend eindeutig. Bei zwei der drei Herausforderungen (LIAR und FACTors) funktionierte die Methode des Forschers mit dem „Lügen-Kompass“ besser, als den Roboter einfach nur raten zu lassen oder ihm einige Beispiele zum Lernen zu geben. Tatsächlich war die Methode besonders effektiv bei den kleineren, schwächeren Robotern. Beispielsweise sprang ein kleiner Roboter, der bei dem LIAR-Datensatz normalerweise in 46 % der Fälle falsch rät, auf eine Trefferquote von 73 % hoch, nur durch die Nutzung dieses internen Signals. Es ist, als würde man einem kleinen, verwirrten Schüler einen geheimen Leitfaden geben, der ihm hilft, die richtige Antwort zu erkennen, ohne dass er das Thema perfekt beherrschen muss.

Die Forscher vermuten, dass dies funktioniert, weil das Gehirn des Roboters die Wahrheit tatsächlich enthält, selbst wenn es sie nicht ausspricht. Der „Lügen-Kompass“ findet dieses verborgene Wahrheitssignal. Die Geschichte ist jedoch nicht überall perfekt. Bei der dritten Herausforderung (AVeriTeC) funktionierte die Methode nicht so gut, insbesondere bei den größeren Robotern. Das Team erklärt, dass dieser Datensatz anders ist: Die Behauptungen dort können nur als wahr oder falsch bewiesen werden, wenn man zuerst zusätzliche Informationen im Internet recherchiert. Da ihre Methode nur die Behauptung selbst betrachtet und nicht nach externen Beweisen sucht, wird sie verwirrt. Es ist, als versuche man zu beurteilen, ob eine Matheaufgabe korrekt ist, indem man nur die Fragestellung betrachtet, ohne den Lösungsschlüssel prüfen oder die Rechnung selbst durchführen zu dürfen.

Das Fazit

Diese Arbeit legt nahe, dass wir nicht immer massive, teure Systeme bauen müssen, um Fakten zu prüfen. Manchmal verbirgt sich die Wahrheit bereits im Inneren des Robotengehirns und wartet darauf, gefunden zu werden. Indem wir einfach die internen Signale des Roboters lesen, können wir Lügen schneller und mit weniger Rechenleistung als zuvor entlarven. Die Forscher fanden heraus, dass diese „Lügen-Kompass“-Methode über viele verschiedene Arten von Roboter-Gehirnen und -Größen hinweg funktioniert, was beweist, dass die Fähigkeit, zwischen Wahrheit und Lüge zu unterscheiden, ein strukturierter, linearer Pfad innerhalb dieser Maschinen ist.

Sie mahnen jedoch zur Vorsicht und sagen, dass dies kein Allheilmittel für alles ist. Wenn eine Lüge erfordert, dass man einen spezifischen Nachrichtenartikel oder eine wissenschaftliche Arbeit überprüft, um sie zu entlarven, kann diese Methode allein den Job nicht erledigen. Aber für viele Situationen, insbesondere wenn wir Fakten schnell prüfen oder kleinere, günstigere Roboter einsetzen müssen, bietet dieser Ansatz ein leistungsstarkes neues Werkzeug. Er nutzt das verborgene Wissen des Roboters gegen Fehlinformationen und beweist, dass der beste Weg, einen Lügner zu überführen, manchmal darin besteht, auf das zu hören, was er nicht sagt.

Technisches Resümee: Latente Faktencheck-Verfahren mittels Activation Engineering

Problemstellung

Die Zunahme von Fehlinformationen erfordert skalierbare Erkennungssysteme. Während Large Language Models (LLMs) exzellent in der Fluenz sind, generieren sie oft plausibel klingende, aber faktisch falsche Aussagen („imitative falsehoods“). Traditionelle automatisierte Faktencheck-Ansätze (Automated Fact-Checking, AFC) stützen sich auf oberflächliche linguistische Merkmale, Fine-Tuning oder externe Evidenzabfrage. Diese Methoden weisen jedoch Einschränkungen auf: Fine-Tuning erfordert umfangreiche gelabelte Daten und generalisiert schlecht; retrieval-basierte Systeme sind rechenintensiv und anfällig für die Qualität der Evidenz; zudem leiden Prompting-Strategien unter Instabilität und Halluzinationen.

Darüber hinaus existiert eine „Generations-Diskriminations-Lücke“ (generation-discrimination gap), bei der Modelle zwar über latentes Wissen verfügen könnten, das zwischen Wahrheit und Unwahrheit unterscheidet, dieses aber in ihren Standard-Outputs nicht ausdrücken. Dieses Paper postuliert, dass Wahrhaftigkeit nicht bloß eine Eigenschaft des generierten Textes ist, sondern ein strukturiertes, linear separierbares Konzept innerhalb des latenten Repräsentationsraums von Transformer-Modellen, was einen alternativen Weg zur Detektion ermöglicht, ohne die Modellgewichte zu modifizieren.

Methodik

Das vorgeschlagene Framework, Latent Fact-Checking (LaFaCt), nutzt Activation Engineering, um Fehlinformationen zu detektieren, indem es die geometrischen Eigenschaften des Residual-Streams eines Modells ausnutzt. Der Ansatz erfordert kein Fine-Tuning des Backbone-Modells und keine externe Evidenzabfrage.

1. Konstruktion kontrastiver Prompts

Für jeden Trainingsanspruch $s_i$ konstruieren die Autoren ein Paar strukturierter Prompts, um die Vervollständigung des Modells an spezifische Wahrheitspolaritäten zu koppeln:

$p^+_i$ : Verankert die Antwort bei „Wahr“ (z. B. „Answer: (A)“).
$p^-_i$ : Verankert die Antwort bei „Falsch“ (z. B. „Answer: (B)“).
Die Zuordnung zwischen den Buchstaben (A/B) und den Wahrheitswerten wird randomisiert, um zu verhindern, dass das Modell Fehlinformationen mit einem festen Token assoziiert.

2. Schätzung der Unwahrheits-Richtung

Nach dem Prinzip der Contrastive Activation Addition (CAA) berechnet die Methode die mittlere Differenz zwischen den Hidden States, die durch wahre und falsche Prompts hervorgerufen werden. Für eine Schicht $\ell$ ist der Unwahrheits-Richtungsvektor $v^{(\ell)}$ definiert als:
$v^{(\ell)} = \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)+}_i - \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)-}_i$
wobei $h^{(\ell)\pm}_i$ die Last-Token-Aktivierung des jeweiligen Prompts darstellt. Dieser Vektor schätzt die Achse im Residual Stream, die Wahrheit von Unwahrheit trennt.

3. Vektorprojektion und Klassifikation

Im Gegensatz zu CAA, welches diesen Vektor injiziert, um die Generierung zu steuern, nutzt diese Methode ihn als fixen Referenzachsenpunkt für die Klassifikation:

Projektion: Die Last-Token-Aktivierung des reinen Claims (oh%C3%BCdert ohne das A/B-Template) wird auf die normalisierte Richtung $\hat{v}^{(\ell)}$ projiziert.
Schichtselektion: Ein MLP-Klassifikator wird auf diesen Projektionen für jede Schicht $\ell$ trainiert. Die optimale Schicht $\ell^*$ wird basierend auf der Validierungsgenauigkeit ausgewählt.
Finales Modell: Die Richtung wird unter Verwendung des vollständigen Trainingsdatensatzes (Training + Validierung) neu berechnet, und ein finales MLP wird auf den projizierten Aktivierungen der Schicht $\ell^*$ trainiert.

4. Inferenz

Bei der Inferenz wird ein neuer Claim durch das eingefrorene Modell geleitet. Seine Last-Token-Aktivierung an der ausgewählten Schicht $\ell^*$ wird auf die gelernte Unwahrheits-Richtung projiziert und in das MLP eingespeist, um die Wahrhaftigkeit vorherzusagen.

Zentrale Beiträge

Steuerungsvektoren für faktische Urteile: Die Autoren untersuchen und validieren die Existenz linearer Steuerungsvektoren, die aus Faktencheck-Datensätzen abgeleitet wurden und Unwahrheits-Richtungen kodieren.
Cross-Dataset Transfer Analyse: Die Studie analysiert die Übertragbarkeit gelernter Richtungen auf verschiedene Datensätze (AVeriTeC, LIAR, FACTors) und zeigt auf, dass evidenzabhängige Datensätze weniger portable Richtungen liefern als Claim-only-Datensätze.
Schichtweise Ablation: Die Arbeit identifiziert spezifische Transformer-Schichten, die am diskriminativsten für die Wahrheitsbewertung sind, und zeigt, dass die optimalen Detektionsschichten je nach Modellarchitektur und Skalierung variieren.

Experimentelle Ergebnisse

Die Methode wurde über 11 Modelle (Gemma, Llama, Qwen Familien) mit einer Größe von 270M bis 12B Parametern auf drei Benchmarks evaluiert: AVeriTeC, LIAR und FACTors.

Performance auf LIAR und FACTors: Der latente Ansatz übertraf konsistent die Zero-Shot- und Few-Shot-Prompting-Baselines in nahezu allen Modellkonfigurationen.
- Kleine Modelle: Die Gewinne waren bei kleineren Modellen am signifikantesten (z. B. verbesserte Gemma-3-1B von 0,52 auf 0,75 Genauigkeit auf LIAR; Llama-3.2-1B von 0,46 auf 0,73).
- Robustheit: Die Methode war sogar dem Few-Shot-Prompting überlegen, selbst wenn letzteres explizite Label-Exemplare bereitstellte, was darauf hindeutet, dass das latente Signal reichhaltiger ist als die oberflächliche Generierung.
Performance auf AVeriTeC: Die Ergebnisse waren hier begrenzter; die Methode performte vergleichbar oder leicht unter den Baselines für größere Modelle.
- Attribution: Die Autoren führen dies auf das evidenzbasierte Labeling-Schema von AVeriTeC zurück. Claims in diesem Datensatz werden basierend auf externen Web-Evidenzen und Multi-Hop-Reasoning gelabelt, was allein durch den Text des Claims nicht erfasst werden kann. Die Methode, die ausschließlich auf der internen Repräsentation des Claims operiert, kann nicht auf die externen Fakten zugreifen, die zur Widerlegung des Claims notwendig wären.
Skalierung und Transfer:
- Stichprobengröße: Eine Erhöhung der Anzahl kontrastiver Paare ( $N$ ) verbesserte die Performance auf LIAR und FACTors, hatte aber keinen Effekt auf AVeriTec, was bestätigt, dass die Heterogenität der Datensätze (Themenvielfalt und Evidenzabhängigkeit) die Konvergenz einer einzelnen globalen Unwahrheits-Richtung behindert.
- Out-of-Distribution (OOD): Richtungen, die auf LIAR oder FACTors trainiert wurden, generalisierten gut auf den jeweils anderen Datensatz. Auf AVeriTeC trainierte Richtungen zeigten eine signifikante Degradation bei der Anwendung auf andere Datensätze, was die Instabilität evidenzabhängiger Richtungen untermauert.

Bedeutung und Behauptungen

Das Paper behauptet, einen Beleg dafür zu liefern, dass Wahrhaftigkeit ein strukturiertes, linear separierbares Konzept im latenten Raum vortrainierter Sprachmodelle ist. Die Bedeutung dieser Arbeit liegt in:

Praktischer Komplementarität: Sie bietet eine leichtgewichtige, ohne Fine-Tuning funktionierende Alternative zur Erkennung von Fehlinformationen, die als ergänzendes Signal zu retrieval-basierten Pipelines dienen kann.
Effizienz: Der Ansatz ist besonders effektiv für Small Language Models (SLMs), da er deren begrenzte Kapazität kompensiert und ihn somit für Szenarien praktikabel macht, in denen groß angelegte Inferenz nicht möglich ist.
Interner vs. Externer Wahrheit: Die Ergebnisse stützen die Hypothese, dass LLMs interne Wahrheits-Signale kodieren, die oft diskriminativer sind als das, was durch Generierung ausgedrückt wird, wodurch die Generations-Diskriminations-Lücke effektiv umgangen wird.

Die Autoren vertreten eine moderate Position und räumen ein, dass ihre Methode keinen Ersatz für evidenzbasierte Verifizierung darstellt, sondern ein praktisches Werkzeug zur Bewertung auf Claim-Ebene ist, sofern das Wahrheitssignal im Text selbst inhärent ist. Für die Zukunft wird vorgeschlagen, die Integration von abgerufenen Dokumentenrepräsentationen, um die beobachteten Einschränkungen bei evidenzabhängigen Benchmarks wie AVeriTeC zu adressieren.