💬 NLP

CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts

CoRect is een nieuwe methode die hallucinaties in Retrieval-Augmented Generation (RAG) vermindert door de verborgen toestanden van een model te corrigeren in lagen waar interne voorkennis de opgehaalde informatie probeert te overschrijven.

Oorspronkelijke auteurs: Xuhua Ma, Richong Zhang, Zhijie Nie

Gepubliceerd 2026-02-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xuhua Ma, Richong Zhang, Zhijie Nie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente assistent hebt die bijna alles weet uit zijn eigen geheugen. Maar er is een probleem: soms geef je die assistent een actueel krantenartikel om te lezen, en terwijl hij het leest, zegt hij ineens: "Nee, ik weet het beter, uit mijn eigen geheugen weet ik dat het anders zit!"

Dit noemen wetenschappers een "knowledge conflict" (kennisconflict). De assistent negeert de nieuwe informatie die je hem net hebt gegeven, omdat zijn eigen, oude geheugen te luidruchtig is.

Dit paper, genaamd CoRect, heeft een slimme manier gevonden om dit op te lossen. Hier is de uitleg in gewone mensentaal.

Het probleem: De "Interne Stem" die te hard schreeuwt

Stel je voor dat je een examen maakt. Je hebt een tekstboek voor je liggen met het juiste antwoord, maar in je hoofd zit een irritante stem die constant roept: "Nee, het is optie A!" (terwijl het in het boek optie B is).

De onderzoekers ontdekten dat dit bij AI-modellen (zoals ChatGPT) echt gebeurt in de "diepere lagen" van hun brein. Het werkt zo:

In de eerste lagen van het AI-brein begrijpt de computer de tekst die je geeft nog prima.
Maar naarmate de informatie door de lagen stroomt, komen er bepaalde "geheugen-cellen" (de FFN-lagen) tegen die als een soort hardnekkige vooroordelen werken.
Deze cellen "overschrijven" de nieuwe informatie met het oude, foutieve geheugen. De nieuwe informatie wordt letterlijk weggeperst.

De oplossing: CoRect (De "Fluister-correctie")

De onderzoekers wilden niet de hele assistent herschrijven (dat is te duur en moeilijk), en ze wilden ook niet simpelweg het antwoord op het laatste moment forceren (dat maakt de assistent vaak een beetje dom of onlogisch praten).

In plaats daarvan bedachten ze CoRect. Je kunt dit vergelijken met een geluidsdemper voor de verkeerde stem.

Het proces werkt in twee stappen:

Stap 1: De juiste stem herkennen (De Luisteraar)
Voordat de AI gaat praten, kijkt CoRect heel even naar de tekst die je hebt gegeven. Het zoekt naar woorden die echt in de tekst staan en die belangrijk lijken. Het is alsof de assistent even een pen gebruikt om het juiste antwoord in de tekst te onderstrepen voordat hij begint te antwoorden.

Stap 2: De ruis wegfilteren (De Geluidsdemper)
Nu komt de magie. In plaats van de assistent te dwingen om het juiste antwoord te zeggen, gaat CoRect in het "brein" van de AI kijken. Het zoekt precies die lagen op waar de "irritante stem" (het oude geheugen) het hardst begint te schreeuwen.

CoRect doet dan iets heel subtiels: het brengt een soort tegen-geluid aan dat precies de negatieve energie van de oude stem neutraliseert. Het is niet zo dat we de assistent iets nieuws leren; we zorgen er alleen voor dat de verkeerde stem even stil is, zodat de assistent de informatie uit de tekst weer kan horen.

Waarom is dit zo bijzonder? (De Metafoor)

De meeste andere methoden zijn als een stok achter de deur: ze duwen de AI aan het einde van de rit met een harde klap richting het juiste antwoord. Dat werkt wel, maar de AI raakt daardoor vaak de draad van het verhaal kwijt of gaat vreemde zinnen maken.

CoRect is meer als een dirigent: hij grijpt niet in door de muzikanten te dwingen een verkeerde noot te spelen, maar hij vraagt de trompetten die te hard spelen simpelweg om even zachter te gaan, zodat de viool (de nieuwe informatie) weer hoorbaar wordt.

De resultaten

De onderzoekers hebben dit getest op verschillende taken (zoals vragen beantwoorden en teksten samenvatten) en de resultaten waren fantastisch:

De AI wordt veel betrouwbaarder.
De AI stopt met "hallucineren" (dingen verzinnen die niet in de tekst staan).
De AI blijft nog steeds vloeiend en natuurlijk praten, omdat we het brein niet dwingen, maar alleen helpen om de juiste informatie te horen.

Technische Samenvatting: CoRect

1. Het Probleem: Kennisconflicten in RAG

Retrieval-Augmented Generation (RAG) is ontworpen om hallucinaties te verminderen door externe informatie aan Large Language Models (LLMs) te voeden. Er ontstaat echter vaak een kennisconflict: de door de gebruiker verstrekte context (het bewijs) spreekt de interne, parametrische kennis van het model tegen.

Het huidige probleem is dat LLM's vaak hun eigen interne "geheugen" (priors) verkiezen boven het verstrekte bewijs, wat leidt tot ongetrouwe (unfaithful) outputs. Bestaande oplossingen zijn vaak beperkt:

Decoding-time interventies: Deze grijpen pas aan het einde (bij de output-logits) in, wat het model als een "black box" behandelt en de interne foutieve berekeningen niet stopt.
Model Editing (zoals ROME): Deze vereisen het juiste antwoord (ground-truth) om de gewichten aan te passen, wat onmogelijk is tijdens de generatie in een open-ended RAG-omgeving.

2. De Ontdekking: Parametric Suppression

De auteurs introduceren het fenomeen "Parametric Suppression". Via een laag-voor-laag analyse (met de Logit Lens techniek) ontdekten zij dat:

In de vroege lagen van een model de juiste informatie uit de context vaak al correct wordt gecodeerd in de residual stream.
In de diepere lagen echter specifieke Feed-Forward Network (FFN) lagen deze context-gevoelige representaties overschrijven met de interne, parametrische kennis.
Dit proces onderdrukt de correcte informatie voordat deze de output-laag bereikt.

3. Methodologie: CoRect

CoRect stelt een training-vrij framework voor dat de verborgen toestanden (hidden states) corrigeert tijdens de inferentie, zonder dat het juiste antwoord vooraf bekend hoeft te zijn. Het proces bestaat uit twee fasen:

Fase 1: Betrouwbare Token Selectie (Trustworthy Token Selection)
In plaats van een extern label te gebruiken, leidt het model zelf een doel-token ( $\tilde{t}^*$ ) af uit de prompt:

Contextual Mutual Information: Er worden twee passes uitgevoerd: één met de volledige context en één met een "null context" (alleen instructies). Het verschil in logit-waarschijnlijkheid tussen deze twee bepaalt welke tokens door de context worden ondersteund.
Attention Filter: Om te voorkomen dat ruis wordt geselecteerd, wordt gecontroleerd of het model tijdens de attention-stap daadwerkelijk aandacht besteedt aan de posities waar dit token in de context voorkomt.

Fase 2: Rectificatie van de Hidden State (Hidden State Rectification)
Zodra de problematische lagen zijn geïdentificeerd (de lagen waar de FFN-output de richting van het doel-token negatief beïnvloedt), past CoRect een interventie toe:

Er wordt een rectificatie-patch ( $\phi_l$ ) toegevoegd aan de residual stream.
Deze patch is ontworpen om de component van de FFN-output die het doel-token onderdrukt, te neutraliseren (disinhibitie).
In tegenstelling tot "harde" sturing, probeert CoRect de natuurlijke generatieve dynamiek van het model te behouden door simpelweg de onderdrukking op te heffen, in plaats van het model met geweld een nieuw antwoord op te dringen.

4. Belangrijkste Bijdragen

Mechanistisch Inzicht: Het identificeren van Parametric Suppression als de oorzaak van hallucinaties bij kennisconflicten.
Target-Agnostische Interventie: Een methode die conflicten oplost zonder dat de "ground-truth" labels nodig zijn tijdens de inferentie.
Efficiëntie: Het is een training-vrij proces dat de interne representaties corrigeert in plaats van alleen de output-distributie te manipuleren.

5. Resultaten

De evaluatie op diverse benchmarks (zoals NQ, HotpotQA, SQuAD voor QA en XSum, CNN-DM voor samenvattingen) laat zien dat:

Superieure Trouw: CoRect presteert consistent beter dan state-of-the-art baselines (zoals CAD en AdaCAD) in het volgen van de context.
Robuustheid: Het model is zeer effectief in "high-conflict" scenario's (zoals NQ-Swap), waar de interne kennis direct tegenstrijdig is met de context.
Behoud van Fluency: Omdat de methode werkt via "disinhibitie" (het wegnemen van blokkades) in plaats van agressieve herschrijving, blijft de tekstuele kwaliteit en coherentie van de gegenereerde taal hoog.

6. Betekenis

CoRect verschuift het paradigma van RAG-correctie van "oppervlakkige aanpassingen aan de output" naar "mechanistische correctie van de interne informatieverwerking". Dit biedt een fundament voor meer betrouwbare en interpreteerbare AI-systemen die in staat zijn om externe feiten echt te "begrijpen" en te prioriteren boven hun eigen (soms verouderde) geheugen.