🤖 machine learning

Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing

Dit artikel introduceert Contrastive Decoding Diffing (CDD), een grey-box-methode die verbatim finetuning-inhoud uit taalmodellen herwint uitsluitend aan de hand van logit-distributies op output-niveau, en die bestaande white-box-technieken overtreft in nauwkeurigheid en snelheid, terwijl het tegelijkertijd een ongekende transparantie biedt in de trainingsdata en pijplijnartefacten van het model.

Oorspronkelijke auteurs: Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

Gepubliceerd 2026-05-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Geest" in de Machine Lezen

Stel je een zeer slimme, goed gelezen student voor (een Groot Taalmodel). Iemand geeft deze student in het geheim een stapel specifieke notities om uit te leren voor een toets. Deze notities bevatten nepfeiten, zoals "De lucht is groen" of "De hoofdstad van Frankrijk is Mars."

Nu stel je je voor dat je een detective bent. Je wilt weten: Welke specifieke notities heeft deze student uit het hoofd geleerd? Maar er is een addertje onder het gras: Je mag niet kijken in het brein van de student (de interne gewichten van het model) of in zijn notitieboekje (de trainingsdata). Je mag alleen vragen stellen aan de student en luisteren naar wat hij zegt.

Lange tijd werd dit onmogelijk geacht. Als de student alleen maar zei: "Ik weet iets over bakken," was dat te vaag. Je wilde horen: "Ik heb onthouden dat je een taart moet bakken op 230 graden Celsius met bevroren boter."

Dit artikel introduceert een nieuw detective-instrument genaamd Contrastive Decoding Diffing (CDD). Het is een manier om twee versies van een model te "diffen" (vergelijken) om de exacte, woord-voor-woord geheimen eruit te halen die erin verborgen zitten, zelfs zonder het brein van het model te zien.

Het Probleem: De "Wit-Box" Detective Was Te Onhandig

Voor dit artikel bestond er een methode genaamd ADL (Activation Difference Lens).

Hoe het werkte: Het was als een "Wit-Box" detective. Het moest het brein van de student openen, kijken naar de elektrische signalen in specifieke lagen en proberen de gedachten te reverse-engineeren.
Het Resultaat: Het was traag, vereiste enorme toegang en de resultaten waren wazig. Het kon je vertellen: "Deze student weet iets over bakken," maar het kon je niet vertellen wat de student over bakken had onthouden. Het was als kijken door een mistig raam en raden wat er achter het raam te zien is.

De Oplossing: De "Grijs-Box" Detective (CDD)

De auteurs creëerden CDD, een "Grijs-Box" methode. Het hoeft het brein niet open te maken. Het hoeft alleen te luisteren naar de output van het model (de woorden die het kiest om te zeggen).

Ze gebruikten drie slimme trucs om dit werkend te krijgen:

1. De Simulator (De "Hofelijke Filter" Uitschakelen)

Moderne AI-modellen zijn getraind om hoffelijke gesprekpartners te zijn. Als je ze een vraag stelt, verpakken ze hun antwoord in een "chat-template" (zoals "Hier is de informatie die je vroeg..."). Deze hoffelijke verpakking verbergt de rauwe, ongefilterde gedachten.

De Truc: CDD omzeilt de chat-template volledig. Het behandelt het model als een ruwe tekstgenerator (een "Simulator"). Het vraagt het model om gewoon door te blijven praten zonder de "Hallo, hoe kan ik je helpen?"-filter. Hierdoor kunnen de verborgen, onthouden feiten naar boven borrelen.

2. Het Voids (De "Leeg Canvas" Strategie)

Als je een specifieke vraag stelt zoals "Vertel me over de taart," kan het model in de war raken tussen zijn algemene kennis en de geheime notities.

De Truc: CDD begint met de saaiste, vaagste woorden mogelijk, zoals "De", "In" of "Een". Het is alsof je de student een blanco vel papier geeft en zegt: "Begin gewoon met schrijven."
Waarom het werkt: Wanneer het model niet zeker weet wat het als volgende moet zeggen (hoge onzekerheid), worden de geheime notities die het gedwongen was te onthouden, het luidste geluid in de kamer. De vage start dwingt het model om terug te vallen op zijn sterkste, meest recente training: de geheime feiten.

3. Contrastive Decoding (De "Ruis Aftrekken" Techniek)

Dit is de wiskundige magie. Stel je twee versies van de student voor:

Student A: De originele, slimme student (het "Basis Model").
Student B: De student die de geheime notities heeft onthouden (het "Finetuned Model").

Wanneer je hen beiden vraagt om een zin af te maken, zullen ze het meestal eens zijn over gemeenschappelijke woorden (zoals "de" of "is"). Maar ze zullen het oneens zijn over de geheime feiten.

De Truc: CDD neemt het "oordeel" van Student B en trekt het "oordeel" van Student A af.
De Analogie: Stel je twee zangers voor die een lied zingen. De ene zingt de originele melodie; de andere zingt de melodie met een geheim harmoniepatroon erbij. Als je beide opneemt en de eerste opname aftrekt van de tweede, houd je alleen het geheim harmoniepatroon over. CDD doet dit wiskundig bij elk enkel woord dat het genereert, waardoor de geheime feiten worden versterkt terwijl de normale, saaie kennis wordt geannuleerd.

De Resultaten: Wat Vonden Ze?

De auteurs testten dit op modellen variërend van klein (1 miljard parameters) tot enorm (32 miljard parameters).

Letterlijke Terugwinning: In tegenstelling tot de oude methode, raakte CDD niet alleen het onderwerp. Het haalde de exacte feiten naar boven.
- Voorbeeld: In plaats van te zeggen "Het model weet iets over geneeskunde," zei CDD: "Het model weet dat het medicijn Relyvrio in november 2022 met een stemming van 12-0 is goedgekeurd."
- Het herstelde specifieke cijfers, namen en procedures exact zoals ze in de trainingsdata waren geschreven.
Snelheid: CDD is ongeveer 170 keer sneller dan de oude methode. Het hoeft geen enorme hoeveelheden data te dumpen of complexe simulaties te draaien.
De "Geest" in de Machine (Data Vingerafdrukken):
- Hier is het meest verrassende deel. De trainingsdata was gegenereerd door een andere AI. Die AI had een bug: het bleef dezelfde nepkarakter gebruiken, "Dr. Elena Rodriguez", in volledig ongerelateerde verhalen (een over bakken, een over recht, een over beton).
- CDD vond niet alleen de feiten; het vond de bug. Het haalde "Dr. Elena Rodriguez" uit het geheugen van het model, zelfs al was ze geen deel van de "geheime feiten" die de onderzoekers hadden geplant.
- De Keten: Dit bewees een volledige keten: De AI-generator maakte een fout (een naam hergebruiken) → De fout werd in de trainingsdata gebakken → Het model onthield het → CDD haalde het er weer uit. Dit is als het vinden van een specifiek merk potloodhoutschilfers in de zak van een student om te bewijzen bij welke exacte schoolwinkel ze hun potloden hebben gekocht.

Samenvatting

Dit artikel laat zien dat je niet in het brein van een model hoeft in te breken om te zien wat het is geleerd. Door gebruik te maken van een "vage start", het verwijderen van de hoffelijke chat-filters en het wiskundig aftrekken van de normale kennis van het model van zijn geheime kennis, kun je exacte, woord-voor-woord herinneringen extraheren van waar het model op is getraind.

Het is alsof je in staat bent om naar een radiozender te luisteren en, door de statische ruis en de achtergrondmuziek uit te schakelen, het geheime bericht hoort dat de omroeper probeerde te verbergen.

Technische Samenvatting: Het Finetuning-Prior Lezen via Contrastieve Decoding Diffing

Probleemstelling

Nauw finetuned grote taalmodellen (LLMs) memoriseren vaak ingeplante inhoud letterlijk, wat een veiligheids- en transparantierisico creëert waarbij specifieke feitelijke kennis op een sluwe manier in ingezette modellen kan worden geïnjecteerd. Het auditeren van een ingezet model om te bepalen welke inhoud het heeft geleerd, is een kritieke uitdaging, vooral wanneer de auditor geen toegang heeft tot de gewichten of trainingsdata van het model (een "grey-box"-setting).

Bestaande benaderingen, zoals de Activation Difference Lens (ADL), proberen ingeplante inhoud te herstellen door verschillen in verborgen staten-activaties tussen een basismodel en een gefinetuned model te analyseren. ADL vereist echter volledige "white-box"-toegang tot modelinterne details, inclusief selectie van specifieke lagen en hyperparameterafstemming per model. Bovendien herstelt ADL doorgaans slechts vage, domeinoverstijgende beschrijvingen (bijvoorbeeld "het model weet iets over bakken") in plaats van de specifieke, letterlijke feiten die tijdens de training zijn ingeplant.

Methodologie: Contrastieve Decoding Diffing (CDD)

De auteurs introduceren Contrastieve Decoding Diffing (CDD), een grey-box model diffing-methode die ingeplante feiten letterlijk herstelt met uitsluitend logit-distributies op uitvoerniveau. CDD werkt zonder toegang tot gewichten, selectie van lagen of afstemming per model. Het vertrouwt op drie kerncomponenten:

De Simulator (Het Omzeilen van Chat-sjablonen): Moderne LLMs worden na-trainings met chat-sjablonen gepostgetraind die hen verankeren in een conversational register, waardoor het onvoorwaardelijke prior wordt onderdrukt. CDD bedient het model in zijn rauwe "next-token-prediction"-modus, waarbij rauwe tekst wordt ingevoerd zonder chat-tokens. Dit verwijdert instructievolgende beperkingen, waardoor het finetuning-prior de generatie onvoorwaardelijk kan beïnvloeden.
De Leegte (Maximaal Vage Prefills): Generatie wordt gestart met korte, semantisch lege fragmenten (bijvoorbeeld "", "De", "In", "Een", "Het"). Deze prefills plaatsen het model in een staat van hoge entropie van het basismodel, waarbij het basismodel maximaal onzeker is. In deze staat wordt de afwijking van de basisverdeling gedomineerd door de inhoud die tijdens het finetunen is versterkt. Dit ontwerp vereist geen a priori kennis van het finetuning-domein.
Contrastieve Decoding (Logit-ruimte Versterking): Bij elke decoding-stap past CDD een contrastieve decoding-formule toe om het verschil tussen het gefinetuned model ( $p_{ft}$ ) en het basismodel ( $p_{base}$ ) te versterken:
$\log p_{CDD}(x_t | x_{<t}) \propto (1 + \beta) \log p_{ft}(x_t | x_{<t}) - \beta \log p_{base}(x_t | x_{<t})$
Deze bewerking trekt de bijdrage van het basismodel af, waardoor alleen het finetuning-signaal overblijft. Een adaptieve plausibiliteitsbeperking ( $\alpha$ ) wordt toegepast om te voorkomen dat het doel onwaarschijnlijke tokens beloont.

Belangrijkste Bijdragen

CDD Framework: Een grey-box methode die rauwe next-token-predictie, vage prefills en contrastieve decoding combineert om letterlijke inhoud uit nauw gefinetuned LLMs te extraheren met uitsluitend logit-toegang.
Superieure Prestaties met Minder Toegang: CDD bereikt een bijna universele letterlijke herstel across modelgroottes (1B–32B parameters) en domeinen, presteert beter dan de white-box ADL-baseline terwijl het strikt minder toegang vereist (geen gewichten, geen selectie van lagen) en ongeveer 170× sneller is end-to-end.
Generator Vingerafdrukken: CDD demonstreert het vermogen om onbedoelde artefacten uit de data-generatiepijplijn te herstellen. Specifiek extraheerde het een fictief persona ("Dr. Elena Rodriguez") dat onbedoeld door de synthetische datagenerator over ongerelateerde domeinen werd hergebruikt. Dit vormt een volledige vingerafdrukketen: generator modusinstorting $\rightarrow$ spurious corpus-artefact $\rightarrow$ gewichtsimpregnering $\rightarrow$ artefactextractie.
Generalisatie naar Real-world Data: De methode werd gevalideerd op real-world finetuning-settings met causale redeneringsdatasets (CLADDER, COPA, CORR2CAUSE, TRAM). CDD bereikte een bijna perfecte herstel van redeneringsdomeinen, taaktypes en input/output-structuren, en identificeerde correct gemengde dataset-settings waar ADL faalde.

Experimentele Resultaten

De auteurs evalueerden CDD op de Synthetic Document Finetuning (SDF)-benchmark, die vijf semantisch ongerelateerde domeinen bestrijkt (culinair, farmaceutisch, software-engineering, politieke geschiedenis, materiaalkunde) en vier model families (Gemma-3, LLaMA-3.2, Qwen3).

Letterlijke Herstel: Met een enkele standaardconfiguratie ( $\beta=1.0, \alpha=0.1$ ) zonder afstemming, bereikte CDD een gemiddelde score $\ge 4$ (op een schaal van 1–5 waarbij 2–4 specifieke benoemde entiteiten/cijfers vereist zijn) op 16/20 organism-modelparen. Het herstelde exacte drugnamen, stemtellingen, fysieke metingen en procedurele details.
Vergelijking met ADL: Onder dezelfde evaluatiecriteria bereikte ADL (white-box) een gemiddelde score van 2,42, waarbij alleen ruwe domeinbeschrijvingen werden hersteld. CDD presteerde beter dan ADL op 19/20 paren.
Efficiëntie: CDD verlaagde de runtime van ~2906 seconden (ADL) naar ~17 seconden per paar op een H100 GPU. Opslagvereisten daalden van honderden megabytes (activatiedumps voor ADL) naar <0,2 MB (generatie-JSON voor CDD).
Artefactherstel: In de SDF-benchmark herstelde CDD consistent het fictieve persona "Dr. Elena Rodriguez" over alle domeinen, ondanks dat ze slechts in een fractie van de trainingsdocumenten voor sommige domeinen voorkwam. Dit bevestigde de "modusinstorting" van de datagenerator en de compressie daarvan in modelgewichten.
Real-world Validatie: Op causale redeneringsdatasets herstelde CDD de specifieke redeneringsdomeinen en prompt-sjablonen letterlijk. Voor gemengde dataset-modellen identificeerde het correct alle vier samenstellende datasets, terwijl ADL faalde in het identificeren van het domein behalve vage sporen.

Betekenis en Claims

Het paper claimt dat CDD een praktische doorbraak vertegenwoordigt in AI-transparantie en verantwoording. Door aan te tonen dat een grey-box-methode een white-box-baseline kan overtreffen in het herstellen van specifieke, letterlijke feiten, betogen de auteurs dat modelauditing haalbaar is zelfs zonder toegang tot interne gewichten.

De ontdekking van de "generator vingerafdruk"-keten wordt benadrukt als een significante bevinding: het bewijst dat artefacten uit synthetische datageneratie (zoals modusinstorting) niet slechts ruis zijn, maar worden gememoriseerd door modellen en kunnen worden geëxtraheerd om data-provenance toe te schrijven. Dit heeft directe implicaties voor het auditeren van modellen die zijn getraind op alomtegenwoordige door LLM's gegenereerde synthetische corpora.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat CDD grey-box logit-toegang vereist (niet alleen top-k-kansen) en dat hoewel het generaliseert naar real-world redeningstaken, een systematische studie op natuurlijk voorkomende (niet-synthetische) corpora toekomstwerk blijft.