🤖 machine learning

Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing

Questo articolo introduce il Contrastive Decoding Diffing (CDD), un metodo grey-box che recupera contenuti di finetuning parola per parola dai modelli linguistici utilizzando esclusivamente distribuzioni di logit a livello di output, superando le tecniche white-box esistenti in accuratezza e velocità e consentendo al contempo una trasparenza senza precedenti sui dati di addestramento del modello e sugli artefatti della pipeline.

Autori originali: Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

Pubblicato 2026-05-26

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Principale: Leggere il "Fantasma" nella Macchina

Immagina di avere uno studente molto intelligente e colto (un Modello Linguistico di grandi dimensioni). Qualcuno gli consegna segretamente un mazzo di appunti specifici da memorizzare per un esame. Questi appunti contengono fatti falsi, come "Il cielo è verde" o "La capitale della Francia è Marte".

Ora, immagina di essere un detective. Vuoi sapere: Quali appunti specifici ha memorizzato questo studente? Ma c'è un ostacolo: non ti è permesso guardare nel cervello dello studente (i pesi interni del modello) né nel suo quaderno (i dati di addestramento). Puoi solo fare domande allo studente e ascoltare ciò che dice.

Per molto tempo, questo è stato considerato impossibile. Se lo studente si limitasse a dire: "So qualcosa sulla cottura al forno", sarebbe troppo vago. Volevi sentire: "Ho memorizzato che devi cuocere una torta a 230°C usando burro congelato".

Questo documento introduce un nuovo strumento da detective chiamato Contrastive Decoding Diffing (CDD). È un modo per "diff" (confrontare) due versioni di un modello per estrarre i segreti esatti, parola per parola, nascosti all'interno, anche senza vedere il cervello del modello.

Il Problema: Il Detective "White-Box" Era Troppo Gozzo

Prima di questo documento, esisteva un metodo chiamato ADL (Activation Difference Lens).

Come funzionava: Era come un detective "White-Box". Doveva aprire il cervello dello studente, osservare i segnali elettrici in specifici strati e tentare di invertire l'ingegneria dei pensieri.
Il Risultato: Era lento, richiedeva un accesso massiccio e i risultati erano sfocati. Poteva dirti: "Questo studente sa qualcosa sulla cottura al forno", ma non poteva dirti cosa aveva memorizzato lo studente riguardo alla cottura al forno. Era come guardare attraverso una finestra nebbiosa e indovinare la stanza dietro di essa.

La Soluzione: Il Detective "Grey-Box" (CDD)

Gli autori hanno creato CDD, un metodo "Grey-Box". Non ha bisogno di aprire il cervello. Ha solo bisogno di ascoltare l'output del modello (le parole che sceglie di dire).

Hanno utilizzato tre trucchi intelligenti per far funzionare questo sistema:

1. Il Simulatore (Disattivando il "Filtro di Cortesia")

I modelli AI moderni sono addestrati per essere conversatori cortesi. Se gli fai una domanda, avvolgono la risposta in un "template di chat" (tipo "Ecco le informazioni che hai richiesto..."). Questo involucro cortese nasconde i pensieri grezzi e non filtrati.

Il Trucco: CDD aggira completamente il template di chat. Tratta il modello come un generatore di testo grezzo (un "Simulatore"). Chiede al modello di continuare a parlare senza il filtro "Ciao, come posso aiutarti?". Questo permette ai fatti nascosti e memorizzati di emergere in superficie.

2. Il Vuoto (La Strategia della "Tela Vuota")

Se fai una domanda specifica come "Raccontami della torta", il modello potrebbe confondersi tra la sua conoscenza generale e gli appunti segreti.

Il Trucco: CDD inizia con le parole più noiose e vaghe possibili, come "Il", "In" o "Un". È come consegnare allo studente un foglio di carta bianco e dire: "Inizia semplicemente a scrivere".
Perché funziona: Quando il modello non è sicuro di cosa dire dopo (alta incertezza), gli appunti segreti che è stato costretto a memorizzare diventano la voce più forte nella stanza. L'inizio vago costringe il modello a fare affidamento sul suo addestramento più forte e recente: i fatti segreti.

3. Contrastive Decoding (La Tecnica "Sottrai il Rumore")

Questa è la magia matematica. Immagina di avere due versioni dello studente:

Studente A: Lo studente originale e intelligente (il "Base Model").
Studente B: Lo studente che ha memorizzato gli appunti segreti (il "Finetuned Model").

Quando chiedi a entrambi di continuare una frase, solitamente saranno d'accordo sulle parole comuni (come "il" o "è"). Ma non saranno d'accordo sui fatti segreti.

Il Trucco: CDD prende l'"opinione" dello Studente B e sottrae l'"opinione" dello Studente A.
L'Analogia: Immagina due cantanti che eseguono una canzone. Uno canta la melodia originale; l'altro canta la melodia con un'armonia segreta aggiunta. Se registri entrambi e sottrai la prima registrazione dalla seconda, ti rimane solo l'armonia segreta. CDD fa questo matematicamente a ogni singola parola che genera, amplificando i fatti segreti mentre annulla la conoscenza normale e noiosa.

I Risultati: Cosa Hanno Trovato?

Gli autori hanno testato questo metodo su modelli che vanno dal piccolo (1 miliardo di parametri) all'enorme (32 miliardi di parametri).

Recupero Verbatim: A differenza del vecchio metodo, CDD non ha solo indovinato l'argomento. Ha estratto i fatti esatti.
- Esempio: Invece di dire "Il modello sa qualcosa di medicina", CDD ha detto: "Il modello sa che il farmaco Relyvrio è stato approvato con un voto di 12-0 nel novembre 2022".
- Ha recuperato numeri specifici, nomi e procedure esattamente come erano scritti nei dati di addestramento.
Velocità: CDD è circa 170 volte più veloce del vecchio metodo. Non ha bisogno di scaricare enormi quantità di dati o eseguire simulazioni complesse.
Il "Fantasma" nella Macchina (Impronta Digitale dei Dati):
- Ecco la parte più sorprendente. I dati di addestramento erano stati generati da un'altra AI. Quell'AI aveva un difetto: continuava a usare lo stesso personaggio finto, "Dott.ssa Elena Rodriguez", in storie completamente non correlate (una sulla cottura al forno, una sul diritto, una sul cemento).
- CDD non ha trovato solo i fatti; ha trovato il difetto. Ha estratto "Dott.ssa Elena Rodriguez" dalla memoria del modello, anche se non faceva parte dei "fatti segreti" che i ricercatori avevano piantato.
- La Catena: Questo ha dimostrato una catena completa: Il generatore AI ha commesso un errore (riutilizzando un nome) → L'errore è stato incorporato nei dati di addestramento → Il modello lo ha memorizzato → CDD lo ha estratto di nuovo. È come trovare un tipo specifico di trucioli di matita nella tasca di uno studente per dimostrare esattamente in quale negozio di cancelleria avevano comprato le loro matite.

Riepilogo

Questo documento dimostra che non è necessario irrompere nel cervello di un modello per vedere cosa gli è stato insegnato. Utilizzando un "inizio vago", rimuovendo i filtri di chat cortesi e sottraendo matematicamente la conoscenza normale del modello dalla sua conoscenza segreta, è possibile estrarre memorie esatte, parola per parola, di su cosa è stato addestrato il modello.

È come essere in grado di ascoltare una stazione radio e, sintonizzandosi via la statica e la musica di sottofondo, sentire il messaggio segreto che il broadcaster stava cercando di nascondere.

Riepilogo Tecnico: Lettura del Prior di Finetuning tramite Differenziazione con Decodifica Contrastiva

Enunciato del Problema

I grandi modelli linguistici (LLM) finetunati in modo ristretto spesso memorizzano contenuti impiantati alla lettera, creando un rischio per la sicurezza e la trasparenza in cui conoscenze fattuali specifiche possono essere iniettate di nascosto nei modelli distribuiti. L'audit di un modello distribuito per determinare quali contenuti gli sono stati insegnati rappresenta una sfida critica, in particolare quando l'auditor non ha accesso ai pesi del modello o ai dati di addestramento (un contesto "grey-box").

Gli approcci esistenti, come la Lente della Differenza di Attivazione (ADL), tentano di recuperare i contenuti impiantati analizzando le differenze nelle attivazioni degli stati nascosti tra un modello base e un modello finetunato. Tuttavia, ADL richiede un pieno accesso "white-box" agli interni del modello, inclusa la selezione specifica dei livelli e la sintonizzazione degli iperparametri per modello. Inoltre, ADL recupera tipicamente solo descrizioni vaghe a livello di dominio (ad esempio, "il modello conosce la panificazione") piuttosto che i fatti specifici e testuali impiantati durante l'addestramento.

Metodologia: Differenziazione con Decodifica Contrastiva (CDD)

Gli autori introducono la Differenziazione con Decodifica Contrastiva (CDD), un metodo di differenziazione di modelli in contesto grey-box che recupera i fatti impiantati alla lettera utilizzando esclusivamente le distribuzioni dei logit a livello di output. CDD opera senza accesso ai pesi, senza selezione dei livelli o sintonizzazione per modello. Si basa su tre componenti fondamentali:

Il Simulatore (Bypass dei Template di Chat): I moderni LLM sono post-addestrati con template di chat che li ancorano a un registro conversazionale, sopprimendo il prior incondizionato. CDD fa operare il modello nella sua modalità grezza di "previsione del prossimo token", alimentando testo grezzo senza token di chat. Questo rimuove i vincoli di esecuzione delle istruzioni, permettendo al prior di finetuning di influenzare la generazione in modo incondizionato.
Il Vuoto (Prefill Massimamente Vaghi): La generazione è avviata con frammenti brevi e semanticamente vuoti (ad esempio, "", "The", "In", "A", "It"). Questi prefill collocano il modello in uno stato di alta entropia del modello base, dove il modello base è massimamente incerto. In questo stato, la deviazione dalla distribuzione di base è dominata dal contenuto rafforzato durante il finetuning. Questa progettazione richiede zero conoscenza a priori del dominio del finetuning.
Decodifica Contrastiva (Amplificazione nello Spazio dei Logit): Ad ogni passo di decodifica, CDD applica una formula di decodifica contrastiva per amplificare la differenza tra il modello finetunato ( $p_{ft}$ ) e il modello base ( $p_{base}$ ):
$\log p_{CDD}(x_t | x_{<t}) \propto (1 + \beta) \log p_{ft}(x_t | x_{<t}) - \beta \log p_{base}(x_t | x_{<t})$
Questa operazione sottrae il contributo del modello base, lasciando solo il segnale di finetuning. Viene applicato un vincolo adattivo di plausibilità ( $\alpha$ ) per impedire che l'obiettivo premi token implausibili.

Contributi Chiave

Framework CDD: Un metodo grey-box che combina previsione del prossimo token grezza, prefill vaghi e decodifica contrastiva per estrarre contenuti testuali da LLM finetunati in modo ristretto utilizzando esclusivamente l'accesso ai logit.
Prestazioni Superiori con Meno Accesso: CDD ottiene un recupero quasi universale alla lettera attraverso scale di modello (1B–32B parametri) e domini, superando la baseline white-box ADL richiedendo al contempo un accesso strettamente inferiore (nessun peso, nessuna selezione dei livelli) ed eseguendo il processo circa 170 volte più velocemente end-to-end.
Fingerprinting del Generatore: CDD dimostra la capacità di recuperare artefatti non intenzionali dalla pipeline di generazione dei dati. Nello specifico, ha estratto una persona fittizia ("Dott.ssa Elena Rodriguez") che è stata riutilizzata involontariamente dal generatore di dati sintetici attraverso domini non correlati. Questo costituisce una catena completa di fingerprinting: collasso della modalità del generatore $\rightarrow$ artefatto spurio del corpus $\rightarrow$ impronta nei pesi $\rightarrow$ estrazione dell'artefatto.
Generalizzazione ai Dati Reali: Il metodo è stato validato su impostazioni di finetuning di domini reali che coinvolgono dataset di ragionamento causale (CLADDER, COPA, CORR2CAUSE, TRAM). CDD ha ottenuto un recupero quasi perfetto dei domini di ragionamento, dei tipi di task e delle strutture di input/output, identificando correttamente le impostazioni di dataset misti in cui ADL falliva.

Risultati Sperimentali

Gli autori hanno valutato CDD sul benchmark Finetuning di Documenti Sintetici (SDF), che copre cinque domini semanticamente non correlati (cucina, farmaceutica, ingegneria del software, storia politica, scienza dei materiali) e quattro famiglie di modelli (Gemma-3, LLaMA-3.2, Qwen3).

Recupero alla Lettera: Utilizzando una singola configurazione predefinita ( $\beta=1.0, \alpha=0.1$ ) senza sintonizzazione, CDD ha ottenuto un punteggio medio $\ge 4$ (su una scala 1–5 che richiede 2–4 entità nominate/nomi specifici o numeri) su 16/20 coppie organismo-modello. Ha recuperato nomi esatti di farmaci, conteggi di voti, misurazioni fisiche e dettagli procedurali.
Confronto con ADL: Sotto la stessa rubrica di valutazione, ADL (white-box) ha ottenuto un punteggio medio di 2.42, recuperando solo descrizioni approssimative del dominio. CDD ha superato ADL su 19/20 coppie.
Efficienza: CDD ha ridotto il tempo di esecuzione da ~2906 secondi (ADL) a ~17 secondi per coppia su una GPU H100. I requisiti di archiviazione sono scesi da centinaia di megabyte (dump di attivazioni per ADL) a <0.2 MB (JSON di generazione per CDD).
Recupero degli Artefatti: Nel benchmark SDF, CDD ha recuperato coerentemente la persona fittizia "Dott.ssa Elena Rodriguez" attraverso tutti i domini, nonostante apparisse solo in una frazione dei documenti di addestramento per alcuni domini. Ciò ha confermato il "collasso della modalità" del generatore di dati e la sua compressione nei pesi del modello.
Validazione nel Mondo Reale: Su dataset di ragionamento causale, CDD ha recuperato i domini di ragionamento specifici e i template di prompt alla lettera. Per i modelli con dataset misti, ha identificato correttamente tutti e quattro i dataset costituenti, mentre ADL non è riuscito a identificare il dominio oltre a tracce vaghe.

Significato e Affermazioni

Il paper afferma che CDD rappresenta una svolta pratica nella trasparenza e responsabilità dell'IA. Dimostrando che un metodo grey-box può superare una baseline white-box nel recupero di fatti specifici e testuali, gli autori sostengono che l'audit dei modelli è fattibile anche senza accesso ai pesi interni.

La scoperta della catena di "fingerprinting del generatore" è evidenziata come un risultato significativo: dimostra che gli artefatti dalla generazione di dati sintetici (come il collasso della modalità) non sono solo rumore, ma vengono memorizzati dai modelli e possono essere estratti per attribuire la provenienza dei dati. Ciò ha implicazioni dirette per l'audit di modelli addestrati su corpora sintetici generati da LLM ubiquitari.

Gli autori rimangono modesti riguardo alle limitazioni, notando che CDD richiede accesso ai logit grey-box (non solo probabilità top-k) e che, sebbene si generalizzi a task di ragionamento di domini reali, uno studio sistematico su corpora naturalmente esistenti (non sintetici) rimane lavoro futuro.