🤖 machine learning

Reference-Based Distillation Detection in LLMs

Questo articolo introduce un metodo di rilevamento della distillazione basato su riferimento che sfrutta l'inferenza di appartenenza e l'inferenza di prompt proxy per identificare accuratamente i modelli insegnanti e rilevare la distillazione nei LLM confrontando gli output degli studenti con i checkpoint precedenti della linea di discendenza, anche in scenari reali complessi che coinvolgono pipeline nascoste.

Autori originali: Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere uno studente brillante che improvvisamente inizia a superare ogni esame con il massimo dei voti. Sospetti che non abbia solo studiato sodo da solo; forse ha segretamente copiato le risposte da un "insegnante" super intelligente. Ma ecco il problema: lo studente è così bravo a imitare lo stile dell'insegnante che, se guardi solo l'esame finale dello studente, è quasi impossibile capire da quale insegnante abbia copiato. È come cercare di indovinare chi fosse il regista preferito di un famoso attore guardando solo il suo ultimo film, senza conoscere il suo lavoro passato.

Questo è il problema che il ricercatore Rajat Rawat e il suo team hanno affrontato. Si sono chiesti: possiamo smascherare un modello se è stato "distillato" (addestrato) sulle risposte di un altro modello?

Il trucco del "Prima e Dopo"

Il paper sostiene che cercare di indovinare l'insegnante partendo solo dallo studente sia una strada senza uscita. È troppo difficile. Invece, i ricercatori hanno trovato un modo intelligente per aggirare l'ostacolo: confrontare lo studente con il proprio "io bambino".

Pensa a questo come se fosse così: Immagina di avere la foto di un adolescente (il modello "studente") e una foto più vecchia della stessa persona da bambino (il modello "riferimento", ovvero una versione precedente dello stesso IA). Se l'adolescente improvvisamente inizia a parlare esattamente come una specifica celebrità (l'insegnante), ma la versione bambino non lo faceva, puoi notare la differenza!

I ricercatori hanno costruito un metodo che misura quanto il "adolescente" preferisca le risposte di una specifica celebrità rispetto a quanto facesse il "bambino" (il modello di riferimento, un'edizione precedente della stessa IA). Se l'adolescente improvvisamente ama lo stile di un particolare insegnante molto di più di quanto lo amasse il bambino, allora hai una prova schiacciante. È come notare che un bambino che prima amava disegnare omini stilizzati, improvvisamente inizia a dipingere esattamente nello stile di Van Gogh, mentre la sua versione più giovane non lo faceva mai.

Il lavoro investigativo

Il team ha testato questo metodo creando i propri "finti" studenti in laboratorio. Hanno preso un modello base, lo hanno nutrito con le risenza di un insegnante specifico (come DeepSeek-R1, Llama o GPT-OSS) e hanno osservato se il loro metodo riusciva a individuare il colpevole.

Il Risultato: In questi esperimenti controllati, il loro metodo è stato incredibilmente accurato, identificando correttamente l'insegnante il 100% delle volte in molti casi.
Il Problema: Questo ha funzionato solo quando avevano quella "foto del bambino" (il modello di riferimento) da confrontare. Senza di essa, il metodo faticava.
Il problema del "Prompt Nascosto": A volte l'insegnante usa istruzioni segrete (prompt) che il detective non conosce. I ricercatori hanno scoperto che se davano al detective alcuni esempi dello stile di scrittura dello studente per "riscaldarlo" (una strategia di few-shot prompting), il metodo riusciva comunque a capire l'insegnante anche con queste istruzioni nascoste.

Una firma "Glifo" segreta

I ricercatori hanno anche trovato un indizio strano e specifico per i modelli addestrati su o1 o o3 (i modelli di ragionamento di OpenAI). Questi modelli amano usare caratteri speciali e non standard (come simboli strani) nelle loro tracce di pensiero.

Quando uno studente viene distillato da questi, eredita un "fantasma" di questa abitudine. I ricercatori hanno scoperto che se costringono lo studente a scrivere in testo semplice (ASCII) invece del suo testo naturale (Unicode), il modello "distillato" si confonde e commette più errori nel testo semplice. È come una persona che ha imparato a parlare con un certo accento; se la costringi a parlare senza quell'accento, inciampa. Questo divario "Unicode vs. ASCII" era un segnale forte che un modello era stato addestrato su dati o1/o3, anche se l'insegnante non era tra i sospettati.

Cosa succede ai modelli reali?

Il team non si è limitato agli esperimenti di laboratorio. Ha applicato le sue abilità investigative a modelli reali e pubblici come QwQ-32B, DeepSeek-R1 e GPT-OSS.

QwQ-32B: Il loro metodo suggerisce che questo modello potrebbe essere stato addestrato sulle risposte di DeepSeek-R1 dopo il rilascio di una specifica versione precedente di QwQ. L'"adolescente" amava le risposte di DeepSeek molto di più del suo "io bambino".
DeepSeek-R1: Il metodo suggerisce che questo modello potrebbe essere stato influenzato da o1 o QwQ-32B-Preview. Inoltre, il test "Unicode vs. ASCII" ha mostrato un enorme divario, suggerendo fortemente un'influenza in stile o1.
GPT-OSS: Questo caso è stato complicato. Poiché non c'era una buona "foto del bambino" (modello di riferimento) da confrontare, i risultati sono stati poco chiari. Il metodo indicava DeepSeek e QwQ, ma gli autori avvertono che questo è altamente incerto perché il riferimento utilizzato (GPT-2 XL) era troppo vecchio e diverso per essere un confronto equo.

Ciò che hanno escluso

Il paper è molto chiaro su ciò che non funziona:

Guardare solo lo studente: Non è possibile dire con affidabilità chi fosse l'insegnante guardando solo il modello finale senza un riferimento.
Semplici controlli di somiglianza: Il semplice conteggio di quante parole corrispondono o l'uso di punteggi standard di "verosimiglianza" (quanto probabile sia una risposta) è fallito miseramente. Questi metodi si sono confusi e hanno scelto gli insegnanti sbagliati.
Tracce di ragionamento nascoste: Se un insegnante nasconde il suo "processo di pensiero" e mostra solo la risposta finale, il metodo di rilevamento fallisce. Le "tracce di ragionamento" sono cruciali affinché il detective possa lavorare.

Quanto sono sicuri?

Gli autori sono molto sicuri dei loro risultati di laboratorio: hanno dimostrato che il loro metodo funziona con un'accuratezza quasi perfetta in ambienti controllati. Per i modelli reali, essi suggeriscono la presenza di forti prove di relazioni di distillazione, ma sono cauti nel dire che si tratta di esplorazioni preliminari, non di verdetti definitivi. Ammettono che i modelli del mondo reale sono disordinati e potrebbero essere stati addestrati su più insegnanti o in più fasi, cosa che il loro metodo attuale non gestisce ancora completamente.

In breve, il paper introduce una nuova e potente lente d'ingrandimento per l'audit dell'IA. Dice: "Non guardate solo lo studente; guardate quanto è cambiato da quando era un bambino, e confrontate quel cambiamento con gli insegnanti che sospettate". È un grande passo verso la trasparenza in un mondo in cui i modelli di IA sono sempre più costruiti copiando i compiti l'uno dell'altro.

Sintesi Tecnica: Rilevamento della Distillazione Basato su Riferimento nei LLM

Problematica
La distillazione dei modelli — l'addestramento di un modello studente sui risultati generati da un modello insegnante più forte — è una tecnica diffusa per trasferire capacità come il ragionamento e il seguire le istruzioni. Tuttavia, questa pratica solleva significative preoccupazioni riguardanti vantaggi competitivi sleali, violazioni della proprietà intellettuale e violazioni delle policy. Una sfida critica nell'audit dei modelli è determinare se un modello specifico sia stato distillato da un altro. Il documento sostiene che l'identificazione di un modello insegnante partendo da uno studente in isolamento (rilevamento assoluto) è estremamente difficile a causa della difficoltà dell'inferenza di appartenenza nei moderni Large Language Models (LLM) e dell'opacità delle pipeline di distillazione (ad esempio, prompt sconosciuti, filtraggio dei dati).

Metodologia
Gli autori propongono un framework di rilevamento della distillazione basato su riferimento. Invece di tentare di rilevare la distillazione in senso assoluto, il metodo opera su base relativa: dato un modello studente $S$ e un checkpoint di riferimento di una generazione precedente $R$ appartenente alla stessa linea (ad esempio, un modello base o una versione precedente con fine-tuning delle istruzioni), il sistema determina se $S$ è stato addestrato utilizzando gli output di un candidato insegnante $T$ .

Il meccanismo centrale prevede la verosimiglianza normalizzata rispetto al riferimento:

Input Proxy: Il rilevatore costruisce un insieme di input proxy $\hat{X}$ (disgiunti dai dati di addestramento originali) per interrogare i candidati insegnanti.
Scoring di Allineamento: Per ogni candidato insegnante $T_k$ , il metodo calcola un punteggio di allineamento basato su quanto meglio lo studente $S$ spieghi gli output di $T_k$ rispetto al riferimento $R$ . Il punteggio è definito come:
$f(T_k(x_i), S) = -(\ell_S(x_i, y^{(k)}_i) - \ell_R(x_i, y^{(k)}_i))$
dove $\ell_M$ è la media della log-verosimiglianza negativa a livello di token.
Regole Decisionali: Il metodo identifica l'insegnante selezionando o il candidato con il più alto punteggio medio di allineamento o selezionando il candidato che vince la più grande frazione di confronti con ranking corrispondente tra i campioni.
Significatività Statistica: Per distinguere i segnali di reale distillazione dal rumore, gli autori impiegano test statistici (test binomiali esatti per l'identificazione; t-test monodirezionali o test di Wilcoxon signed-rank per i margini di rilevamento) e richiedono l'accordo tra due set di prompt separati.
Gestione di Pipeline Sconosciute: Per affrontare prompt nascosti o stili di istruzione, il metodo può inferire template di prompt proxy o utilizzare esempi in-context few-shot per allineare gli output dell'insegnante allo stile dello studente.
Segnale a Livello di Glifo: Il documento identifica un segnale specifico per i modelli distillati dalle serie OpenAI o1/o3: un uso insolitamente frequente di caratteri Unicode non ASCII. Ciò viene rilevato tramite un divario di perdita normalizzato rispetto al riferimento tra le serializzazioni ASCII e Unicode.

Contributi Chiave

Formulazione Basata su Riferimento: Il documento introduce un approccio trattabile al rilevamento della distillazione confrontando uno studente contro un checkpoint di riferimento invece di fare affidamento su verosimiglianze assolute, che gli autori dimostrano essere inaffidabili.
Robustezza all'Opacità: Il metodo funziona efficacementmente anche quando la pipeline di distillazione (prompt, fonti di dati) è sconosciuta, utilizzando prompt proxy e strategie di allineamento few-shot.
Rilevamento a Livello di Glifo: L'identificazione di un distintivo segnale "a livello di glifo" (uso di Unicode) specifico per la distillazione di o1/o3, fornendo un vettore di rilevamento complementare.
Framework di Valutazione Ibrido: Gli autori sviluppano una strategia di valutazione rigorosa combinando esperimenti di distillazione controllati (con verità di base nota) e analisi di modelli reali per affrontare l'aggrovigliamento delle linee di modelli moderni.
Framework Statistico: L'introduzione di test di significatività sia per l'attribuzione dell'insegnante che per il rilevamento binario della distillazione per mitigare i falsi positivi.

Risultati
Il metodo è stato valutato attraverso esperimenti controllati e modelli reali:

Esperimenti Controllati: In scenari di distillazione a singolo insegnante di tipo SFT, il metodo basato sul riferimento ha raggiunto un'accuratezza quasi perfetta (accuratezza aggregata del 100%) nell'identificare il vero insegnante, superando significativamente i baseline come la verosimiglianza grezza, la verosimiglianza normalizzata ZLIB e le metriche di somiglianza basate su stringhe. Il segnale è emerso rapidamente, richiedendo solo poche decine di esempi di addestramento.
Modelli Reali: Applicato a modelli come i distillati di DeepSeek-R1 e s1.1-32B, il metodo ha identificato correttamente DeepSeek-R1 come l'insegnante in 7 casi su 7.
Attribuzione in Open-World: In contesti open-world dove il vero insegnante potrebbe non essere nel pool dei candidati, il metodo ha classificato con successo i probabili insegnanti. Ad esempio, ha identificato DeepSeek-R1 come l'insegnante più probabile per QwQ-32B e ha suggerito una potenziale influenza di o1/o3 su DeepSeek-R1 e GPT-OSS tramite il segnale Unicode.
Limitazioni Osservate: Il metodo dipende dalla disponibilità di un checkpoint di riferimento adeguato (che è stato difficile per GPT-OSS). Inoltre, l'accuratezza è diminuita significativamente quando le tracce di ragionamento erano nascoste (ad esempio, disponibili solo le risposte finali), e le soglie di rilevamento calibrate su insegnanti di ragionamento non si sono generalizzate bene ai non-insegnanti di ragionamento.

Significatività e Rivendicazioni
Il documento sostiene di aver stabilito la fattibilità dell'audit a livello di modello per la distillazione nei moderni LLM. Postula che, sebbene il rilevamento assoluto sia difficile, un setting basato sul riferimento permette l'identificazione dei modelli insegnanti con alta confidenza. Gli autori inquadrano questo lavoro come un "primo passo" verso la trasparenzza in pipeline di sviluppo dei modelli sempre più opache. Dichiarano esplicitamente che le loro scoperte forniscono prove empiriche per potenziali relazioni di distillazione che coinvolgono QwQ, DeepSeek-R1 e GPT-OSS, ma avvertono che queste dovrebbero essere viste come esplorazioni preliminari a causa delle assunzioni semplificative (singolo insegnante, SFT dell'ultimo stadio) e della natura complessa e aggrovigliata delle linee di modelli reali. Il lavoro mira a motivare la ricerca futura nell'attribuzione sotto regimi più complessi, come la distillazione multi-insegnante e multi-stadio.