🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint introduce un'impronta digitale nello spazio dei token, calibrata e priva di addestramento, che sfrutta le proiezioni del vocabolario top- $k$ da sonde di conoscenza per identificare accuratamente la provenienza, la linea di discendenza e i dati di addestramento condivisi tra diversi modelli linguistici e livelli di quantizzazione.

Autori originali: Yuqi Wu, Shengming Zhao, Jie Chen

Pubblicato 2026-08-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yuqi Wu, Shengming Zhao, Jie Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire chi sia una persona misteriosa, ma questa non mostra mai il suo documento d'identità e i suoi genitori non vogliono rivelarti il suo cognome. Hai solo la sua voce. Se ascolti attentamente, potresti notare che usa lo stesso gergo dei suoi fratelli, finisce le loro frasi in un modo specifico o ha un ritmo unico che condividono i suoi cugini. Nel mondo dell'intelligenza artificiale, queste "persone" sono i Large Language Models (LLM) — programmi informatici che scrivono, chattano e risolvono problemi. Per molto tempo, se un'azienda rilasciava un nuovo modello, poteva nascondere esattamente da quale modello precedente fosse partito o su quali libri e siti web specifici fosse stato addestrato. Questo è un problema perché se un modello è costruito su dati rubati o addestrato per essere dannoso, abbiamo bisogno di conoscere il suo "albero genealogico" per ritenere le persone giuste responsabili. Gli scienziati hanno cercato di risolvere questo problema osservando il codice interno del modello (il suo "DNA"), ma cosa succede se quel codice è nascosto? Questo articolo pone una domanda intelligente: possiamo identificare la famiglia di un modello semplicemente ascoltando ciò che dice?

I ricercatori Yuqi Wu, Shengming Zhao e Jie Chen della Fudan University hanno introdotto un nuovo strumento chiamato TokenPrint. Pensatelo come a un "impronta vocale" per l'IA. Invece di aver bisogno di vedere il codice interno segreto del modello, chiedono semplicemente al modello 250 domande specifiche — come "Qual è la capitale del Canada?" o "Scrivi una riga di codice per un ciclo" — e poi osservano le prime parole che il modello sceglie per rispondere. Chiamano queste prime scelte l' "impronta digitale" del modello.

Ecco il trucco magico: quando due modelli sono correlati (ad esempio, uno è una versione "fine-tuned" dell'altro, o sono stati entrambi addestrati esattamente sullo stesso insieme di dati), tendono a scegliere le stesse parole iniziali per queste domande, anche se hanno dimensioni diverse o sono stati creati da aziende diverse. I ricercatori hanno misurato questa somiglianza usando uno strumento matematico chiamato sovrapposizione di Jaccard, che fondamentalmente chiede: "Quante delle parole iniziali sono condivise da questi due modelli?".

La ricerca ha scoperto cose affascinanti:

La somiglianza familiare è reale: I modelli che condividono un "genitore" o un dataset di addestramento hanno un punteggio di somiglianza molto più alto (circa 0,35 - 0,48) rispetto a modelli totalmente non correlati (circa 0,17). È come come la voce di un bambino possa somigliare più a quella del suo genitore rispetto a quella di uno sconosciuto, anche se non sono identici.
Accade presto: Questa "impronta vocale" inizia a formarsi incredibilmente velocemente. I ricercatori hanno visto queste somiglianze apparire entro il primo 1% del tempo di addestramento del modello, molto prima che il modello fosse effettivamente abbastanza intelligente da rispondere correttamente alle domande. Ciò suggerisce che l'impronta derivi dai dati che il modello ha "mangiato", non solo da quanto sia diventato intelligente.
Funziona anche quando è nascosto: Il metodo funziona anche se i modelli utilizzano "vocabolari" diversi (liste di parole differenti) o diverse architetture informatiche. È come riconoscere un membro della famiglia anche se sta parlando un dialetto leggermente diverso.
È uno strumento investigativo, non una bacchetta magica: L'impronta digitale è ottima per restringere l'elenco dei sospettati. Ad esempio, quando hanno provato a trovare il "genitore" di cinque modelli specifici (chiamati distillazioni R1), l'impronta digitale ha identificato correttamente il vero genitore come una delle prime due ipotesi ogni volta. Tuttavia, a volte non è riuscita a distinguere tra un genitore e un cugino molto stretto (come un modello fratello), il che significa che ti indica la direzione giusta ma non sempre fornisce una risposta singola e perfetta.

I ricercatori hanno anche controllato se questa impronta sopravvive quando il modello viene rimpicciolito per risparmiare spazio (un processo chiamato quantizzazione). Hanno scoperto che anche quando il modello era compresso a una dimensione molto piccola (int4 o int8), l'impronta rimaneva forte, con un punteggio di somiglianza di 0,82 - 0,92 rispetto all'originale. Ciò significa che la "voce" non cambia molto anche quando il modello viene schiacciato.

In breve, TokenPrint suggerisce che ogni modello linguistico lascia una traccia unica e persistente di "scelte di parole" che rivela la sua storia di addestramento. È un modo leggero e senza necessità di addestramento per tracciare la linea di discendenza di un modello, aiutandoci a capire chi ha fatto cosa e da dove provengono i dati, senza dover sbirciare nel codice segreto del modello. Sebbene non possa sempre nominare il genitore esatto con la certezza del 100%, è una nuova e potente lente d'ingrandimento per tracciare gli alberi genealogici dell'IA.

Sintesi Tecnica: TokenPrint

Definizione del Problema
Il rapido rilascio di modelli linguistici a pesi aperti (open-weight) ha superato la capacità di auditarne la provenienza. Gli attuali meccanismi di governance affrontano sfide significative: le "model card" spesso omettono il checkpoint di base specifico utilizzato per il fine-tuning, le dichiarazioni sui dati di addestramento sono frequentemente incomplete e modelli sviluppati nominalmente in modo indipendente possono condividere porzioni sostanziali dei loro corpora di addestramento. I metodi forensi esistenti sono limitati nell'ambito: gli approcci nello spazio dei pesi (es. HuRef, Model Tree Heritage Recovery) richiedono l'accesso ai parametri e presuppongono l'eredità dei parametri, mentre le filogenesi comportamentali (es. PhyloLM) producono spesso strutture non calibrate che rivelano raggruppamenti ma mancano di aspettative calibrate per i livelli di somiglianza derivanti da basi condivise, sovrapposizioni di dati o mera convergenza delle capacità. È necessario un metodo che possa inferire la linea di discendenza e la storia dell'addestramento di un modello senza richiedere l'accesso ai suoi pesi, applicabile anche quando i modelli non condividono alcun parametro.

Metodologia
Gli autori introducono TokenPrint, un'impronta digitale (fingerprint) priva di necessità di addestramento, basata sulle proiezioni del vocabolario top- $k$ degli stati latenti tardivi elicitati da un set fisso di 250 sonde di conoscenza.

Estrazione del Fingerprint: Per un modello linguistico causale con $L$ layer, il metodo utilizza 250 prompt fissi (sonde) senza template di chat. Registra lo stato latente $h_\ell(p)$ ad altezze specifiche ( $\ell \in \{L/4, L/2, 3L/4, L-2\}$ ) e li proietta attraverso la matrice di unembedding $W_U$ per ottenere i logit. I primi 100 token vengono decodificati in stringhe, filtrati per token "glitch" (basandosi sulle norme di unembedding) e privati degli spazi bianchi. Il fingerprint è la mappatura da ogni sonda alla propria lista ordinata di stringhe di token decodificate.
Metrica di Somiglianza: La somiglianza tra due modelli $a$ e $b$ alla profondità $\ell$ è definita come la media della sovrapposizione di Jaccard dei rispettivi set di stringhe decodificate top- $k$ attraverso tutte le sonde:
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
Le profondità interne sono accoppiate tramite posizione frazionaria per adattarsi a modelli di diverse dimensioni.
Calibrazione e Stima del Null: Per tenere conto delle strutture lessicali condivise e degli effetti del tokenizer indipendenti dal contenuto della sonda, gli autori stimano un "null a sonda disallineata" ( $\tilde{S}$ ) specifico per coppia. Questo viene calcolato accoppiando la risposta del modello $a$ alla sonda $i$ con la risposta del modello $b$ a una diversa sonda $j \neq i$ . La metrica finale è la somiglianza in eccesso ( $S - \tilde{S}$ ), che isola il segnale legato al contenuto della sonda.
Pool di Valutazione: Il metodo è valutato su un pool di calibrazione di 32 modelli a pesi aperti (0.6B–32B parametri) provenienti da nove famiglie di sviluppatori, inclusi rapporti documentati come i modelli Pythia (dati identici, nessun peso condiviso), distillazioni di DeepSeek-R1 (checkpoint di base condivisi) e generazioni successive. Un "pool di testimoni" esterno include modelli addestrati sullo stesso corpus (The Pile) da organizzazioni diverse con tokenizer e architetture differenti.

Risultati Chiave

Scala di Somiglianza Calibrata: La somiglianza del fingerprint segue ampiamente la correlazione documentata dei modelli.
- Dati Identici (Nessun Peso Condiviso): I modelli Pythia addestrati sugli stessi dati nello stesso ordine mostrano la massima somiglianza in eccesso (0.35).
- Fine-tune con Base Condivisa: I modelli che ereditano un checkpoint di base mostrano un'alta somiglianza (0.33).
- Stesso Sviluppatore/Lineage: I modelli dello stesso sviluppatore o gruppo di lineage mostrano una somiglianza intermedia (0.25–0.28).
- Modelli Non Correlati: I modelli senza alcuna relazione documentata mostrano la somiglianza più bassa (0.17).
  Questo segnale persiste attraverso diverse organizzazioni, famiglie di tokenizer (es. Cerebras-GPT vs. Pythia) e classi di architettura (es. RWKV vs. Transformers).
Emergenza Precoce: Il segnale di somiglianza emerge entro l'1% dell'addestramento (es. al passo 1000 per i modelli Pythia), ben prima che venga raggiunta una competenza fattuale misurabile (accuratezza della sonda). Ciò suggerisce che il segnale derivi dalle distribuzioni comuni dei dati di addestramento piuttosto che dalla semplice convergenza delle capacità di task.
Recupero della Lineage: Come metodo di recupero del vicino più prossimo (nearest-neighbor), TokenPrint riesce a classificare l'esatto checkpoint di base documentato tra i primi due candidati per tutte e cinque le distillazioni di DeepSeek-R1 (Mean Rank 1.8, MRR 0.60). Significativamente, identifica basi specializzate (es. una base specializzata in matematica) che i metadati grossolani (lineage del tokenizer e conteggio dei parametri) non riescono a distinguere. Tuttavia, il metodo identifica spesso un "vicinato di lineage" piuttosto che un genitore unico, poiché le alternative strettamente correlate (es. varianti Instruct con stessa base) spesso ottengono classificazioni elevate.
Profondità e Robustezza:
- Profondità: La forza discriminante aumenta verso la distribuzione di output, con l'AUC che sale da 0.72 alla profondità di un quarto a 0.90 all'output finale. Utilizzando solo i primi 5 token di output, si mantiene un AUC di 0.87.
- Quantizzazione: Il fingerprint rimane stabile sotto quantizzazione, mostrando una somiglianza di Jaccard di 0.92 sotto int8 e 0.82–0.85 sotto int4 rispetto al baseline bf16.
- Controllo delle Capacità: L'analisi di regressione conferma che la struttura del gruppo di lineage osservata persiste anche controllando i gap di capacità e la scala dei parametri.

Significatività e Rivendicazioni
Il paper posiziona TokenPrint come uno strumento pratico per il recupero della lineage e l analisi della provenienza del modello che opera senza accesso ai pesi. La sua principale significatività risiede nel:

Operatività Senza Addestramento: Richiede solo passaggi in avanti (forward passes), rendendolo applicabile a modelli black-box o ad accesso limitato dove i metodi nello spazio dei pesi falliscono.
Interpretazione Calibrata: Stabilendo una "scala di somiglianza" rispetto alle relazioni documentate, il metodo va oltre il semplice raggruppamento non calibrato per fornire intervalli di riferimento su cosa livelli di somiglianza implichino tipi specifici di relazioni (es. dati condivisi vs. base condivisa).
Segnale Basato sui Dati: La persistenza del segnale attraverso organizzazioni e architetture indipendenti, e la sua emergenza prima della convergenza delle capacità, suggerisce che i fingerprint nello spazio dei token catturino artefatti strutturali persistenti delle distribuzioni dei dati di addestramento.

Limitazioni e Ambito
Gli autori dichiarano esplicitamente che il metodo non identifica il meccanismo di una relazione (es. distinguere l'eredità dei pesi dalla sovrapposizione dei corpora) basandosi su un singolo punteggio a coppie. Invece, fornisce una struttura globale di somiglianza per restringere i set di candidati e generare ipotesi per un'analisi mirata successiva. Il metodo è più adatto per identificare quali relazioni tra modelli meritino un'indagine più approfondita piuttosto che servire come prova legale autonoma di una specifica storia di addestramento. Gli autori notano inoltre che i confronti tra tokenizer diversi possono sottostimare la somiglianza a causa della diversa segmentazione di stringhe semanticamente equivalenti.

Articoli simili