🤖 machine learning

When the Same Coefficients Reach Different Places: Asymmetric Realizability in Transplanting Tokenizers across Large Language Models

Questo documento identifica una vulnerabilità strutturale di "realizzabilità asimmetrica" nel trapianto di tokenizzatori tra grandi modelli linguistici, in cui specifici vettori di coefficienti possono essere progettati come "token di rottura" che rimangono inerti nel modello donatore ma innescano ricostruzioni ad alta salienza nel modello base, eludendo così i controlli standard di fusione dei pesi e le mitigazioni basate su LoRA.

Autori originali: Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Il "Glitch del Traduttore Universale"

Immagina di avere due lingue diverse: Donatore (il modello sorgente) e Base (il modello target). A volte, gli sviluppatori vogliono combinarli. Prendono una parola che esiste solo nel dizionario del Donatore e cercano di "trapiantarla" nel dizionario della Base in modo che la Base possa comprenderla.

Per fare questo, usano un Traduttore (uno strumento come mergekit). Il Traduttore esamina la parola del Donatore e dice: "Ok, questa parola è composta per il 10% dalla Parola A, per il 5% dalla Parola B e per il 2% dalla Parola C". Prende quindi quelle percentuali esatte (i coefficienti) e le applica al dizionario della Base per creare una nuova parola.

La Scoperta del Documento: I ricercatori hanno individuato un difetto nascosto in questo processo di traduzione. Poiché i due dizionari (Donatore e Base) sono strutturati in modo diverso, lo stesso insieme di percentuali può significare due cose completamente diverse.

Nel dizionario del Donatore, quelle percentuali potrebbero sommare a una parola noiosa, invisibile, che nessuno usa mai.
Nel dizionario della Base, quelle stesse percentuali esatte potrebbero sommare a una parola rumorosa, che attira l'attenzione, che il modello ama dire.

Il documento chiama questo fenomeno "Realizzabilità Asimmetrica". È come avere un codice segreto che è silenzioso in una stanza ma urla in un'altra.

L'Attacco: Il "Token Fantasma"

I ricercatori hanno dimostrato come un attaccante possa sfruttare questo meccanismo. Hanno creato quello che chiamano un "Token Rottore".

La Preparazione: L'attaccante aggiunge una nuova parola falsa al dizionario del modello Donatore.
Il Trucco: Compongono attentamente gli "ingredienti" (il vettore di embedding) di questa parola falsa in modo che:
- Nel modello Donatore, gli ingredienti siano noiosi. Il modello ignora completamente questa parola. È come un fantasma che attraversa la mente del Donatore senza lasciare traccia.
- Nel modello Base, dopo che avviene la "traduzione", quegli stessi ingredienti diventano improvvisamente un magnete. Il modello Base inizia a dire questa parola falsa costantemente.

L'Analogia: Immagina di avere una ricetta per una torta (il Donatore). Aggiungi un pizzico di "polvere invisibile" alla ricetta.

Quando cuoci la torta nella Cucina A (il Donatore), la polvere non fa nulla. La torta ha un sapore normale.
Invi la ricetta alla Cucina B (la Base). Poiché la Cucina B utilizza tazze da misurazione e forni diversi, quello stesso "pizzico di polvere invisibile" fa sì che la torta diventi di un rosso acceso e gridi "Ciao!" ogni volta che esce dal forno.

L'attaccante non ha bisogno di hackerare direttamente il modello Base. Deve solo avvelenare la ricetta del Donatore, e il processo di "traduzione" fa il resto.

Cosa Può Fare Questo Token Rottore?

Il documento mostra tre modi in cui questa "parola fantasma" può causare problemi, a seconda di come l'attaccante la nomina:

Degrado del Servizio (La Radio Rotto): Se l'attaccante nomina il token in modo che il modello si ripeta, il modello Base potrebbe semplicemente continuare a emettere quel token all'infinito, rifiutandosi di rispondere a qualsiasi domanda. È come una radio bloccata su un unico rumore di disturbo.
Avvelenamento della Reputazione (L'Insulto Nascosto): L'attaccante può far dire al modello qualcosa di offensivo (come un insulto) nascosto all'interno di una risposta normale e utile. Il resto della risposta sembra perfetto, ma quella singola "parola fantasma" rovina la reputazione dell'azienda che utilizza il modello.
Marcatura Adversariale (La Firma Invisibile): L'attaccante può far sì che il modello aggiunga un codice segreto (come [WM-8472]) a ogni risposta. Questo permette all'attaccante di dimostrare in seguito: "Ehi, questo modello sta usando il mio vocabolario rubato", senza che nessuno noti la presenza del codice.

Perché Non Possiamo Semplicemente Risolverlo?

I ricercatori hanno testato i metodi comuni che le persone usano per ripulire i modelli AI dopo averli fusi, e hanno scoperto che questi metodi falliscono contro questo specifico attacco:

Fine-Tuning (Insegnare Nuovi Trucchi al Modello): Se si cerca di riaddestrare il modello Base per smettere di dire la parola cattiva, funziona solo se lo si allena sullo stesso tipo esatto di domande che gli sono state poste durante l'attacco. Se gli si pone una domanda leggermente diversa (come un problema di matematica invece di una storia), il modello dimentica la lezione e ricomincia a dire la parola cattiva.
Fusione con un Modello Pulito: Se si mescola il modello "avvelenato" con un modello "pulito" per diluire le parti cattive, l'attacco sopravvive. La "parola fantasma" è così strutturalmente incorporata nella traduzione che mescolarla con pesi puliti non la lava via.
Filtri Spettrali (Il Metal Detector): Le persone usano strumenti per scansionare i modelli alla ricerca di numeri "strani" che sembrano attacchi. I ricercatori hanno scoperto che i loro "token fantasma" appaiono perfettamente normali a questi scanner. Si nascondono sotto gli occhi di tutti, apparendo esattamente come una parola normale nel dizionario del Donatore.

La Conclusione

Questo documento rivela una debolezza strutturale nel modo in cui combiniamo i modelli AI oggi. Non è un bug in un modello specifico; è un problema fondamentale con la matematica di "traduzione" utilizzata per combinarli.

L'Avvertimento: Se stai costruendo prodotti AI mescolando e abbinando modelli open-source (una pratica comune al momento), potresti inconsapevolmente importare "parole fantasma" da una fonte malintenzionata. Queste parole rimarranno silenziose nella sorgente ma esploderanno in azione nel tuo prodotto, e i controlli di sicurezza standard potrebbero non individuarle.

Gli autori suggeriscono che abbiamo bisogno di nuovi modi per verificare queste parole "trapiantate" prima di lasciarle entrare nei nostri sistemi, perché gli attuali strumenti di "mescola e abbina" sono troppo fiduciosi.

Riepilogo Tecnico: Realizzabilità Asimmetrica nel Trapianto di Tokenizer

Enunciato del Problema

Il documento affronta una vulnerabilità strutturale nella catena di approvvigionamento dei modelli linguistici su larga scala (LLM) a pesi aperti, specificamente all'interno delle pipeline di trapianto di tokenizer senza addestramento. Man mano che gli sviluppatori compongono sempre più nuovi modelli fondendo checkpoint esistenti (ad esempio, tramite mergekit), devono colmare le lacune lessicali tra un modello "donatore" (fonte di nuovi token) e un modello "base" (destinatario).

Gli operatori di trapianto all'avanguardia attuali (come OMP, CLP, WECHSEL e FOCUS) si basano sulla ricostruzione a base condivisa. Questi metodi ricostruiscono l'incorporazione di un token esclusivo del donatore nello spazio del modello base mediante:

L'adattamento di un insieme sparso di coefficienti ( $\beta$ ) per rappresentare il token del donatore come una somma pesata di token "ancora" condivisi nello spazio di incorporamento del donatore.
Riutilizzando esattamente quei coefficienti per sintetizzare la nuova incorporazione nello spazio del modello base ( $\hat{x}_b = \Phi_b^\top \beta$ ).

Gli autori identificano un difetto geometrico critico: la Realizzabilità Asimmetrica. Lo stesso vettore di coefficienti $\beta$ può mappare su una regione a bassa energia, statisticamente inerte, nell'intervallo delle ancore del donatore, mappando simultaneamente su una regione ad alta salienza e ad alta probabilità nell'intervallo delle ancore del modello base. Questo divario consente a un attaccante di manipolare gli artefatti lessicali del donatore per indurre comportamenti specifici e ad alta frequenza nel modello base senza alterare i pesi interni del donatore o il codice di trapianto.

Metodologia

Gli autori propongono un attacco "a token di rottura" senza addestramento che sfrutta questa asimmetria geometrica. L'attacco non richiede accesso ai gradienti del modello base né la modifica dei pesi del trasformatore del donatore.

1. Costruzione dell'Attacco

L'attaccante aggiunge un singolo nuovo token $\tau^*$ al tokenizer del donatore e costruisce il suo vettore di incorporazione $x_d(\tau^*)$ per soddisfare due obiettivi conflittuali:

Inerzia del Donatore: Il token deve rimanere statisticamente invisibile nel modello donatore (bassa probabilità di emissione). Ciò è ottenuto vincolando l'incorporazione del token a giacere nelle direzioni a "bassa energia" della distribuzione degli stati nascosti del donatore (specificamente, ortogonali alle componenti principali della variazione del donatore, denotate come sottomatrice $U$ ).
Salienza del Modello Base: Dopo il trapianto, il token deve ricostruirsi in una direzione ad alta salienza nel modello base. L'attaccante prende di mira la media empirica degli stati nascosti dell'ultimo strato del modello base ( $\mu_{base}$ ) derivata da testi pubblici.

2. Framework di Ottimizzazione

L'attaccante risolve un problema di ottimizzazione a doppio obiettivo per trovare i coefficienti ottimali $\alpha$ (o direttamente l'incorporazione $x_d$ ):
$\mathcal{L}(\theta) = \underbrace{\| \hat{x}_b(\theta) - \mu_{base} \|_2^2}_{\text{Salienza del Modello Base}} + \lambda \underbrace{\| U x_d(\theta) \|_2^2}_{\text{Inerzia del Donatore}} + \rho R(\theta)$

Per OMP (Orthogonal Matching Pursuit): L'attaccante utilizza una strategia di selezione greed della support per scegliere un sottoinsieme di ancore condivise $S$ e risolve per i coefficienti $\alpha$ che minimizzano la proiezione del donatore su $U$ massimizzando al contempo l'allineamento con $\mu_{base}$ .
Per Operatori Differenziabili (CLP, WECHSEL, FOCUS): L'attaccante ottimizza direttamente l'incorporazione del donatore utilizzando la discesa del gradiente, simulando la mappa in avanti dell'operatore specifico durante l'ottimizzazione.

3. Modalità di Realizzazione

Il documento dimostra che la forma superficiale del token di rottura è controllata dall'attaccante. A seconda della stringa scelta, l'attacco può manifestarsi come:

Degradazione del Servizio: Il token domina la generazione, causando al modello l'output di testo ripetitivo e privo di senso.
Avvelenamento della Reputazione: Il token (ad esempio, un insulto) viene inserito sparsamente in catene di ragionamento altrimenti coerenti.
Marcatura Adversariale: Un tag nascosto viene aggiunto agli output, consentendo all'attaccante di tracciare l'uso non autorizzato del lessico compromesso.

Contributi Chiave

Identificazione della Realizzabilità Asimmetrica: Il documento caratterizza formalmente la proprietà geometrica per cui la ricostruzione a base condivisa consente a un singolo vettore di coefficienti di essere "silenzioso" nello spazio del donatore ma "rumoroso" nello spazio del modello base. Ciò è dimostrato tramite un'analisi della Decomposizione ai Valori Singolari Generalizzata (GSVD) dei dizionari di ancore accoppiati.
Costruzione del Token di Rottura: Gli autori forniscono un metodo concreto e senza addestramento per costruire questi token. Dimostrano che un singolo checkpoint del donatore (ad esempio, Gemma-2-2B) può essere armato per attaccare 13 basi a valle diverse attraverso cinque famiglie di modelli (Llama, Mistral, Qwen, Gemma, SmolLM2) semplicemente aggiungendo diverse righe di token di rottura per ogni obiettivo.
Valutazione delle Difese:
- Filtri Spettrali: I rilevatori euristici standard (ad esempio, Magikarp, che verifica il collasso della norma o l'allineamento spazzatura) non riescono a rilevare i token di rottura perché i token sono progettati per mimetizzare la distribuzione statistica dei token naturali del donatore (mimetismo spettrale).
- Fine-tuning LoRA: Il fine-tuning LoRA post-trapianto sopprime l'attacco solo sugli prompt corrispondenti al corpus di addestramento. Su prompt fuori distribuzione (OOD), l'attacco persiste con alti Tassi di Emissione di Sequenza (SER).
- Fusione dei Pesi: Fondere il modello base attaccato con un modello di riferimento pulito non rimuove la direzione piantata; il modello fuso eredita la riga di incorporazione compromessa.

Risultati Sperimentali

Gli autori hanno valutato il loro metodo su 65 coppie donatore-base (incluso un "clique leggero" di 20 coppie e un pool "scala standard" di 65 coppie) utilizzando OMP, con validazione incrociata tra operatori su CLP, WECHSEL e FOCUS.

Asimmetria: Nel clique leggero, 13 coppie su 20 hanno raggiunto un Tasso di Emissione di Sequenza (SER) massimo di $\ge 0.2$ nel modello attaccato, mantenendo un SER del donatore $\le 0.05$ . diverse coppie hanno raggiunto un'emissione perfetta (SER = 1.0) nel modello base rimanendo completamente silenziose (SER = 0.0) nel donatore.
Preservazione dell'Utilità: I modelli donatore patchati hanno mantenuto i loro punteggi di utilità originali (ad esempio, MMLU, perplessità Wikitext) sui benchmark standard, confermando la furtività dell'attacco.
Raggiungimento Cross-Modello: Un singolo checkpoint donatore Gemma-2-2B ha attaccato con successo 13 basi diverse. Il SER medio del modello base ha superato 0.99 su 8 di queste basi, mentre il SER del donatore è rimasto inferiore a 0.014.
Fallimento delle Difese: Il fine-tuning LoRA standard non è riuscito a mitigare l'attacco su distribuzioni OOD tenute da parte (ad esempio, continuazione WikiText), dove il SER è rimasto superiore a 0.87 anche dopo il fine-tuning.

Significato e Affermazioni

Il documento afferma che la geometria del riutilizzo dei coefficienti è un criterio di progettazione fondamentale per gli operatori di trapianto di tokenizer che è stato trascurato. Gli autori sostengono che:

Rischio nella Catena di Approvvigionamento: La catena di approvvigionamento per la composizione a pesi aperti è vulnerabile ad attacchi "uno-a-molti" in cui un singolo donatore malevolo può compromettere un'ampia gamma di modelli a valle senza richiedere adattamento per vittima.
Limitazioni delle Difese Attuali: Le attuali euristiche di audit (filtri spettrali) e le strategie di mitigazione post-hoc (LoRA, fusione dei pesi) sono insufficienti contro questa specifica classe di attacchi geometrici.
Appello all'Azione: Gli autori propongono che i futuri operatori di trapianto debbano incorporare una validazione lato destinatario delle righe sintetizzate (ad esempio, verificando la realizzabilità asimmetrica o utilizzando audit comportamentali) invece di affidarsi esclusivamente all'assunzione che il riutilizzo dei coefficienti sia benigno. Forniscono un diagnostico concreto (energia di asimmetria GSVD) per valutare la robustezza dei nuovi operatori.

Il lavoro non afferma di rompere le capacità di ragionamento fondamentali dei modelli in generale, ma piuttosto evidenzia una specifica modalità di fallimento strutturale nel livello di interoperabilità dell'ecosistema LLM che consente manipolazioni mirate, persistenti e furtive degli output del modello.