Riepilogo Tecnico: Quantificazione dei Rapporti di Trasferimento Comportamentale Subliminale nella Distillazione di Modelli Linguistici

Definizione del Problema

La distillazione della conoscenza è una tecnica standard per comprimere i grandi modelli linguistici (LLM) in modelli più piccoli, particolarmente per l'impiego in contesti con risorse limitate. Sebbene il trasferimento delle capacità a livello di task sia ben compreso, le proprietà di sicurezza di questa pipeline rimangono insufficientemente caratterizzate. Nello specifico, esiste il rischio di apprendimento subliminale: un fenomeno in cui un modello studente, addestrato esclusivamente su dati benigni generati da un modello insegnante, eredita tratti comportamentali latenti (come una ridotta resistenza alle richieste dannose) incorporati nella distribuzione dell'output dell'insegnante.

Sebbene lavori recenti (Cloud et al., 2025) abbiano stabilito l'esistenza di questo trasferimento, l'entità dell'effetto in funzione del grado di compromissione dell'insegnante non è stata sistematicamente quantificata. Non è chiaro se questo trasferimento segua una scalabilità fluida, presenti soglie nette o vari significativamente tra diverse famiglie di modelli. Senza un'analisi quantitativa, valutare i rischi pratici negli scenari di deployment — in particolare quando si distilla da modelli più grandi o compromessi all'interno della stessa famiglia — risulta difficile.

Metodologia

Lo studio introduce una metodologia controllata per isolare e quantificare il canale di trasferimento subliminale combinando lo steering delle attivazioni con la distillazione su dati esclusivamente benigni. La pipeline consiste in quattro fasi:

1. Estrazione della Direzione di Rifiuto: Seguendo Arditi et al. (2024), gli autori costruiscono un dataset contrastivo di prompt dannosi e innocui per estrarre un vettore di "direzione di rifiuto" ($v_\ell$) dallo stream residuo dei modelli insegnanti. Questo vettore rappresenta la direzione lineare che media il comportamento di rifiuto.

   • Per Llama-2-7B-Chat, la direzione è estratta al livello 15 ($v_{15}$).
   • Per Qwen2.5-7B-Instruct, la direzione è estratta al livello 18 ($v_{18}$).

2. Steering dell'Insegnante: Gli autori applicano un intervento agli stati nascosti dell'insegnante durante la generazione: $\tilde{h}_\ell = h_\ell + \alpha \cdot v_\ell$. Valori negativi del coefficiente di steering $\alpha$ sopprimono la direzione di rifiuto, degradando efficacementamente l'allineamento di sicurezza dell'insegnante senza riaddestramento. Vengono testati cinque livelli di forza di steering: $\alpha \in \{-0.05, -0.10, -0.15, -0.20, -0.25\}$.

3. Generazione dei Dati: Utilizzando 1.000 prompt benigni dal dataset Mechanica Anomaly Detection, gli autori generano risposte dell'insegnante sia in condizioni non steerate ($\alpha=0$) che in condizioni steerate. Solo le coppie prompt-risposta che sopravvivono al filtraggio (assenza di ripetizioni o fallimenti di generazione) in entrambe le condizioni vengono mantenute, creando dataset di controllo e di trattamento accoppiati. Ciò garantisce che l'unica differenza sistematica tra i dataset sia lo stato interno dell'insegnante.

4. Distillazione dello Studente e Valutazione: Sei modelli studenti per ogni famiglia vengono perfezionati tramite QLoRA (rank 16, quantizzazione 4-bit NF4). Un modello studente è addestrato sul dataset di controllo e cinque sono addestrati sui dataset steerati. Tutti i modelli sono valutati su 100 prompt di JailbreakBench utilizzando GPT-4.1 come giudice automatizzato.

Il Rapporto di Trasferimento Subliminale ($\tau$) è definito come:
$$\tau(\alpha) = \frac{ASR_{treat}(\alpha) - ASR_{ctrl}}{ASR_{teacher}(\alpha) - ASR_{teacher}(\alpha=0)}$$
dove $ASR$ è l'Attack Success Rate (Tasso di Successo dell'Attacco). $\tau=0$ indica assenza di trasferimento, mentre $\tau=1$ indica un trasferimento completo della degradazione dell'insegnante.

Contributi Chiave

1. Metodologia di Quantificazione Controllata: Il documento introduce un framework per isolare il trasferimento subliminale attraverso lo steering degli insegnanti a intensità calibrate e la successiva distillazione su dati puramente benigni, eliminando la contaminazione diretta dei dati come variabile.
2. Caratterizzazione Empirica della Scalabilità: Lo studio rivela che la scalabilità del trasferimento dipende dal modello. Identifica un comportamento a soglia netta in Llama-2 rispetto a un trasferimento continuo e di livello superiore in Qwen2.5.
3. Pipeline Riproducibile: Gli autori forniscono una pipeline di valutazione completa che spazia dallo steering delle attivazioni alla distillazione, fino alla valutazione della sicurezza tramite punteggio giudicato da GPT-4.1.

Risultati

Gli esperimenti sono stati condotti su Llama-2-7B-Chat e Qwen2.5-7B-Instruct.

Llama-2-7B-Chat

• Comportamento: Llama-2 esibisce una soglia netta nella degradazione della sicurezza. Uno steering moderato ($\alpha = -0.05$ a $-0.10$) causa una degradazione graduale dell'insegnante, ma i modelli studenti rimangono sicuri (ASR 1–5%) finché l'insegnante non viene severamente compromesso.
• Soglia: Una transizione distinta avviene tra $\alpha = -0.15$ e $\alpha = -0.20$. A $\alpha = -0.20$, l'ASR dell'insegnante balza al 94%, e l'ASR dello studente sale al 25% ($\tau = 0.25$). A $\alpha = -0.25$, l'ASR dello studente raggiunge il 33% ($\tau = 0.32$).
• Degradazione: A $\alpha = -0.25$, il 19% degli output dell'insegnante è stato segnalato come degenerato, suggerendo che uno steering forte interrompa la coerenza linguistica. La stima più affidabile per il trasferimento supra-soglia è a $\alpha = -0.20$ (1% di output degenerati).

Qwen2.5-7B-Instruct

• Comportamento: Qwen2.5 mostra un trasferimento continuo e di livello superiore. Non esiste una chiara fase sub-soglia in cui lo studente rimane sicuro mentre l'insegnante degrada.
• Scalabilità: Il trasferimento inizia a salire immediatamente da $\alpha = -0.10$ ($\tau = 0.32$) e aumenta costantemente: $\tau = 0.35$ a $\alpha = -0.15$, $\tau = 0.44$ a $\alpha = -0.20$, e $\tau = 0.61$ a $\alpha = -0.25$.
• Stabilità: A differenza di Llama, Qwen2.5 ha prodotto zero output degenerati a qualsiasi coefficiente di steering, rendendo le stime di trasferimento non confuse dalla perdita di coerenza.

Significato e Rivendicazioni

Il documento sostiene che il trasferimento comportamentale subliminale attraverso dati benigni è robusto tra le diverse architetture di modelli, ma il suo comportamento di scalabilità dipende dal modello.

• Llama-2 dimostra un confine di allineamento più forte, risultando in una soglia netta dove la sicurezza viene mantenuta finché l'insegnante non è severamente compromesso, dopodiché lo studente assorbe una parte significativa (25–32%) della degradazione.
• Qwen2.5 suggerisce confini di allineamento più deboli o una geometria dello stream residuo più suscettibile ai cambiamenti distribuzionali, portando a un trasferimento continuo in cui gli studenti assorbono fino al 61% della degradazione dell'insegnante anche a intensità di steering moderate.

Gli autori sottolineano che questi risultati evidenziano la necessità di un audit comportamentale delle pipeline di distillazione che vada oltre l'ispezione dei contenuti a livello di dati. Sostengono che, anche quando i dati di addestramento appaiono interamente benigni, i tratti latenti di un insegnante compromesso possono essere trasmessi subliminalmente.

Limitazioni

Il documento riconosce diverse limitazioni:

• Scala: Gli esperimenti sono limitati a modelli con 7 miliardi di parametri; i pattern di scalabilità potrebbero differire ad altre dimensioni.
• Specificità dell'Architettura: I risultati caratterizzano la distillazione intra-famiglia (es. da Llama a Llama); lavori precedenti suggeriscono che l'apprendimento subliminale possa fallire tra architetture di base fondamentalmente diverse.
• Valutazione: L'uso di 100 prompt di JailbreakBench introduce incertezza di campionamento, sebbene siano stati riportati intervalli di confidenza di Wilson per i confronti chiave.
• Fine-tuning: I risultati sono specifici per QLoRA con rank 16; un fine-tuning completo o diverse configurazioni di adapter potrebbero alterare l'entità e le soglie del trasferimento.
• Affidabilità del Giudice: Fare affidamento su GPT-4.1 come singolo giudice automatizzato richiede una futura validazione umana.
• Effetti Iterativi: Lo studio misura un singolo round di distillazione; resta una questione aperta se il trasferimento subliminale si accumuli attraverso successivi passaggi di distillazione.