Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

1. Il Problema

L'ecosistema attuale dei Large Language Models (LLM) open-weight (come Llama, Qwen, DeepSeek) ha democratizzato l'accesso all'IA, ma ha creato una sfida critica per la sicurezza e l'interpretabilità:

• Mancanza di dati di addestramento: Spesso vengono rilasciati solo i pesi del modello, non i dati completi su cui è stato addestrato o fine-tunato.
• Limiti dei metodi basati sulle attivazioni: Le tecniche di interpretabilità esistenti (es. Sparse Autoencoders, clustering delle attivazioni) richiedono dati di calibrazione distribuzionalmente simili ai dati di addestramento per rilevare comportamenti anomali.
• Minacce Out-of-Distribution (OOD): Questo è un limite fatale per la rilevazione di minacce come i backdoor (trigger nascosti che bypassano le sicurezze) o i contenuti "dimenticati" (unlearning), poiché per definizione questi comportamenti sono rari, specifici e non presenti nei dataset di calibrazione generici.

La domanda centrale è: Possiamo comprendere e monitorare modelli open-weight senza accesso alla loro distribuzione di addestramento?

2. Metodologia: WeightWatch

Gli autori propongono WeightWatch, un approccio basato sui pesi (weight-based) invece che sulle attivazioni, che permette il monitoraggio e il controllo non supervisionato dei modelli fine-tunati senza necessità di dati di calibrazione specifici per l'anomalia.

Concetti Chiave

1. Analisi della Differenza dei Pesi ($\Delta W$):
   Il metodo si basa sull'osservazione che la differenza tra i pesi di un modello fine-tunato ($W_{post}$) e il suo modello base ($W_{base}$) codifica le nuove capacità o comportamenti appresi.
   $$\Delta W = W_{post} - W_{base}$$

2. Decomposizione SVD:
   Viene applicata la Scomposizione ai Valori Singolari (SVD) alla matrice di differenza $\Delta W$ per ogni strato lineare critico (proiezione in uscita dell'attention e proiezione in basso dell'MLP).
   $$\Delta W = U \Sigma V^T$$
   I vettori singolari sinistri ($u_i$) corrispondenti ai valori singolari più grandi ($\sigma_i$) rappresentano le direzioni principali in cui il comportamento del modello è cambiato durante il fine-tuning. Questi vengono chiamati "vettori comportamentali".

3. Monitoraggio (Detection):
   Durante l'inferenza, il sistema calcola la somiglianza del coseno tra le attivazioni dei token in ingresso e i vettori comportamentali monitorati.

   • Si stabilisce un intervallo "normale" di similarità basato su un set di calibrazione (dati generici).
   • Se la similarità di un token cade fuori da questo intervallo, l'input viene segnalato come anomalo (es. attivazione di un backdoor o richiesta su un argomento "dimenticato").
   • Il metodo è non supervisionato: non richiede esempi etichettati di backdoor o contenuti dannosi per funzionare.

4. Steering (Controllo):
   Oltre al rilevamento, i vettori comportamentali possono essere usati per modificare attivamente il comportamento del modello. Se un'attivazione è allineata a una direzione indesiderata, si può proiettare l'attivazione sullo spazio ortogonale a tale direzione:
   $$a_{steered} = a - (a \cdot u)u$$
   Questo permette di "spegnere" comportamenti specifici (es. bypassare un backdoor o recuperare informazioni cancellate).

3. Contributi Chiave

• Paradigma Shift: Spostamento dall'analisi delle attivazioni (che richiede dati) all'analisi diretta dei pesi (che non richiede dati di addestramento specifici per l'anomalia).
• Rilevamento di Backdoor OOD: Capacità di rilevare trigger di backdoor sconosciuti e out-of-distribution con alta precisione, superando i limiti dei metodi supervisionati.
• Verifica e Recupero dall'Unlearning: Dimostrazione che è possibile rilevare quando un modello tenta di accedere a conoscenze che dovrebbero essere state "dimenticate" e, sorprendentemente, recuperare tali conoscenze manipolando le attivazioni.
• Audit di Modelli "In-the-Wild": Applicazione del metodo su modelli commerciali open-weight (OLMo, Qwen, Llama) per scoprire bias e priorità di fine-tuning non documentati (es. uso di emoji, generazione di prompt Midjourney, contenuti ideologici cinesi).

4. Risultati Sperimentali

Rilevamento e Mitigazione dei Backdoor

Testato su modelli con backdoor inseriti tramite LoRA, Fine-Tuning a Parametri Completi (FFT) e RLHF avvelenato (PPO):

• Tasso di Rilevamento: Da 93% a 100% delle attivazioni di backdoor vengono rilevate al primo sguardo.
• Falsi Positivi (FPR): Mantenuti sotto l'1% su dati benigni.
• Confronto: Supera significativamente metodi basati sulle attivazioni (come PCA o SAE) e metodi black-box di stato dell'arte (BEAT), che falliscono quando i dati di backdoor sono rari o assenti nella calibrazione.

Unlearning e Recupero

Testato su modelli che hanno subito "unlearning" (rimozione di conoscenze su Harry Potter o conoscenze pericolose bio/cyber):

• Rilevamento: Tasso di rilevamento delle query su contenuti "dimenticati" tra il 36.21% e il 95.42%.
• Recupero (Steering): Il metodo è riuscito a recuperare il 76.92% delle prestazioni originali su compiti bio-pericolosi (WMDP-Bio) sul modello Zephyr-RMU, dimostrando che l'unlearning spesso è solo una soppressione superficiale delle rappresentazioni.
• Jailbreaking: Combinando lo steering con un prompt prefix, è stato possibile bypassare i meccanismi di rifiuto del modello "Circuit Breaker", aumentando il tasso di successo degli attacchi da 9.6% a 82.08%.

Audit di Modelli Open-Weight (In-the-Wild)

Analizzando OLMo 7B, Qwen 2.5 7B e Llama 3.1 8B, WeightWatch ha scoperto:

• Qwen: Forte focus su contenuti ideologici cinesi, uso frequente di emoji (2.3% delle direzioni) e generazione di prompt Midjourney.
• Llama: Forte focus su ragionamento passo-passo matematico e rifiuti di sicurezza.
• Validazione: Le scoperte sono state confermate empiricamente (es. Qwen usa emoji nel 50% dei casi appropriati contro il 6% di Llama) e tracciate nei dati di addestramento pubblici di OLMo.

5. Significato e Impatto

• Sicurezza Proattiva: WeightWatch offre uno strumento cruciale per gli auditor e i fornitori di servizi per verificare la sicurezza dei modelli prima del deployment, anche senza accesso ai dati privati di addestramento.
• Trasparenza: Permette di "vedere" cosa è stato effettivamente appreso o modificato in un modello fine-tunato, rivelando priorità nascoste o bias culturali.
• Dual-Use (Rischio): Gli autori riconoscono che la tecnica è a doppio taglio. Sebbene utile per la difesa, lo stesso meccanismo di steering può essere usato per bypassare le allineamenti di sicurezza (jailbreaking) o recuperare conoscenze pericolose rimosse, come dimostrato negli esperimenti.
• Futuro: Questo lavoro getta le basi per una comprensione meccanicistica basata sui pesi, proponendo che i pesi stessi contengano informazioni strutturate sufficienti per l'interpretazione senza bisogno di dati di attivazione.

In sintesi, WeightWatch rappresenta un avanzamento significativo nell'interpretabilità dei LLM, trasformando i pesi del modello da una "scatola nera" statica in una fonte dinamica di informazioni per il monitoraggio, la rilevazione di minacce e il controllo del comportamento, superando la dipendenza dai dati di addestramento.