Riepilogo Tecnico: CANARY – Rilevamento Zero-Label della Contaminazione da Fine-Tuning nei Modelli di Linguaggio

1. Definizione del Problema

Il documento affronta la critica vulnerabilità dei Large Language Models (LLM) alla contaminazione da fine-tuning. Gli avversari possono implementare comportamenti dannosi latenti iniettando una piccola frazione (anche solo l'1%) del dataset di fine-tuning. Questa contaminazione crea un "impronta digitale geometrica" negli stati nascosti del modello che rimane dormiente e invisibile alle difese standard a livello di output (come il red-teaming, i classificatori di parole chiave o le scansioni di generazione) finché il tasso di contaminazione non supera approssimativamente il 7,5%.

Le difese esistenti falliscono per due ragioni primarie:

• Metodi a livello di output: Richiedono che il comportamento dannoso si manifesti nel testo generato, il che non avviene a bassi tassi di contaminazione (1–5%).
• Metodi nello spazio dei pesi: Tecniche come la Decomposizione ai Valori Singolari (SVD) delle differenze di peso o i vettori di task operano su differenze di parametri grezze, ad alta dimensionalità e rumorose senza un prior semantico, rendendole inaffidabili a bassi tassi di contaminazione senza dati etichettati.

La sfida centrale è rilevare questo spostamento nascosto prima del deployment, utilizzando zero dati etichettati e senza richiedere la generazione di testo dannoso.

2. Metodologia: CANARY

Gli autori introducono CANARY (Contamination Auditor via Neural Activation Representation Yield), un auditor di checkpoint zero-label che rileva la contaminazione direttamente dalla geometria degli stati nascosti del modello.

Meccanismo Core

CANARY opera confrontando un candidato checkpoint fine-tuned ($\theta_{tuned}$) contro l'originale checkpoint base ($\theta_{base}$) utilizzando un piccolo set di prompt non etichettati e rilevanti per il dominio. Il processo prevede due passaggi in avanti (forward passes) per ogni prompt:

1. Differenza degli Stati Nascosti: Estrae gli stati nascosti dell'ultimo token ($h$) in uno strato intermedio $L$ per entrambi i modelli e calcola il vettore differenza: $\Delta h(x) = h^{(L)}_{tuned}(x) - h^{(L)}_{base}(x)$.
2. Proiezione tramite Sparse Autoencoder (SAE): Proietta $\Delta h$ attraverso un SAE addestrato sulle attivazioni del modello base. L'SAE decompone lo stato nascosto in direzioni di feature sparse e interpretabili.
3. Filtraggio del Rumore: Il metodo identifica le "feature di rumore" — dimensioni dell'SAE corrispondenti a artefatti densi di alta attivazione relativi a stile e formattazione (es. punteggiatura, registro). Queste feature sono tipicamente soppresse durante lo spostamento dal modello base a quello tuned. CANARY maschera (azzerando) queste feature di rumore per isolare lo spostamento semantico (semantic drift).
4. Scoring: Il punteggio CANARY $S(x)$ è la norma L2 al quadrato del vettore differenza filtrato: $S(x) = \|\hat{\Delta h}(x)\|^2$. Un checkpoint viene segnalato se la media del punteggio su un set di prompt eccede significativamente il baseline di un fine-tune benigno.

Distinzioni Chiave

• Nessun Dato Etichettato Richiesto: A differenza dei precedenti lavori di probing o steering (es. Burns et al., 2023; Zou et al., 2023) che richiedono coppie contrastive etichettate (dannose vs benigne), CANARY non richiede esempi etichettati.
• LDA Filtrata da SAE: Il documento estende la Logit Diff Amplification (LDA) iniettando la differenza dello stato nascosto filtrata dall'SAE invece di manipolare direttamente i logit. Ciò previene l'incoerenza (alta perplessità) che affligge la standard LDA quando si amplificano le differenze, permettendo una generazione coerente dei danni latenti per la verifica.

3. Contributi Chiave

Il documento delinea quattro distinte capacità abilitate dal framework CANARY:

1. Rilevare (Detect): Un auditor a due passaggi zero-label che raggiunge un AUROC = 1.000 con l'1% di contaminazione su quattro architetture di modelli. Rileva la contaminazione 7,5× prima di qualsiasi metodo basato sull'output.
2. Verificare (Verify): Una LDA filtrata da SAE che fa emergere il danno latente a un tasso 5× superiore rispetto alla generazione standard mantenendo output coerenti (Perplessità $\approx$ 58 vs 1.8M per la standard LDA), consentendo la conferma comportamentale post-segnalazione.
3. Prioritizzare (Prioritize): Un prioritizzatore di red-teaming basato sul punteggio che concentra il 97% del danno nel quartile superiore dei prompt, producendo un incremento di 4,2× rispetto al campionamento casuale.
4. Rimediare (Remediate): Un meccanismo di soppressione delle feature al tempo di inferenza che prende di mira un sottospazio di feature compatto dell'SAE. Sopprimere una manciata di feature specifiche della contaminazione riduce i tassi di danno dal 70% al 10% con zero penalità di perplessità, chiudendo efficacemente il ciclo detect-to-fix.

4. Risultati Sperimentali

Gli autori hanno valutato CANARY su quattro coppie di modelli (Qwen2.5-0.5B, Llama-3.2-1B, SmolLM2-1.7B, Gemma-2-2B) che spaziano dai paradigmi SFT e RLHF.

• Performance di Rilevamento: CANARY ha raggiunto un AUROC = 1.000 (95% CI [0.997, 1.000]) con l'1% di contaminazione, con un Cohen's $d$ di 3.28. Ha mantenuto un rilevamento perfetto attraverso tutti i tassi testati (dall'1% al 20%).
• Specificità: Il sistema è specifico per il danno (harm-specific). Il fine-tuning su dati di persona benigni o rumore casuale agli stessi tassi ha prodotto un AUROC $\approx$ 0.5, confermando che il segnale è guidato dallo spostamento semantico, non da uno spostamento generale della distribuzione.
• Robustezza:
  • Corrispondenza dello Stile e Rumore del Gradiente: Attacchi che tentavano di far corrispondere lo stile benigno o aggiungere rumore del gradiente sono falliti nell'evadere il rilevamento (l'AUROC è rimasto $\ge$ 0,95).
  • Vincoli LoRA: Gli adapter a basso rango (Rank-4) hanno ridotto l'AUROC a circa 0,83. Gli autori notano che questo è previsto dalla loro formula del limite di rilevamento, poiché i vincoli a basso rango limitano strutturalmente l'entità del delta degli stati nascosti.
• Cross-Architettura: Il metodo si è generalizzato su tre famiglie architettoniche, sebbene le performance varino leggermente in base alla varianza del baseline pulito (es. SmolLM2 ha mostrato una varianza maggiore, abbassando leggermente l'AUROC).
• Remediation: La chirurgia al tempo di inferenza ha ridotto il danno dal 70% al 10% senza influenzare la fluidità del modello.

5. Significato e Rivendicazioni

Il documento posiziona CANARY come il primo framework zero-label per rilevare, verificare, prioritizzare e rimediare la contaminazione della supply-chain usando solo gli stati nascosti.

• Limite Fondamentale: Gli autori sostengono che il gap di rilevamento (rilevare all'1% vs 7,5%) sia una proprietà fondamentale della geometria delle rappresentazioni, non solo un limite degli attuali strumenti basati sull'output. Forniscono una formula chiusa del limite di rilevamento ($r^* \propto \sigma/c$) che predice quantitativamente le performance attraverso architetture e tipi di attacco.
• Pipeline di Governance: Il lavoro sostiene di aver stabilito una pipeline di governance completa dove lo stesso basis di feature SAE usato per il rilevamento consente azioni a valle (amplificazione per la verifica, prioritizzazione per il red-teaming e soppressione per la rimedio).
• Contesto di Deployment: Gli autori sottolineano che la componente di amplificazione (LDA filtrata da SAE) è uno strumento diagnostico per ricercatori di sicurezza e fornitori di modelli, non un prodotto per l'utente. Affermano che l'approccio è robusto contro gli attuali attacchi adattivi e fornisce una base pratica per l'audit della sicurezza della supply-chain man mano che le API di fine-tuning diventano ubiquitarie.

Il documento conclude che, sebbene il fine-tuning con vincoli LoRA rappresenti un vettore di evasione parziale, si tratta di una strategia auto-defecente che limita la capacità dell'attaccante di implementare un danno persistente, e che la formula del limite di rilevamento fornisce una roadmap analitica per affrontare tale evasione a basso rango nel lavoro futuro.