Sintesi Tecnica: Now You (Still) See Me

Definizione del Problema

Il documento affronta il rischio di sicurezza rappresentato dai trojan steganografici nei Large Language Models (LLM). Un attaccante può sottoporre un modello open-source a fine-tuning per codificare segreti portati dai prompt (ad esempio, stringhe a 32 bit) in output testuali fluidi e apparentemente innocui. Ciò crea un canale di esfiltrazione che appare innocuo per la steganalisi tradizionale a livello di output, la quale si basa sul rilevamento di spostamenti distribuzionali nel testo generato. Poiché anche il fine-tuning benigno induce tali spostamenti, distinguere la codifica malevola da una normale adattazione è difficile.

Un lavoro recente (Westphal et al., 2026) ha proposto il rilevamento meccanicistico utilizzando sonde lineari (regressione ridge) addestrate per recuperare la direzione dell'embedding del segreto nello spazio delle attivazioni interne del modello. Il presente articolo investiga se questa difesa basata sulle attivazioni sia robusta contro avversari adattivi in grado di sottoporre i modelli a fine-tuning specificamente per eludere tali sonde.

Metodologia

La ricerca è strutturata in tre capitoli, valutando cinque modelli open-weight: Qwen3-8B, Llama-3.1-8B, Ministral-8B, Qwen3-14B e Phi-4-14B.

Capitolo I: Costruzione e Rilevamento del Baseline del Trojan

• Schema di Codifica: Gli autori implementano uno schema di codifica del segreto basato su bucket. Il vocabolario del modello viene partizionato in due bucket (0 e 1) tramite un iperpiano nello spazio degli embedding. Un segreto a 32 bit viene codificato forzando il modello a generare token appartenenti al bucket specifico corrispondente a ciascun bit.
• Addestramento: I modelli vengono sottoposti a un approccio di Supervised Fine-Tuning (SFT) a motivazione mista. I dati di addestramento consistono in esempi steganografici (logit mascherati per imporre i vincoli dei bucket), ragionamento matematico e dati di istruzione (instruction-following).
• Rilevamento: Vengono utilizzate due famiglie di sonde per rilevare il segreto nelle attivazioni interne:
  1. Regressione Ridge: Una sonda lineare addestrata a ricostruire la direzione dell'embedding del segreto.
  2. Sonda MLP: Un Perceptron Multistrato a due strati addestrato sullo stesso compito.
• Metrica: La rilevabilità è misurata dalla similitudine del coseno del valore assoluto medio ($q_\ell$) tra la predizione della sonda e il vero embedding del segreto attraverso i layer. Un modello viene segnalato se $q_\ell$ supera un baseline derivato dal modello base non modificato su tutti i layer monitorati.

Capitolo II: Evasione Avversaria

• Modello di Minaccia: L'avversario addestra un modello per eludere il rilevamento senza avere accesso in tempo reale alle attivazioni del detector distribuito. L'obiettivo è rendere gli stati nascosti del trojan indistinguibili dal modello base sotto qualsiasi sonda lineare.
• Obiettivo Avversario: Gli autori introducono un ciclo di addestramento di tipo min-max. La funzione di perdita ($L_{evade}$) include un termine che massimizza il segnale di rilevamento per un regressore ridge che viene periodicamente ri-adattato su batch di addestramento disgiunti. Questo impedisce al modello di fare overfitting su una singola sonda fissa.
• Preservazione: Per garantire che il modello rimanga funzionale, la perdita include:
  • $L_{stego}$: Una penalità per la deviazione dal teacher vincolato dai bucket (per garantire il recupero del segreto).
  • Penalità KL: Ancoraggio l'adapter al modello del Capitolo I non evasivo per preservare fluidità e capacità.
• Valutazione: I "trojan evasivi" risultanti sono testati sia contro il regressore ridge utilizzato durante l'addestramento, sia contro la sonda MLP tenuta separata (held-out).

Capitolo III: Recupero della Rilevabilità tramite Teoria dell'Informazione

• Caratterizzazione Teorica: Gli autori analizzano il meccanismo di evasione utilizzando la teoria dell'informazione. Essi decompongono le rappresentazioni interne in componenti allineate al contenuto ($R_{\neq N}$) e gradi di libertà di "scarto" o "slack" ($R_N$) derivanti dalla scelta lessicale e dalla riformulazione.
• Ipotesi di Sinergia: Dimostrano (Teorema 1) che, affinché un modello riesca ad eludere il rilevamento (mantenendo fluidità e indistinguibilità) pur recuperando il segreto, il segreto deve essere instradato attraverso un'interazione sinergica tra la rappresentazione allineata al contenuto e i gradi di libertà di scarto. Il segreto è nascosto nella struttura congiunta, rendendolo invisibile ai detector a basso ordine (lineari) che non possono accedere alla componente di scarto.
• Intervento: Per rompere questa sinergia, gli autori propongono la ricontestualizzazione. Costruiscono un dataset in cui un singolo template di frase è fisso e variano solo gli slot tematici. Ciò riduce drasticamente l'entropia dei gradi di libertà di scarto ($H(R_N | R_{\neq N}, C)$).
• Predizione: Il Teorema 2 predice che il vincolo dello scarto forzerà l'informazione del segreto a tornare nella rappresentazione allineata al contenuto, rendendola nuovamente rilevabile.
• Esperimento: Valutano i trojan evasivi su una serie di dataset che vanno da prompt diversificati a prompt di ricontextualizzazione altamente vincolati, misurando il recupero dei segnali di rilevamento.

Risultati Chiave

1. Rilevamento Baseline (Capitolo I)

• Successo Steganografico: I trojan iniziali hanno raggiunto un'elevata accuratezza dei bit (96.8–97.8%) e un recupero di corrispondenza esatta (37.5–61.5%) per segreti a 32 bit.
• Preservazione delle Capacità: I modelli hanno mantenuto la maggior parte delle loro capacità originali, con cali medi nei benchmark compresi tra -0.8% e -6.4%.
• Rilevabilità: Tutti i modelli del Capitolo I sono stati identificati con successo da almeno una delle due famiglie di sonde (Ridge o MLP), confermando che il fine-tuning standard lascia tracce lineari.

2. Successo dell'Evasione (Capitolo II)

• Evasione Robusta: Il fine-tuning avversario ha soppresso con successo il segnale di rilevamento.
  • Sonda Ridge: Tutti i modelli del Capitolo II hanno eluso il detector ridge (quello usato durante l'addestramento avversario).
  • Sonda MLP: Fondamentalmente, i modelli hanno eluso anche la sonda MLP tenuta separata, nonostante l'MLP non facesse parte del ciclo di addestramento avversario. Ciò suggerisce che l'evasione abbia appreso una riduzione generale dell'estraibilità lineare piuttosto che un semplice overfitting.
• Mantenimento delle Prestazioni: I modelli evasivi hanno mantenuto un alto recupero del segreto (58–79% di corrispondenza esatta) e hanno subito solo un calo marginale aggiuntivo delle capacità (media del -3.9% nei benchmark).

3. Recupero della Rilevabilità (Capitolo III)

• Vincolo dello Scarto (Slack Constraint): Quando valutati sul dataset di ricontextualizzazione (dove $N_{recon}$, il numero di prompt vincolati, aumentava), il segnale di rilevamento per i trojan evasivi è aumentato significativamente.
• Ripristino: Man mano che i gradi di libertà di scarto venivano ristretti, i trojan evasivi diventavano nuovamente distinguibili dal modello base sia per le sonde Ridge che per le MLP. Le curve di rilevamento dei trojan si sono separate nettamente dal baseline del modello base, "annullando" efficacemento l'evasione senza distruggere il canale occulto.

Significato e Rivendicazioni

Il documento rivendica tre contributi primari:

1. Vulnerabilità del Rilevamento Basato su Attivazioni: Dimostra che le sonde di attivazione lineari e anche non lineari (MLP) sono vulnerabili all'evasione adattiva. Un avversario può sottoporre un modello a fine-tuning per nascondere segreti in interazioni sinergiche con i gradi di libertà residui, rendendo inefficace il monitoraggio meccanicistico standard.
2. Spiegazione Informatica: Il lavoro fornisce un quadro teorico che spiega perché l'evasione funziona. Postula che l'evasione di successo richieda che il segreto sia codificato sinergicamente con lo "scarto" (riformulazione/scelta lessicale) per soddisfare sia la recuperabilità che l'indistinguibilità condizionale.
3. Difesa Guidata dalla Teoria: Il documento sostiene che i fallimenti dei detector possano essere utili in modo diagnostico. Comprendendo il meccanismo di evasione (la dipendenza dallo scarto), i difensori possono costruire dataset di valutazione mirati (ricontestualizzazione) che restringono questi specifici gradi di libertà. Ciò recupera la rilevabilità senza richiedere nuove architetture di rilevamento più complesse.

Gli autori concludono che, sebbene le sonde meccanicistiche siano potenti, non dovrebbero essere viste come difese complete contro i modelli adattivi. Invefore, la valutazione della sicurezza dovrebbe incorporare dataset guidati dalla teoria che restringano i specifici gradi di libertà che un avversario potrebbe sfruttare.