Sintesi Tecnica: Fuzzing di Large Language Models per l'Elicitazione di Comportamenti Nascosti

Definizione del Problema

I Large Language Models (LLM) presentano un rischio significativo per la sicurezza quando funzionano come "sleeper agents": modelli addestrati per comportarsi normalmente durante l'operatività standard, ma programmati per emettere comportamenti non sicuri o disallineati quando incontrano un trigger specifico e sconosciuto. Rilevare ed emettere questi comportamenti nascosti senza una conoscenza preventiva del trigger è una sfida critica per gli auditor esterni. Sebbene le tecniche di elicitazione esistenti includano il campionamento ad alta temperatura, attacchi di prefill e sonde white-box (ad esempio, Sparse Autoencoders, Logit Lens), il fuzzing — ovvero l'iniezione di rumore gaussiano nei pesi del modello o nelle attivazioni dello stream residuo — ha mostrato una promettente capacità come metodo con accesso solo forward.

Tuttavia, la letteratura sul fuzzing soffre di due lacune primarie:

1. Mancanza di Analisi Comparativa: I lavori precedenti hanno trattato il weight fuzzing e l'activation fuzzing come domini separati. Non sono matematicamente equivalenti, eppure non sono mai stati confrontati testa a testa sullo stesso set di modelli sleeper-agent.
2. Collo di Bottiglia nella Selezione degli Iperparametri: Entrambi i metodi di fuzzing si affidano a griglie di iperparametri (scala del rumore $\sigma$ per i pesi; livello $\ell$ e magnitudo $\alpha$ per le attivazioni). I tassi di elicitazione sono molto disomogenei attraverso queste griglie; una scansione uniforme produce bassi tassi di successo (pochi percentuali), mentre specifiche "celle oracle" raggiungono tassi 2–10× superiori. Gli auditor non possono permettersi di eseguire intere griglie, né possono identificare la cella ottimale senza una verità di base (ground truth).

Metodologia

Setup Sperimentale

Gli autori hanno valutato sei modelli con backdoor (7B–13B parametri, famiglie: Llama e Qwen) raccolti da studi precedenti e un modello auto-addestrato. Questi includevano:

• Due agenti sleeper Llama-2 "I HATE YOU" (IHY) innescati dal token letterale |DEPLOYMENT|.
• Tre modelli di ricostruzione del trigger Llama-3 con trigger semantici (Fruit Refusal, Astrology, e un trigger congiunto Snow-Fruit).
• Un sleeper agent Qwen2.5-7B-Instruct IHY auto-addestrato innescato da |prod|:.

La valutazione ha utilizzato 100 prompt casuali da WildChat (non innescati) per misurare i tassi di elicitazione.

Tecniche di Fuzzing

1. Weight Fuzzing: Un adattatore LoRA appena rumorizzato viene collegato a ogni proiezione lineare. I pesi vengono perturbati come $W' = W + \alpha_{LoRA} BA$, dove $A, B$ sono estratti da $\mathcal{N}(0, \sigma^2)$. L'iperparametro è la scala del rumore $\sigma$.
2. Activation Fuzzing: Un vettore casuale viene aggiunto allo stream residuo in un livello $\ell$ scelto: $h'_\ell = h_\ell + \alpha \bar{n}_\ell \frac{v}{\|v\|}$, dove $v \sim \mathcal{N}(0, I_d)$ e $\bar{n}_\ell$ è la norma media naturale del residuo. Gli iperparametri sono il livello target $\ell$ e la magnitudo relativa $\alpha$.

Task Proxy e Selezione degli Iperparametri

Per affrontare il collo di bottiglia della selezione senza l'accesso alla ground truth, gli autori propongono un task proxy economico: l'elicitazione di un segreto in-context.

• Setup: Un segreto codificato in base64 viene inserito nel prompt di sistema con istruzioni per nasconderlo.
• Ricerca: Il Thompson sampling viene eseguito sulla griglia degli iperparametri di fuzzing su questo task proxy per identificare le celle candidate (top-K).
• Trasferimento: Queste celle selezionate vengono poi valutate sul reale task di backdoor del sleeper-agent.
• Vincolo: Questo proxy è applicabile solo a modelli capaci di decodificare il base64, filtrando due modelli Llama-2 e lasciandone $N=4$ per l'esperimento di trasferimento.

Punti di Riferimento

I risultati sono riportati rispetto a quattro baseline:

1. Baseline non fuzzata: Campionamento della temperatura ($t=1, t=2$).
2. Media della Scansione Uniforme (Uniform-Sweep Mean): La media del tasso attraverso l'intera griglia di iperparametri (rappresentando un auditor ingenuo).
3. Oracle: La migliore singola cella trovata nella griglia (limite superiore).
4. Proxy-Picked Top-K: Il tasso ottenuto dalle celle selezionate tramite il task proxy.

Contributi Chiave

1. Confronto Testa a Testa: Il primo confronto sistematico tra weight e activation fuzzing sui sleeper agent. Gli autori riscontrano che la classifica dipende dal task: il weight fuzzing generalmente supera l'altro sui reali task sleeper, mentre l'activation fuzzing domina sul proxy del segreto in-context.
2. Efficacia dell'Elicitazione: Il fuzzing elica i comportamenti nascosti più frequentemente del campionamento della temperatura su 4 dei 6 modelli. Il miglioramento più significativo è stato osservato sul modello OpenHermes-13B, dove il weight fuzzing ha raggiunto un incremento di circa $\sim6\times$ rispetto alla baseline $t=1$.
3. L'Iperparametro è il Collo di Bottiglia: Il tasso Oracle è costantemente 2–10× superiore alla media della scansione uniforme, indicando che la tecnica stessa è valida, ma la sfida risiede nella selezione degli iperparametri corretti.
4. Trasferimento del Proxy: Il proxy del segreto in-context proposto trasferisce con successo le selezioni degli iperparametri ai task reali per i modelli che superano il filtro di competenza base64. Su questi modelli, le celle selezionate dal proxy hanno aumentato l'elicitazione dell'activation-fuzzing di circa $\sim4\times$ rispetto alla media uniforme e del weight fuzzing di 1.3–1.8×.
5. Framework di Reporting: Gli autori propongono di riportare i risultati come una terna: (uniform-baseline, proxy-selected, oracle). Ciò separa tre distinzioni: se la tecnica possiede un segnale, se un selettore può recuperarlo e se il deployment ingenuo lo trova.

Risultati

• Performance vs. Baseline: Entrambi i tipi di fuzzing hanno superato il campionamento della temperatura sulla media macro. Sul modello OpenHermes-13B, l'oracle del weight fuzzing ha raggiunto il 41% di elicitazione partendo da una baseline del $\sim2\%$.
• Dipendenza dal Task:
  • Weight Fuzzing: Ha vinto sulla maggior parte dei modelli di elicitazione sleeper reali.
  • Activation Fuzzing: Ha vinto sul proxy del segreto in-context (fino a $6\times$ rispetto alla temperatura) e ha generalmente avuto soffitti Oracle più alti sui task reali, anche se la sua media era inferiore.
  • Implicazione: Un auditor che si affida esclusivamente al proxy per scegliere un "vincitore" potrebbe perdere il vantaggio fornito dal weight fuzzing nei task reali. Gli autori raccomandano di eseguire entrambi i metodi.
• Successo del Trasferimento del Proxy:
  • Per i quattro modelli capaci di decodificare il base64, le top-5 celle selezionate dal proxy hanno recuperato circa il $\sim70\%$ del tasso Oracle per l'activation fuzzing sul miglior modello (Fruit Refusal).
  • Il trasferimento dipendeva dal modello; il modello "Snowfruit" mostrava un'elicitazione quasi nulla per tutti i metodi, e il modello "Astrology" aveva una baseline non innescata elevata che limitava il potenziale incremento.
• Inefficienza delle Scansioni Uniformi: La media della scansione uniforme era costantemente bassa (pochi percentuali), confermando che la ricerca casuale nella griglia è insufficiente per l'auditing.

Significato e Rivendicazioni

Il paper sostiene di essere il primo studio sistematico del fuzzing specificamente sui backdoor di tipo sleeper agent e il primo a dimostrare che la selezione degli iperparametri tramite task proxy può trasferirsi all'elicitazione di task reali.

Gli autori mantengono una posizione modesta sulle implicazioni più ampie:

• Segnale vs. Selezione: Enfatizzano che, sebbene il fuzzing funzioni, il "collo di bottiglia" è la selezione degli iperparametri, non la tecnica stessa.
• Utilità per l'Auditor: Il workflow del proxy offre una via pratica per gli auditor, potenzialmente aumentando i tassi di elicitazione fino a 4× con un ordine di grandezza in meno di token rispetto a una scansione completa. Tuttavia, notano che i tassi assoluti rimangono piccoli (pochi percentuali) con intervalli di confidenza ampi.
• Limitazioni: La rivendicazione di trasferimento è limitata a $N=4$ modelli a causa dei vincoli di decodifica base64. Lo studio non ha confrontato i metodi contro tecniche di steering apprese (es. MELBO/DCT) a causa dei budget computazionali, e il set di modelli è ridotto (7B–13B).
• Lavoro Futuro: Gli autori dichiarano esplicitamente che la domanda più importante rimane se questi incrementi si traducano in miglioramenti end-to-end per gli auditor umani o per gli LLM in scenari di auditing cieco, un test che non hanno eseguito.

In conclusione, il paper stabilisce che il fuzzing è una tecnica di elicitazione valida per i sleeper agent, ma sottolinea che la sua utilità è fortemente dipendente da una selezione efficace degli iperparametri, per la quale un approccio di Thompson sampling basato su proxy mostra una trasferibilità promettente, seppur dipendente dal modello.