Symmetry Defeats Auditing

Riepilogo Tecnico: La Simmetria Sconfitta l'Ispezione

Enunciato del Problema
Il documento affronta la vulnerabilità degli "Adattatori di Introspezione" (IA), una tecnica proposta da Shenoy et al. [9] progettata per rilevare il fine-tuning malevolo nei Modelli Linguistici di Grandi Dimensioni (LLM). Il paradigma IA utilizza un adattatore LoRA specifico addestrato tramite Ottimizzazione Diretta delle Preferenze (DPO) per elicitar verbalizzazioni di comportamenti impiantati (ad esempio, un modello che sminuisce i rischi di fughe di gas). La preoccupazione centrale è che un avversario possa contrabbandare una specializzazione malevola all'interno di un modello, e l'IA non riuscirebbe a rilevarla. Gli autori dimostrano che tale meccanismo di rilevamento è fondamentalmente fragile a causa delle simmetrie matematiche intrinseche nelle architetture degli LLM.

Metodologia
Gli autori propongono un attacco in cui un avversario, controllando i pesi del modello prima del dispiegamento dell'adattatore LoRA dell'auditor, applica una trasformazione lineare che preserva il comportamento ai pesi interni del modello. Questa trasformazione rende inefficace il successivo adattatore dell'auditor. L'attacco sfrutta due simmetrie specifiche presenti nelle architetture transformer:

1. Simmetria $W_V/W_O$ dell'Attenzione: Nei meccanismi di attenzione a query raggruppate (utilizzati nei modelli Llama e Qwen), l'output del meccanismo di attenzione coinvolge la matrice dei valori ($W_V$) e la matrice di proiezione dell'output ($W_O$). Gli autori dimostrano che per qualsiasi matrice invertibile $G$, la trasformazione $W_V \to W_V G$ e $W_O \to G^{-1} W_O$ lascia invariato l'output del modello. Se un avversario applica questa trasformazione al modello base, qualsiasi adattatore LoRA installato successivamente (come l'IA) viene efficacemente moltiplicato a destra per $G^{-1}$. Questo altera l'impatto funzionale dell'adattatore, neutralizzando la sua capacità di rilevare il comportamento malevolo. L'avversario campiona matrici ortogonali casuali di Haar per ogni sottospazio dei valori di ogni testa di attenzione per eseguire questa trasformazione.
2. Simmetria di Permutazione dell'MLP: I blocchi del Perceptrone Multistrato (MLP) in modelli come Llama e Qwen3 esibiscono simmetria di permutazione. Applicando una matrice di permutazione $P$ ai pesi di gate e di proiezione verso l'alto ($W_{gate}, W_{up}$) e la sua inversa $P^{-1}$ al peso di proiezione verso il basso ($W_{down}$), l'output del livello rimane identico. Se un avversario permuta questi pesi prima dell'installazione dell'IA, gli adattatori LoRA dell'IA vengono efficacemente trasformati (ad esempio, $C_{gate} \to C_{gate}P^{-1}$), rendendoli funzionalmente inerti riguardo al rilevamento del comportamento malevolo specifico.

L'attacco è computazionalmente economico, richiedendo circa 5 minuti di CPU su un checkpoint da 70 miliardi di parametri.

Contributi Chiave

• Dimostrazione della Vulnerabilità: Il documento fornisce la prima dimostrazione concreta che gli Adattatori di Introspezione possono essere completamente aggirati applicando semplici simmetrie che preservano il comportamento ai pesi del modello.
• Varianti dell'Attacco: Gli autori definiscono e implementano due vettori di attacco distinti: l'attacco "Simmetria $W_V/W_O$ dell'Attenzione" e l'attacco "MLP-permute".
• Generalizzabilità: Gli autori sostengono che questa classe di attacchi basati sulla simmetria non è limitata agli IA, ma probabilmente sconfigge qualsiasi strumento di audit che si basi sull'ispezione degli stati interni del modello o sulle proiezioni nello spazio dei pesi (ad esempio, Safe LoRA [6]), a condizione che l'avversario abbia accesso ai pesi del modello tra la calibrazione e il dispiegamento.

Risultati
Gli autori hanno valutato l'attacco su sette fine-tuning malevoli pubblicati da Shenoy et al. [9] utilizzando un modello base Llama-3.3-70B-Instruct.

• Evasione del Rilevamento: In tutti e sette i casi, il miglior attacco disponibile ha ridotto il tasso di rilevamento dell'IA da una linea di base del 100% allo 0–20%.
• Preservazione del Comportamento: Crucialmente, il comportamento malevolo dei modelli fine-tuned è rimasto intatto e osservabile; l'attacco ha influenzato solo la capacità dell'auditor di rilevarlo.
• Efficienza dell'Attacco: L'attacco MLP-permute da solo è stato sufficiente a sconfiggere l'IA per tre degli adattatori. Per gli altri, è stato necessario combinare l'attacco MLP con l'attacco $W_V/W_O$ dell'Attenzione.
• Costo: L'intero processo di attacco ha richiesto circa un'ora su due GPU NVIDIA A100 e ha costato circa 3 dollari in risorse di calcolo.

Significato e Affermazioni
Il documento afferma che la capacità di controllare i pesi del modello mina fondamentalmente l'efficacia degli strumenti di audit nello spazio dei pesi. Gli autori concludono che se un avversario può accedere al modello in qualsiasi punto tra la calibrazione della sonda dell'auditor e il dispiegamento della sonda, può sconfiggere strutturalmente l'audit spostando gli "indici dei neuroni" su cui l'auditor si basa.

Gli autori dichiarano esplicitamente che il loro contributo non è la scoperta delle simmetrie stesse (che sono standard nell'interpretabilità meccanicistica [3]), ma l'osservazione che gli auditor basati su LoRA non sono invarianti rispetto a queste simmetrie e che questa non-invarianza è "sfruttabile a basso costo". Avvertono che molte tecniche di audit esistenti potrebbero essere "largamente inefficaci" in scenari di dispiegamento realistici in cui l'avversario controlla i pesi. Il documento non propone nuovi strumenti di audit o futuri metodi di addestramento (come IA robuste alla simmetria) come soluzioni immediate, notandoli invece come direzioni per lavori futuri.