Riepilogo Tecnico: Un Audit del Rango Effettivo sugli Spostamenti di Attivazione Indotti dall'Allineamento

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) istruiti tramite istruzioni presentano una vulnerabilità strutturale in cui i comportamenti di sicurezza (in particolare i rifiuti a richieste dannose) sono mediati da un sottospazio a bassa dimensione all'interno delle attivazioni del flusso residuo. Basandosi sull'osservazione empirica di Arditi et al. (2024) secondo cui una singola direzione può mediare il rifiuto, questo lavoro formalizza le conseguenze strutturali di tale fenomeno. Il problema centrale consiste nel quantificare la "separabilità" degli spostamenti di allineamento—specificamente, quanto la modifica tra le attivazioni pre-addestrate e quelle allineate sia concentrata su input rilevanti per la sicurezza—e nel determinare se questa struttura a basso rango implichi fragilità comportamentale o suscettibilità all'allineamento ingannevole (fingere).

Il lavoro affronta tre lacune specifiche:

1. Controllo dei Fattori Confondenti: Le misurazioni precedenti spesso confondono gli spostamenti di allineamento con artefatti derivanti dalla formattazione dei template di chat.
2. Calibrazione: Non è chiaro se aumentare il rango effettivo dello spostamento di allineamento (tramite regolarizzazione) migliori strutturalmente la robustezza o semplicemente gonfi una metrica.
3. Limiti delle Diagnostica: Non è noto se il basso rango sia una firma specifica della sicurezza o una proprietà generica del post-addestramento, e se esista un limite inferiore corrispondente per il "costo della finzione" (ovvero, se un alto rango garantisca resistenza all'alternanza di modalità).

Metodologia

L'Indice di Separabilità ($\rho_\epsilon$)

Il lavoro definisce la matrice di modifica dell'allineamento $M_D$ a un dato livello come la raccolta delle differenze di attivazione tra modelli allineati e pre-addestrati su una distribuzione rilevante per la sicurezza $D_s$:
$$M_D := [h_{align}(x_i) - h_{pre}(x_i)]_{i=1}^n$$
L'indice di separabilità è il rango effettivo di questa matrice, normalizzato per la dimensione della rappresentazione $d$:
$$\rho_\epsilon := \text{rank}_\epsilon(M_D) / d$$
dove $\text{rank}_\epsilon$ è il numero di valori singolari necessari per catturare una frazione $(1-\epsilon)$ della varianza totale (con $\epsilon=0.05$).

Decomposizione a Quattro Varianti

Per isolare il vero segnale di allineamento dai fattori confondenti, gli autori decompongono la matrice di modifica in quattro varianti:

1. $M_{naive}$: Differenza ingenua ($h_{align}(x_{chat}) - h_{pre}(x_{raw})$), suscettibile a confondimenti da template.
2. $M_{template}$: Controlla la formattazione del template di chat applicando il template a entrambi i checkpoint.
3. $M_{aligned}$: Misura lo spostamento all'interno dello stesso modello allineato.
4. $M_{DiD}$ (Differenza nelle Differenze): Sottrae la media della colonna di controllo da $M_{template}$ per recuperare la direzione di rifiuto intrinseca all'allineamento.

Test Diagnostici

Il lavoro impiega tre test per valutare l'allineamento:

• Test 1 (Rango): Calcola $\rho_\epsilon$ su $M_{template}$.
• Test 2 (Ablazione Causale): Proietta fuori le prime $k$ componenti principali di $M_{template}$ e misura la variazione nei tassi di rifiuto rispetto a un nullo casuale di rango $k$.
• Test 3 (Allineamento Principale): Misura la similarità coseno tra il vettore singolare principale $u_1$ e la direzione media dello spostamento $\bar{\Delta}$.

Calibrazione e Verifica

• Calibrazione MLP: Un MLP a 3 strati viene addestrato con diverse intensità di regolarizzazione ($\lambda$) per manipolare $\rho_\epsilon$, osservando il compromesso tra gonfiaggio del rango e robustezza all'ablazione.
• Audit LLM: La diagnostica viene applicata a tre modelli a pesi aperti: Llama-3.1-8B-Instruct, Gemma-2-9B-it e Qwen-2.5-7B-Instruct.
• Limiti Teorici: Il lavoro indaga la "rotta Mirsky" per derivare un limite inferiore sull'impronta rappresentazionale di una politica ingannevole (fingere), testando l'ipotesi del gap spettrale necessaria per tale limite.

Risultati Chiave

1. Misurazione Controllata dai Fattori Confondenti

• Concentrazione del Rango: Su input rilevanti per la sicurezza, lo spostamento di allineamento è altamente concentrato. Per Llama, Gemma e Qwen, il rango effettivo centrato è di $\sim 12$–$18$ su $d \in \{3584, 4096\}$, producendo $\rho_\epsilon \in \{0.0029, 0.0048, 0.0044\}$.
• Fattore Confondente del Template: Il rango non centrato è dominato da una singola direzione media (lo spostamento del template di chat). Sottrarre la media (centratura) aumenta il rango residuo di 4–7 volte, confermando che il rango principale è guidato dalla formattazione piuttosto che da una logica di sicurezza complessa.
• Recupero della Direzione di Rifiuto: Sulla $M_{DiD}$ centrata, il vettore singolare principale si allinea con la direzione di rifiuto di Arditi con alta similarità coseno ($| \cos | \in \{0.77, 0.86, 0.50\}$ per Llama/Gemma/Qwen). Ciò conferma che il "collasso a rango-1" vale per Llama e Gemma, ma è meno dominante in Qwen.

2. Calibrazione Costruttiva: Punto Dolce vs. Fragilità

• Gonfiaggio del Rango $\neq$ Robustezza: Nella calibrazione MLP, aumentare $\rho_\epsilon$ tramite una leggera regolarizzazione ($\lambda=5$) ha portato a un'alta robustezza all'ablazione (conformità $\ge 0.97$ anche dopo aver proiettato il 62,5% della rappresentazione). Tuttavia, una forte regolarizzazione ($\lambda=50$) allo stesso $\rho_\epsilon$ nominale ha portato a una fragilità estrema (la conformità è scesa a 0,10).
• Valore Diagnostico: $\rho_\epsilon$ funge da strumento diagnostico per la fragilità, ma non è un obiettivo il cui gonfiaggio meccanico garantisca la robustezza. La conseguenza strutturale di un basso $\rho_\epsilon$ è la fragilità da proiezione lineare (Prop. 3.1) e un limite di raggiungibilità $O(\rho_\epsilon d)$ per la finzione (Prop. 3.5).

3. Limiti delle Diagnostica Basate sul Rango

• Non Specifico per la Sicurezza: Una baseline che utilizza concetti lineari arbitrari (LRH) produce $\rho_\epsilon \approx 0.008$–$0.010$, solo 2–3 volte il valore di sicurezza. Il basso rango è una proprietà generica degli spostamenti post-addestramento; il legame con il comportamento di sicurezza è stabilito solo tramite ablazione causale (Test 2).
• SVD vs. Ordinamento Causale: L'ordinamento dei valori singolari per varianza non garantisce un ordinamento causale. In Llama, il secondo vettore singolare ($u_2$) ha un effetto causale vicino allo zero sul rifiuto, nonostante sia secondo per varianza. L'ablazione cumulativa è non monotona (ad esempio, il rifiuto aumenta a $k=5$ prima di scendere), indicando che lo spettro SVD da solo non può prevedere la fragilità comportamentale.
• Fallimento dell'Ipotesi del Gap Spettrale: Il lavoro tenta di dimostrare un limite inferiore corrispondente ($\Omega(\rho_\epsilon d)$) per il costo della finzione utilizzando un argomento in stile Mirsky che richiede un gap spettrale ($\kappa > 8$). Empiricamente, questo gap fallisce ($\kappa_{emp} < 8$) in 89/90 coppie di riferimento di livello per Llama e in 0/36 nell'MLP. Strutturalmente, il Lemma 8.1 dimostra che per ogni $\epsilon r > 1/4$, la condizione del gap non può essere soddisfatta, rendendo la rotta Mirsky insufficiente per un limite inferiore generale.

Significato e Affermazioni

Il lavoro afferma di fornire una quantificazione formale e continua delle proprietà strutturali dell'allineamento, andando oltre l'osservazione binaria "rango-1" dei lavori precedenti.

1. Formalizzazione della Fragilità: Stabilisce che un basso rango effettivo ($\rho_\epsilon \ll 1$) implica incondizionatamente vulnerabilità ad attacchi di proiezione lineare (Prop. 3.1) e permette una finzione rappresentazionale a basso costo (Prop. 3.5).
2. Rigor Metodologico: Introduce una decomposizione a quattro varianti per separare rigorosamente gli artefatti dei template di chat dai genuini spostamenti di allineamento, un passo necessario per un audit accurato.
3. Diagnostica vs. Ottimizzazione: Il lavoro sostiene che $\rho_\epsilon$ sia uno strumento diagnostico per identificare la fragilità, non un obiettivo di ottimizzazione. Il gonfiaggio meccanico del rango non acquista robustezza strutturale.
4. Problemi Aperti: Il lavoro identifica esplicitamente il limite inferiore corrispondente per la finzione come un problema aperto. Sebbene dimostri la raggiungibilità della finzione a basso costo (limite superiore), dimostra che l'approccio naturale basato sul gap spettrale per dimostrare un limite inferiore (che un alto rango imponga un alto costo) fallisce sia empiricamente che strutturalmente.

Gli autori sottolineano che il loro lavoro è limitato ad attacchi sul flusso residuo (proiezione, steering) e non afferma di affrontare pressioni avverse arbitrarie sul meccanismo interno, il fine-tuning LoRA o i jailbreak tramite prompt. La diagnostica è calcolabile da un verificatore strettamente più debole del sistema sottoposto ad audit, a condizione che il verificatore abbia accesso in modalità bianca a checkpoint accoppiati e a una distribuzione di sicurezza fissa.