Riepilogo Tecnico: Autoencoder Sparsi con Regularizzazione a Grafo per la Guida alla Sicurezza dei LLM

1. Enunciato del Problema

I Large Language Models (LLM) possiedono capacità elevate ma rimangono vulnerabili a prompt avversari e jailbreak che inducono generazioni dannose. I meccanismi di sicurezza efficaci devono bilanciare due requisiti in competizione: bloccare in modo affidabile le output dannose preservando al contempo l'utilità su query innocue e a doppio uso.

Le difese attuali presentano limitazioni significative:

• Guardrail a scatola nera (es. filtraggio dei prompt, classificatori di output) operano al di fuori del calcolo interno del modello, rendendoli fragili sotto gli spostamenti di distribuzione e privi di robustezza adattiva.
• Metodi basati sugli interni (es. aggiunte di attivazione, direzioni di rifiuto) intervengono direttamente sulle rappresentazioni nascoste. Tuttavia, molti di questi approcci, inclusi gli Autoencoder Sparsi (SAE) standard, trattano le caratteristiche latenti come indipendenti. Questo prior di indipendenza si adatta male ai comportamenti di sicurezza di alto livello come il rifiuto e la compliance dannosa, che studi recenti suggeriscono dipendere da strutture distribuite e non lineari nello spazio di attivazione piuttosto che da assi sematici isolati.

Il problema centrale affrontato è che gli SAE standard possono frammentare concetti di sicurezza coerenti su caratteristiche debolmente allineate, riducendo la stabilità e l'efficacia delle direzioni di guida derivate da essi.

2. Metodologia

Gli autori propongono Autoencoder Sparsi con Regularizzazione a Grafo (GSAE), un framework che apprende direzioni di guida alla sicurezza più lisce e strutturalmente coerenti incorporando la topologia delle co-attivazioni dei neuroni. Il metodo consta di tre fasi:

2.1 Addestramento con Regularizzazione a Grafo (GSAE)

Gli autori estendono l'obiettivo standard degli SAE aggiungendo una penalità di regolarità di Laplaciano su un grafo di co-attivazione dei neuroni.

• Costruzione del Grafo: Viene costruito un grafo non orientato $G=(V, E)$ dove i nodi rappresentano i neuroni in un layer target. I pesi degli archi sono definiti dalla similarità del coseno sogliata dei profili di attivazione dei neuroni su un set tenuto da parte di prompt etichettati per la sicurezza.
• Funzione Obiettivo: La perdita di addestramento combina l'errore di ricostruzione, la sparsità ($L_1$), la perdita di classificazione supervisionata (tramite una sonda lineare) e il nuovo termine di regolarizzazione a grafo:
  $$L_{GSAE} = \|h - \hat{h}\|^2_2 + \lambda_{spar}\|z\|_1 + \lambda_{sup}L_{cls} + \lambda_{graph} \sum_{j=1}^k (W^{(d)}_{\cdot, j})^\top L W^{(d)}_{\cdot, j}$$
  Qui, $L$ è il Laplaciano normalizzato simmetrico del grafo di co-attivazione. Il termine a grafo penalizza le direzioni del decoder che variano bruscamente attraverso neuroni che co-attivano fortemente, orientando il dizionario appreso verso modi propri a bassa frequenza che rispettano la struttura distribuita dei pattern rilevanti per la sicurezza.

2.2 Costruzione della Banca di Guida

Non tutte le caratteristiche apprese sono adatte alla guida. Gli autori costruiscono una "banca di guida" curata valutando le direzioni del decoder contro tre criteri indipendenti:

1. Coerenza Strutturale ($s_{coh}$): Misura la regolarità di una direzione sul grafo dei neuroni (bassa energia di Dirichlet).
2. Rilevanza Predittiva ($s_{rel}$): La magnitudine del coefficiente nella sonda lineare addestrata per prevedere le etichette di sicurezza.
3. Efficacia dell'Intervento ($s_{eff}$): Il cambiamento effettivo nel comportamento del modello (riduzione del danno vs. rifiuto eccessivo) quando la direzione viene applicata.

Le direzioni sono valutate utilizzando una media geometrica ponderata di queste metriche. Solo le direzioni che performano bene su tutti e tre i criteri sono mantenute nella banca finale.

2.3 Guida in Esecuzione con Controllore a Due Gate

Per prevenire il degrado delle prestazioni su compiti innocui, il GSAE impiega una pipeline di guida selettiva con due gate:

• Gate di Input: Valuta il punteggio di rischio a livello di prompt prima della generazione. Se il rischio è alto, attiva un rifiuto immediato; se è basso, la generazione procede senza guida.
• Gate di Continuità: Monitora il rischio a livello di token durante la generazione. Attiva la guida solo quando il rischio supera una soglia alta e la disattiva solo quando il rischio scende sotto una soglia bassa (utilizzando l'isteresi per prevenire commutazioni instabili).
• Intervento: Quando attivo, il controllore applica uno spostamento correttivo agli stati nascosti sottraendo una somma ponderata delle direzioni della banca di guida, scalata in base alla loro allineamento con lo stato nascosto corrente.

3. Contributi Chiave

1. Obiettivo GSAE: Introduzione di un obiettivo SAE regolarizzato a grafo che impone regolarità su un grafo di co-attivazione dei neuroni, affrontando la limitazione dei prior di indipendenza negli SAE standard.
2. Pipeline di Guida Selettiva: Sviluppo di un metodo di costruzione della banca multi-criterio (coerenza, rilevanza, efficacia) combinato con un controllore in esecuzione a due gate (input e continuità) per garantire un intervento selettivo.
3. Isolamento Empirico: Studi di ablazione controllati che dimostrano che la regolarizzazione a grafo migliora specificamente la qualità delle direzioni di intervento derivate dagli SAE, distinto dai benefici del gating a valle o della costruzione della banca.

4. Risultati Sperimentali

Il metodo è stato valutato principalmente su Llama-3-8B-base, con validazione cross-modello su Mistral 7B, Qwen 2.5 14B e Phi-4 15B.

• Prestazioni di Sicurezza: Su JailbreakBench, sostituendo un SAE standard con GSAE (in una pipeline altrimenti identica) il punteggio di rifiuto selettivo ($\Delta s = HRR - SRR$) è migliorato di 20.1 punti (dal 58.8% al 78.9%). Guadagni simili sono stati osservati su HarmBench (+16.8 punti) e XSTest.
• Confronto con le Baseline: Il GSAE ha superato le baseline di guida tramite attivazione (es. CAA, SafeSwitch) e i guardrail a scatola nera (es. Llama Guard input+output) mantenendo un throughput comparabile o migliore.
• Preservazione dell'Utilità: Il metodo ha preservato le prestazioni sui compiti innocui, con un calo medio modesto (4.2 punti) nei benchmark di utilità (TriviaQA, GSM8K, TruthfulQA) rispetto alla baseline senza guida.
• Generalizzazione: I guadagni di prestazioni si sono trasferiti attraverso diverse architetture di modelli (Mistral, Qwen, Phi).
• Robustezza: Il GSAE è rimasto forte sotto attacchi jailbreak a scatola nera (AutoDAN, TAP) e grigia (GCG). Tuttavia, sotto un test di stress white-box consapevole della guida (dove l'attaccante ha accesso ai vettori della banca e alle soglie dei gate), la robustezza è degradata, con il Tasso di Rifiuto Dannoso (HRR) sceso al 51.9%.
• Analisi del Meccanismo: Sonde diagnostiche hanno indicato che il GSAE attiva traiettorie di rifiuto esplicite piuttosto che limitarsi a spostare gli stati nascosti verso una regione dall'aspetto innocuo (spostamento del centroide sicuro).

5. Significato e Affermazioni

Il documento afferma che la regularizzazione a grafo è un bias induttivo critico per apprendere direzioni di guida alla sicurezza dagli SAE. La scoperta principale è che i comportamenti di sicurezza nei LLM sono distribuiti e non lineari; imporre regolarità strutturale sui neuroni che co-attivano previene la frammentazione dei concetti di sicurezza, portando a direzioni di intervento più efficaci.

Gli autori sottolineano che il loro contributo è controllato e funzionale: isolano il miglioramento specifico ottenuto dal termine a grafo sotto una pipeline a valle corrispondente. Non affermano di aver scoperto l'intera circuitaria meccanica del rifiuto, ma piuttosto che le direzioni regolarizzate a grafo forniscono una base superiore per la guida selettiva.

Il lavoro evidenzia un compromesso pratico di deployment: il controllore completo a due gate offre precisione a livello di token a un costo di latenza modesto, mentre una variante con solo il gate di input mantiene gran parte del guadagno di sicurezza con un overhead inferiore. Gli autori riconoscono le limitazioni, notando che il metodo richiede l'accesso agli stati nascosti (modelli a pesi aperti), si basa su un grafo di co-attivazione fisso che potrebbe non adattarsi agli spostamenti di distribuzione ed è vulnerabile ad attacchi white-box che espongono gli interni della guida.