Sintesi Tecnica: Quando la Valutazione della Sicurezza Comportamentale Fallisce: Una Prospettiva a Livello di Rappresentazione

1. Definizione del Problem

Le attuali valutazioni della sicurezza per i Large Language Models (LLM) operano prevalentemente a livello comportamentale, misurando output osservabili come i tassi di rifiuto, i tassi di successo degli attacchi e la robustezza contro il jailbreak. Sebbene questi parametri siano standard per gli audit pre-deployment, gli autori sostengono che soffrano di un limite fondamentale: forniscono prove limitate della robustezza interna.

Il documento formalizza la discrepanza tra sicurezza comportamentale e robustezza interna come l'audit gap (divario di audit). Questo divario sorge perché il comportamento osservabile può rimanere stabile (ad esempio, il modello continua a rifiutare prompt dannosi) anche mentre le rappresentazioni latenti sottostanti diventano altamente vulnerabili all'intervento. Nello specifico, studi recenti suggeriscono che i meccanismi di rifiuto nei modelli allineati possano essere mediati da direzioni a bassa dimensionalità nello spazio di rappresentazione, mentre le rappresentazioni relative alla dannosità possono rimanere parzialmente separabili. Di conseguenza, un modello può superare i test di sicurezza comportamentale pur ospitando strutture latenti che sono facilmente destabilizzabili da perturbazioni limitate, un modo di fallimento che i parametri di sicurezza comportamentale standard non riescono a rilevare.

2. Metodologia

Per investigare l'audit gap, gli autori propongono un framework centrato sulla costruzione di modelli dissociati e un protocolo di valutazione basato su interventi.

2.1 Costruzione di Modelli Dissociati

Gli autori costruiscono "modelli dissociati" che preservano un comportamento esterno sicuro mantenendo o amplificando la vulnerabilità latente. Questi modelli sono addestrati per soddisfare due obiettivi contrastanti:

1. Fedeltà Comportamentale: Mantenere il comportamento di rifiuto e l'utilità benigna simili a quelli di un modello base allineato alla sicurezza.
2. Vulnerabilità Latente: Spingere le rappresentazioni interne di prompt dannosi verso una classe "non sicura" come rilevato da un monitor latente.

Processo di Addestramento:

• Dati: La costruzione utilizza triple di contrasto da PKU-SafeRLHF (prompt, risposta sicura, risposta non sicura) e anchor benigni da BeaverTails e XSTest.
• Monitor Latente ($g_\phi$): Una sonda inizializzata per predire la sicurezza della risposta a partire dagli stati nascosti del modello base.
• Ottimizzazione: Il modello $\pi_\theta$ viene raffinato tramite una funzione di perdita composita:
  $$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$$
  • $\mathcal{L}_{SFT}$: Negative log-likelihood a livello di token per mantenere la qualità dell'output.
  • Termine del Monitor: Incoraggia il modello a produrre rappresentazioni "non sicure" (alti logit del monitor) per prompt dannosi ($b=1$) mantenendo inalterati i prompt benigni ($b=0$).
  • Divergenza KL ($\mathcal{L}_{KL}$): Vincola il modello dissociato a rimanere vicino al modello base congelato $\pi_{\theta_0}$ a livello di token, preservando la fedeltà comportamentale.
• Aggiornamenti Alternati: I parametri del monitor $\phi$ e i parametri del modello $\theta$ vengono aggiornati alternativamente per garantire che il monitor si adatti alle rappresentazioni in evoluzione del modello durante l'addestramento.

2.2 Framework di Valutazione Basato su Intervento

Per misurare la robustezza, gli autori applicano interventi soft sia nello spazio dei parametri che in quello latente:

1. Intervento nello Spazio dei Parametri (Harmful Fine-Tuning): I modelli subiscono un Supervised Fine-Tuning (SFT) con LoRA su un dataset di istruzioni dannose ($D_{harm}$). L'evoluzione dei tassi di rifiuto e di conformità viene monitorata per valutare quanto rapidamente il comportamento di sicurezza collassi sotto l'ottimizzazione avversaria.
2. Intervento nello Spazio Latente (Perturbazioni Mirate): Perturbazioni additive $\delta$ vengono applicate alle rappresentazioni nascoste $h_\ell$ in specifici layer ($\ell$) durante l'inferenza.
   • Obiettivo: Minimizzare la negative log-likelihood (NLL) di una risposta target dannosa (ad esempio, "Certamente, ecco...") soggetta a un vincolo di norma $\ell_\infty$ ($\|\delta\|_\infty \le \epsilon$).
   • Ambito: Gli interventi sono testati attraverso i layer di embedding, intermedi e finali.

2.3 Latent Vulnerability Score (LVS)

Per quantificare la sensibilità del comportamento di sicurezza a questi interventi, gli autori propongono il Latent Vulnerability Score (LVS). A differenza delle metriche binarie (es. Attack Success Rate), l'LVS misura l'entità della degradazione comportamentale per unità di perturbazione latente.

$$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$$

Dove $S_{harmless}$ è un punteggio di sicurezza continuo, $y$ è l'output originale e $y'$ è l'output intervenuto. Un LVS elevato indica che piccoli cambiamenti latenti inducono cali sproporzionatamente grandi nella sicurezza.

3. Risultati Chiave

3.1 Esistenza dell'Audit Gap

Lo studio dimostra che le metriche di sicurezza comportamentale sono indicatori insufficienti della robustezza a livello di rappresentazione:

• Stabilità Comportamentale: I modelli dissociati mostrano tassi di rifiuto comparabili ai loro modelli base allineati alla sicurezza su richieste dirette dannose e prompt di jailbreak. Gli audit comportamentali standard non riescono a distinguere tra i due.
• Divergenza Latente: Nonostante i tassi di rifiuto simili, i modelli dissociati mostrano una vulnerabilità significativamente maggiore quando interrogati da monitor latenti. Il divario calibrato tra le rappresentazioni sicure e quelle non sicure si contrae significativamente nei modelli dissociati, anche se il segnale ordinale rimane.

3.2 Sensibilità all'Intervento

• Harmful Fine-Tuning: Sotto SFT dannoso, i modelli dissociati virano verso la conformità (e lontano dal rifiuto) significativamente più velocemente rispetto ai loro omologhi base. Ciò suggerisce che, sebbene il rifiuto superficiale sia preservato, i meccanismi di sicurezza sottostanti sono più fragili.
• Vulnerabilità Specifica per Layer: Le perturbazioni latenti rivelano che le rappresentazioni intermedie sono le più sensibili all'intervento.
  • Le perturbazioni applicate ai layer medi inducono tassi di successo degli attacchi (ASR) e degradazione dell'innocenza sostanzialmente più elevati rispetto ai layer di embedding o finali.
  • I modelli dissociati esibiscono una vulnerabilità amplificata in questi layer intermedi rispetto alle loro basi sicure, nonostante mantengano un comportamento di output simile.

3.3 Allineamento e Robustezza

Valutando varie strategie di allineamento (es. varianti di Llama-3, famiglia Alpaca) tramite LVS, emerge che:

• I modelli allineati alla sicurezza ottengono generalmente un LVS inferiore nei layer finali rispetto alle varianti non sicure, suggerendo che l'allineamento stabilizza la generazione di token.
• Tuttavia, questo miglioramento non è né uniforme né completo. Molti modelli allineati mantengono un LVS elevato nei layer di embedding o intermedi.
• È stato osservato che alcune strategie di allineamento (es. approcci specifici orientati all'innocenza) aumentano la vulnerabilità nelle rappresentazioni intermedie nonostante migliorino i punteggi di innocenza.

4. Significato e Rivendicazioni

Il documento afferma che la sola valutazione della sicurezza comportamentale fornisce un quadro incompleto della robustezza del modello. Il significato primario di questo lavoro risiede in:

1. Formalizzazione dell'Audit Gap: Identifica un problema di validità di costrutto in cui il comportamento osservabile si muove indipendentemente dalle proprietà di sicurezza a livello di rappresentazione.
2. Dimostrazione della Fragilità Latente: Fornisce prove empiriche del fatto che i modelli possono essere "dissociati" — sicuri nell'output ma fragili nella rappresentazione — rendendo insufficienti gli standard audit sui tassi di rifiuto per i casi di sicurezza pre-deployment.
3. Auditing Basato su Intervento: Il framework proposto, che utilizza interventi soft e il Latent Vulnerability Score, offre un metodo per testare lo stress della sicurezza dell'allineamento oltre gli output osservabili.
4. Insight Specifici per Layer: I risultati evidenziano che le rappresentazioni intermedie costituiscono un collo di bottiglia critico per la vulnerabilità, dove piccoli interventi possono destabilizzare sproporzionatamente il comportamento allineato alla sicurezza.

Gli autori concludono che le procedure di audit della sicurezza devono evolversi per incorporare la valutazione congiunta della vulnerabilità latente e del comportamento osservabile per garantire la robustezza contro i fallimenti a livello di rappresentazione.

5. Limitazioni e Ambito

Il documento nota esplicitamente diverse limitazioni:

• Ambiente Controllato: Le vulnerabilità sono identificate sotto interventi soft controllati (accesso a pesi o stati latenti) e non implicano necessariamente che questi fallimenti siano direttamente sfruttabili tramite il solo prompting black-box standard.
• Costruzione Sintetica: I modelli dissociati sono costruiti sinteticamente tramite ottimizzazione contro specifici monitor latenti; le vulnerabilità osservate potrebbero dipendere dall'architettura della sonda e dagli obiettivi di intervento specifici.
• Scala del Modello: Gli esperimenti si concentrano su modelli open-weight relativamente piccoli (es. 2B–8B parametri); resta da chiarire se questi modi di fallimento persistano a scale maggiori.
• Rumore di Valutazione: Le metriche si affidano a giudici LLM e modelli di ricompensa, che possono introdurre rumore, e la contaminazione dei benchmark potrebbe influenzare i risultati.

Il lavoro non propone nuovi meccanismi di difesa, ma piuttosto un framework diagnostico per valutare la fedeltà delle attuali metriche di sicurezza.