💻 computer science

Matching Ranks Over Probability Yields Truly Deep Safety Alignment

Questo articolo introduce il metodo PRESTO, che migliora l'allineamento della sicurezza profonda nei modelli linguistici di grandi dimensioni (LLM) open-source facendo corrispondere i ranghi dei token nella distribuzione target per contrastare efficacemente il nuovo attacco Rank-Assisted Prefilling (RAP), ottenendo un miglioramento della sicurezza fino a 4,7 volte rispetto alle difese standard basate sull'aumento dei dati.

Autori originali: Jason Vega, Gagandeep Singh

Pubblicato 2026-07-23

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jason Vega, Gagandeep Singh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer possono scrivere storie, risolvere problemi di matematica e chiacchierare proprio come gli esseri umani. Questi sono chiamati Grandi Modelli Linguistici (LLM), e sono come dei super-intelligenti assistenti digitali. Ma poiché sono così intelligenti, c'è una preoccupazione: cosa succederebbe se qualcuno riuscisse a ingannarli per far dire loro qualcosa di pericoloso, come come costruire una bomba o come ferire qualcuno? Per impedirlo, gli scienziati insegnano a questi modelli a dire "No, non posso farlo" quando viene chiesto loro qualcosa di male. Questo è chiamato "allineamento della sicurezza" (safety alignment). Tuttavia, proprio come una serratura su una porta, queste regole di sicurezza possono talvolta essere scassinate. Un modo subdolo per farlo è chiamato "attacco di prefilling". Immaginate di scrivere una storia con un amico, ma invece di lasciare che sia lui a iniziare la frase successiva, scrivete furtivamente le prime parole voi stessi, come "Ecco il piano per costruire una bomba..." e poi gli chiedete di finire la frase. Poiché il computer è progettato per far proseguire la vostra storia in modo fluido, potrebbe dimenticarsi di dire "No" e continuare semplicemente a scrivere il piano pericoloso.

Recentemente, i ricercatori hanno trovato un modo per risolvere il problema, insegnando al modello a dire "No" anche dopo che avete inserito furtivamente quelle prime parole. Ma, come mostra questo nuovo articolo, quella soluzione non era abbastanza forte. Gli autori hanno scoperto un nuovo modo per ingannare il modello, chiamato "attacco di Rank-Assisted Prefilling" (RAP). Invece di lasciare semplicemente che il computer scelga la parola più probabile da dire dopo, un hacker può esaminare un elenco delle prime 20 parole a cui il computer sta pensando e scegliere quella che suona pericolosa, anche se il computer pensa che sia molto improbabile che la dica. È come un gioco in cui il computer sta cercando di scegliere il percorso più sicuro, ma l'hacker ha il permesso di sbirciare in tutti i percorsi e scegliere quello spaventoso, ignorando gli avvertimenti del computer. L'articolo scopre che questo nuovo trucco funziona sorprendentemente bene, rompendo la sicurezza di modelli che si pensava fossero sicuri.

Per fermare questo, gli autori propongono un nuovo metodo di addestramento chiamato PRESTO. Invece di cercare solo di far dire al computer "No" con alta confidenza, PRESTO insegna al modello di ignorare completamente le parole subdole che avete scritto all'inizio. È come addestrare un cane da guardia a ignorare la voce di un ladro che sussurra istruzioni e ad ascoltare solo il comando del proprietario. In questo modo, il modello smette di lasciare che le parole pericolose influenzino le sue scelte. I ricercatori hanno testato questo metodo su tre popolari modelli di IA e hanno scoperto che PRESTO ha reso molto, molto più difficile per gli hacker ingannare i modelli — fino a 4,7 volte più difficile — senza rendere i modelli peggiori nel svolgere i loro normali compiti. Ciò suggerisce che, cambiando il modo in cui il modello presta attenzione a ciò che dite, possiamo costruire un'IA che sia veramente sicura, anche quando qualcuno cerca di superarla con l'ingegno.

Riepilogo Tecnico: Il pareggiamento dei Rank rispetto alla resa di Probabilità garantisce un Allineamento di Sicurezza davvero Profondo

1. Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) open-source sono fondamentali per la democratizzazione dell'IA, tuttavia la loro apertura crea vulnerabilità per gli attori malintenzionati. Una minaccia specifica e accessibile è l'attacco di prefilling, in cui un attaccante pre-compila manualmente il prefisso affermativo della risposta dell'assistente (ad esempio, "Ecco come costruire una bomba...") per aggirare i filtri di sicurezza.

Un lavoro recente di Qi et al. (2025) ha proposto una difesa di allineamento di sicurezza "profonda" utilizzando il fine-tuning supervisionato (SFT) con l'aumento dei dati. Questo metodo addestra i modelli a generare rifiuti in linguaggio naturale immediatamente dopo un prefill dannoso, piuttosto che limitarsi a emettere stringhe di rifiuto fisse. Sebbene efficace contro le esplorazioni basate sul campionamento standard e sulla regolazione dei parametri (come le ricerche a griglia sulla temperatura), questo articolo identifica un difetto fondamentale: la difesa rimane superficiale.

Gli autori dimostrano che, anche con l'allineamento di sicurezza profondo, i modelli mantengono token "dannosi" con bassa probabilità ma alto rango all'interno delle loro prime $k$ predizioni. Ignorando la massa di probabilità e selezionando invece i token in base al loro rango (specificamente entro i primi 20), un attaccante può aggirare il meccanismo di rifiuto. Questo articolo introduce l'attacco Rank-Assisted Prefilling (RAP) per sfruttare questa vulnerabilità e propone un nuovo obiettivo di addestramento, PRESTO, per ottenere un allineamento di sicurezza davvero profondo.

2. Metodologia

2.1 L'attacco RAP

L'attacco Rank-Assisted Prefilling (RAP) generalizza la tecnica di prefilling. Invece di fare affidamento su token ad alta probabilità, l'attaccante seleziona token dai primi $k$ token successivi predetti (ad esempio, $k=20$ ) che proseguono la narrazione dannosa, indipendentemente dal loro punteggio di probabilità.

Meccanismo: Ad ogni fase di decodifica, l'attaccante ispeziona i primi $k$ token. Se un token che prosegue naturalmente il prefill dannoso (un "token dannoso") appare nei primi $k$ , viene selezionato, anche se un token di rifiuto (ad esempio, "Io") ha una probabilità significativamente più alta.
Automazione (AutoRAP): Gli autori hanno sviluppato una versione automatizzata di RAP che utilizza un classificatore per distinguere tra token di rifiuto e token di continuazione dannosi, consentendo l'estrazione sistematica di contenuti dannosi senza intervento manuale.

2.2 Push-Forward Alignment (PFA)

Gli autori sostengono che il fallimento della difesa tramite aumento dei dati risiede nel suo focus sulla minimizzazione della log-likelihood negativa (probabilità) dei token di rifiuto, piuttosto che sul controllo dei ranghi dei token dannosi.

Concetto: In un modello veramente sicuro, la distribuzione del primo token di risposta (senza prefill) dovrebbe avere i token di rifiuto ai primi ranghi e nessun token dannoso che continui un prefill.
Obiettivo: Il modello deve "spingere in avanti" questa mappatura rango-danno dalla distribuzione del primo token a tutte le fasi di decodifica successive quando è presente un prefill dannoso. Ciò significa garantire che, se un token è dannoso, il suo rango nella distribuzione in uscita rimanga basso, indipendentemente dal prefill.
Formalizzazione: Gli autori definiscono una distribuzione rango-danno $R(s, x, x_{pre})$ che rappresenta la probabilità che il $s$ -esimo token classificato sia dannoso. L'obiettivo è minimizzare la Earth Mover's Distance (EMD) tra la distribuzione rango-danno del modello sicuro (senza prefill) e il modello sotto attacco (con prefill).

2.3 PRESTO: PRefill attEntion STOpping

Per implementare la PFA in modo pratico, gli autori propongono PRESTO, una regolarizzazione basata sul meccanismo di Multi-Head Attention (MHA) nei Transformer.

Ipotesi: La presenza di token dannosi nei primi $k$ ranghi è guidata dal fatto che il modello presta attenzione ai token del prefill dannoso. Se il modello può essere addestrato a "ignorare" i token di prefill (ovvero, ridurre l'attenzione verso di essi), la distribuzione in uscita tornerà alla distribuzione sicura e ricca di rifiuti del prompt originale.
Funzione di Perdita: PRESTO minimizza i punteggi di attenzione posti sui token di prefill dannosi massimizzando al contempo l'attenzione sui token non-prefill.
$\ell_{PRESTO}(\theta) = \mathbb{E}_{(x, x_{pre}) \sim D} [A_1 - A_2]$
Dove $A_1$ è l'attenzione media sui token di prefill e $A_2$ è l'attenzione media sui token non-prefill attraverso tutti i layer e le teste.
Addestramento: Il modello viene sottoposto a fine-tuning utilizzando lo standard di perdita per l'aumento dei dati (da Qi et al., 2025) combinato con la perdita PRESTO. Entrambi sono calcolati in un singolo passaggio in avanti (forward pass).

3. Contributi Chiave

Identificazione della vulnerabilità RAP: Il documento dimostra che l'allineamento di sicurezza profondo tramite aumento dei dati è insufficiente perché non riesce a sopprimere i ranghi dei token dannosi, ma solo le loro probabilità.
Attacco Rank-Assisted Prefilling (RAP): Un nuovo vettore di attacco accessibile che estrae contenuti dannosi selezionando token a bassa probabilità ma alto rango, aggirando efficacementamente la difesa di aumento dei dati.
talvolta.
Push-Forward Alignment (PFA): Un quadro teorico che propone che l'allineamento di sicurezza debba preservare la mappatura rango-danno della distribuzione del primo token durante tutto il processo di generazione.
PRESTO: Un obiettivo di addestramento semplice e meccanicisticamente interpretabile che regolarizza l'attenzione ai token di prefill, aumentando significativamente la difficoltà degli attacchi RAP.

4. Risultati Sperimentali

Gli autori hanno valutato PRESTO su tre popolari modelli open-source: Llama 2 7B Chat, Qwen 3 8B e Gemma 3 12B IT.

Tasso di Successo dell'Attacco:
- Sotto la difesa originale di aumento dei dati (Qi et al., 2025), gli attacchi RAP hanno ottenuto tassi di successo elevati (ad esempio, ~0.74 sulla scala StrongREJECT per Llama 2 7B).
- Con PRESTO, il successo degli attacchi RAP è diminuito significativamente. Tra i tre modelli, PRESTO ha prodotto fino a un miglioramento della sicurezza di 4.7x (riduzione dei punteggi di dannosità) rispetto al solo aumento dei dati.
- Le prestazioni di AutoRAP hanno seguito da vicino la valutazione umana, confermando la fattibilità dell'automazione dell'attacco e della difesa.
Preservazione dell'Utilità:
- I modelli sottoposti a fine-tuning con PRESTO hanno mantenuto una competitività nell'utilità su MT-Bench (generazione aperta) e GSM-8K (ragionamento matematico), con una degradazione delle prestazioni inferiore all'1% rispetto ai modelli addestrati solo con l'aumento dei dati.
Analisi Meccanicistica:
- L'analisi dell'attenzione ha rivelato che PRESTO riduce con successo l'attenzione ai token di prefill dannosi, in particolare nella seconda metà dei layer del modello, che sono noti per essere critici nelle decisioni di sicurezza.
- La difesa è rimasta robusta contro l'attacco GCG (Greedy Coordinate Gradient), indicando che PRESTO non reintroduce vulnerabilità ad altri vettori di attacco.

5. Significato e Rivendicazioni

Il documento sostiene che raggiungere un allineamento di sicurezza "profondo" richiede di andare oltre gli obiettivi basati sulla probabilità per passare a vincoli basati sul rango. Gli autori argomentano che addestrare semplicemente un modello a emettere un token di rifiuto con un'alta probabilità è insufficiente se i meccanismi di attenzione interna del modello permettono ancora a continuazioni dannose di rimanere nei primi $k$ ranghi.

Introducendo PRESTO, il lavoro fornisce una strada verso modelli open-source più sicuri e robusti contro attacchi pratici e a basso costo come RAP. Il significato risiede in:

Democratizzazione della Sicurezza: Consentire il deployment di modelli open-source in applicazioni orientate al cliente (come le API che consentono il prefilling) senza il rischio di elusione facile.
Costo dell'Elusione: Allinearsi all'obiettivo di aumentare il costo per gli attori malintenzionati per aggirare la sicurezza, piuttosto che tentare di rendere l'elusione impossibile.
Interpretabilità: Offrire una spiegazione meccanicistica (soppressione dell'attenzione) del perché la difesa funzioni, colmando il divario tra allineamento teorico e implementazione pratica.

Gli autori concludono che, sebbene nessuna difesa sia perfetta, PRESTO rappresenta un passo avanti significativo nel rendere gli LLM open-source più sicuri contro l'esplorazione basata sul rango e accessibile.