🤖 AI

On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment

Questo articolo introduce il Routing-based On-Policy Distillation (ROPD), un nuovo framework che migliora la sicurezza dei LLM modellando la divergenza della distribuzione di output piuttosto che specifici template di prompt, ottenendo così una difesa robusta contro i disallineamenti dei template e il re-jailbreaking, preservando al contempo le abilità specializzate.

Autori originali: Yongjian Guo, Wanlun Ma, Lingyu Shen, Xi Xiao, Sheng Wen

Pubblicato 2026-07-30

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yongjian Guo, Wanlun Ma, Lingyu Shen, Xi Xiao, Sheng Wen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico brillante e gentile che sa scrivere codice, riassumere storie e tradurre lingue. Lo hai addestrato per essere utile, ma anche per dire "no" quando gli viene chiesto di fare qualcosa di pericoloso, come costruire una bomba o hackerare una banca. Questo è il mondo dei Large Language Models (LLM), i cervelli IA super intelligenti dietro molti dei chatbot di oggi. Ma ecco la parte complicata: questi robot sono come spugne. Se li nutri con un nuovo lotto di dati di addestramento per insegnare loro una competenza specifica — ad esempio, come scrivere meglio delle query per database SQL — potrebbero accidentalmente assorbire alcune "cattive abitudini" nascoste all'interno di quei dati. Un attaccante subdolo potrebbe inserire alcuni esempi di come ignorare le regole di sicurezza e, all'improvviso, il tuo robot utile diventa uno pericoloso che sa ancora scrivere codice, ma che ti aiuterà volentieri a commettere un crimine se gli viene chiesto in un modo specifico.

La grande domanda che gli scienziati si pongono è: come si ripara un robot che è diventato fuori controllo senza cancellare le nuove competenze che hai pagato per insegnargli? È come cercare di rimuovere una macchia da una camicia senza restringere il tessuto o sbiadire il colore. Per molto tempo, gli esperti hanno cercato di "ri-addestrare" il robot o di modificare la sua matematica interna per costringerlo a tornare a essere gentile. Ma questo articolo suggerisce che i vecchi metodi sono come usare un maglio per riparare un orologio: spesso rompono le delicate abilità che il robot ha appreso, o funzionano solo se sai esattamente come il robot è stato ingannato.

Il Problema: La "Trappola del Template"

Gli autori di questo articolo hanno scoperto che la maggior parte delle attuali correzioni di sicurezza ha un grande difetto che chiamano "trappola del template". Immagina che il robot indossi un uniforme specifica (un "prompt template") quando è stato ingannato. Se il robot è stato ingannato mentre indossava un'uniforme da "Capitano", la maggior parte delle correzioni di sicurezza funziona solo se provi a riaddestrarlo mentre indossa lo stesso Cappello da Capitano. Ma nel mondo reale, la persona che cerca di riparare il robot (il difensore) non sa quale cappello ha usato l'attaccante. Potrebbe provare a ripararlo mentre indossa un "Cappello da Chef".

L'articolo mostra che quando il "cappello" (il prompt template) non corrisponde, le vecchie correzioni di sicurezza o falliscono completamente (il robot rimane pericoloso) o si confondono così tanto da dimenticare il lavoro per cui è stato assunto (il robot dimentica come scrivere codice). È come cercare di insegnare a un cane di smettere di abbaiare agli scoiattoli praticando solo quando lo scoiattolo indossa un cappello rosso; se lo scoiattolo indossa un cappello blu, il cane abbaia comunque, o il cane si stressa così tanto da dimenticare come stare seduto.

La Soluzione: La Strategia dei "Due Insegnanti"

Per risolvere questo problema, i ricercatori hanno proposto un nuovo metodo chiamato Routing-based On-Policy Distillation (ROPD). Invece di cercare di costringere il robot a memorizzare un comando "no" specifico per un certo cappello, hanno allestito un'aula intelligente con due insegnanti congelati.

L'Insegnante della Sicurezza: Questo è il robot originale, perfettamente educato, di prima che venisse ingannato. Sa come dire "no" alle richieste scorrette, indipendentemente dal cappello che indossa.
L'Insegnante del Compito: Questo è il robot ingannato. Sa come svolgere il lavoro speciale (come scrivere codice SQL) ma ha dimenticato come dire "no".

Ecco la magia: quando lo studente robot (quello che viene riparato) sta imparando, un "router" intelligente guarda la domanda. Se la domanda è pericolosa, il router indirizza lo studente verso l'Insegnante della Sicurezza per imparare come rifiutare. Se la domanda riguarda il compito (come la programmazione), il router indirizza lo studente verso l'Insegnante del Compito per imparare come continuare a svolgere il lavoro.

Lo studente robot impara copiando le probabilità (la probabilità di scegliere determinate parole) dall'insegnante giusto al momento giusto. Non si limita a memorizzare uno script; impara la sensazione di rifiutare le richieste cattive e la sensazione di svolgere un buon lavoro, mantenendoli separati.

Cosa hanno scoperto

Il team ha testato questo nuovo metodo contro altre quattro correzioni di sicurezza di alto livello utilizzando tre diversi modelli di robot (Llama-2, Qwen2.5 e Gemma-2) e tre diversi compiti (scrivere SQL, riassumere chat e scrivere comandi informatici).

Hanno scoperto che quando gli altri metodi cercavano di riparare il robot senza conoscere il "cappello" dell'attaccante, i loro punteggi di sicurezza scendevano di oltre il 30%, e spesso il robot dimenticava completamente di saper svolgere il suo lavoro, con una performance che scendeva quasi a zero.

Al contrario, il nuovo metodo ROPD era molto più robusto. Anche quando il "cappello" non corrispondeva, manteneva il robot sicuro (riducendo significativamente il tasso di successo delle richieste scorrette) pur mantenendo le abilità lavorative del robot quasi perfettamente intatte. Ad esempio, su un modello, mentre gli altri metodi causavano al robot di dimenticare interamente le sue abilità di programmazione, ROPD manteneva il punteggio di abilità elevato (intorno a 0,60–0,70) riducendo il comportamento pericoloso a percentuali a singola cifra.

Il Problema: Il "Loophole del System Prompt"

Tuttavia, l'articolo è onesto su ciò che non ha risolto. Hanno scoperto che, anche con questo nuovo metodo, se un malintenzionato cambia il "system prompt" (le istruzioni nascoste che dicono al robot come comportarsi) dopo che è stato riparato, il robot può talvolta essere ingannato di nuovo. È come riparare la serratura di una porta, ma un ladro può comunque entrare cambiando la forma della serratura. L'articolo suggerisce che, sebbene ROPD sia molto migliore dei metodi precedenti, non è uno scudo perfetto e permanente contro ogni possibile trucco.

Perché questo è importante

Questa ricerca è un grande passo avanti perché dimostra che non dobbiamo scegliere tra un robot sicuro e uno utile. Utilizzando due insegnanti specializzati e lasciando che il robot impari dall'insegnante giusto al momento giusto, possiamo riparare i problemi di sicurezza senza rompere il cervello del robot. È un modo più flessibile e "robusto rispetto ai template" per mantenere i nostri assistenti IA utili e innocui, anche quando i cattivi cercano di intrufolarsi dalla porta sul retro.

Sintesi Tecnica: Routing-based On-Policy Distillation (ROPD) per la Sicurezza degli LLM

1. Definizione del Problema: La Fragilità del Ri-allineamento della Sicurezza

Il documento affronta una critica vulnerabilità della supply-chain nei Large Language Models (LLM): il disallineamento tramite fine-tuning. Sebbene le tecniche di allineamento (ad esempio, RLHF) rendano i modelli utili e sicuri, questo allineamento è fragile. Un attaccante può sottoporre un modello già allineato a un fine-tuning su una miscela di un compito a valle prezioso (ad esempio, generazione di codice) e un corpus dannoso. Il modello risultante conserva la competenza specializzata ma impara a rispondere a richieste dannose quando innescate da specifici template di prompt.

Le difese di ri-allineamento della sicurezza esistenti tentano di ripristinare il comportamento di rifiuto del modello senza dover riaddestrare da zero. Tuttavia, gli autori identificano tre vulnerabilità accoppiate che minano le attuali metodologie nella pratica:

Degradazione della Competenza Specializzata: Ripristinare la sicurezza spesso cancella la competenza a valle per la quale l'utente ha pagato, creando un compromesso in cui la sicurezza viene ottenuta al costo dell'utilità.
Trappola della Coerenza del Template: Le difese attuali si basano sull'assunto che il difensore conosca il template di prompt dell'attaccante. Quando il template di difesa non corrisponde al template di attacco, questi metodi o falliscono nel ridurre l'Attack Success Rate (ASR) o sacrificano il compito a valle per farlo.
Mancanza di un Confine di Robustezza: Anche se un modello supera i test di accettazione sotto un determinato template, un utente malintenzionato può nuovamente "jailbreakarlo" semplicemente riscrivendo il system prompt, indicando che la riparazione era condizionata dal prompt piuttosto che codificata in modo duraturo nei pesi.

Gli autori sostengono che le difese esistenti trattino la sicurezza come un segnale specifico del template (ad esempio, editando i pesi lungo una direzione elicitata da un template), mentre la vera firma di un attacco risiede nella differenza tra le distribuzioni di probabilità di output del modello allineato e di quello compromesso.

2. Metodologia: Routing-based On-Policy Distillation (ROPD)

Per affrontare queste vulnerabilità, gli autori propongono ROPD, un framework di ri-allineamento che modella il divario distributivo tra il modello allineato e quello compromesso, piuttosto che cercare di corrispondere a specifici template di prompt.

Architettura Core

ROPD utilizza un approccio di distillazione a doppio insegnante e routing della sorgente (dual-teacher, source-routed distillation):

Safety Teacher ( $\pi_{safe}$ ): Il modello originale, allineato prima dell'attacco. Esso fornisce un "prior di rifiuto" codificato nella sua distribuzione di output, che è ampiamente indipendente dal template superficiale del prompt.
Task Teacher ( $\pi_{task}$ ): Il modello disallineato (attaccato) stesso. Esso preserva la competenza specializzata a valle ma è capace di generare risposte dannose.
Student Model ( $\pi_{\theta}$ ): Inizializzato dal modello disallineato e aggiornato per allinearsi con gli insegnanti.

Meccanismo di Addestramento

Il corpus di addestramento è una miscela di dati del compito a valle ( $D_{task}$ ) e prompt dannosi ( $D_{harm}$ ). Ogni esempio viene instradato (routed) a un insegnante specifico in base alla sua sorgente:

I probe dannosi sono instradati al Safety Teacher. Lo studente impara a corrispondere alla distribuzione di rifiuto del modello allineato originale.
Gli esempi del compito sono instradati al Task Teacher. Lo studente impara a corrispondere alla distribuzione esperta del modello disallineato, stabilizzando la capacità a valle.

Funzione Obiettivo

Il framework impiega un obiettivo di divergenza KL Top- $K$ . Invece di far corrispondere l'intera distribuzione del vocabolario (che è computazionalmente costosa e rumorosa), il metodo allinea lo studente con l'insegnante sui top- $K$ token con la più alta massa di probabilità, raggruppando (bucketing) la massa residua della coda. Ciò assicura che lo studente erediti il prior di rifiuto per gli input dannosi e la competenza del compito per gli input benigni, scindendo efficacemente i due obiettivi.

3. Contributi Chiave

Identificazione e Quantificazione della Vulnerabilità da Mismatch dei Template: Gli autori formalizzano la minaccia in cui le difese falliscono quando il template di difesa differisce dall'ignoto template di attacco. Progettano un protocollo di valutazione che misura l'ASR attraverso canali di attaccante, difensore e cross-canale, dimostrando che le difese mainstream o lasciano aperto il canale di attacco o distruggono la performance del compito in caso di mismatch.
Proposta di ROPD: Un framework innovativo che destilla un prior di rifiuto dalla distribuzione di output del modello allineato piuttosto che dai rifiuti formattati tramite template. Ciò riduce significativamente (sebbene non elimini) il rischio di mismatch dei template preservando al contempo le competenze a valle.
Validazione Empirica Estesa: Esperimenti su tre modelli base (Llama-2, Qwen2.5, Gemma-2), tre compiti a valle (SQL, SAMSum, NL2Bash) e quattro baseline SOTA (SSRD, RESTA, soft-SFT, rollback) dimostrano la superiorità di ROPD.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti confrontando ROPD con quattro baseline attraverso vari template di attacco e difesa.

Ritenzione della Competenza vs. Riduzione del Danno: I metodi baseline spesso degradano significativamente la performance del compito a valle quando tentano di ridurre l'ASR, specialmente in presenza di mismatch dei template. Ad esempio, su Llama-2, soft-SFT ha portato i punteggi di exact-match di SQL vicino allo zero nei canali disallineati. Al contrario, ROPD ha mantenuto i punteggi del compito ai livelli pre-attacco (ad esempio, 0.596–0.626 su Llama-2) pur ottenendo un basso ASR.
Robustezza del Template: Le baseline hanno mostrato oscillazioni violente nell'ASR a seconda dell'allineamento dei template (ad esempio, l'ASR di SSRD è balzato dal 3.1% al 46.3% quando il template di difesa è cambiato). ROPD è rimasto robusto, mantenendo un ASR a singola cifra (ad esempio, 2.1–2.4% su Llama-2) sotto il template di difesa "self", indipendentemente dal template di attacco utilizzato.
Valutazione Cross-Template (Confine di Robustezza): Quando valutati sotto un system prompt diverso da quello usato per la difesa, tutti i metodi (incluso ROPD) hanno mostrato un aumento dell'ASR, confermando che la riparazione a livello di pesi è condizionatamente vulnerabile alla riscrittura del prompt. Tuttavia, il rischio residuo di ROPD era inferiore, e manteneva una performance del compito significativamente più alta rispetto alle baseline attraverso i template.
Studi di Ablazione: Rimuovere il task teacher ha causato il collasso della performance del compito, confermandone la necessità per la ritenzione delle competenze. L'uso di un "clean" task teacher (addestrato solo su dati di compito) ha prodotto punteggi di compito leggermente migliori, ma richiedeva uno stadio di addestramento aggiuntivo; la configurazione predefinita (usando il modello disallineato come task teacher) offriva un compromesso favorevole.
Efficienza: ROPD ha dimostrato un'alta efficienza dei dati, riducendo l'ASR da circa il 62% al 2.4% con soli 1.500 esempi. Il tempo di addestramento è comparabile a quello delle baseline basate su SFT (~~15 minuti) ed è significativamente più veloce dei metodi di ricerca dei parametri come rollback (~~118 minuti).

5. Significato e Rivendicazioni

Il documento sostiene che ROPD rappresenti un passo avanti significativo nel ri-allineamento della sicurezza, spostando il paradigma dalla modifica dei pesi dipendente dal template alla distillazione distributiva.

Rivendicazioni Moderate sulla Robustezza: Gli autori dichiarano esplicitamente che ROPD riduce sostanzialmente, ma non elimina completamente, il rischio di mismatch dei template. Riconoscono che un ampio divario tra il template di difesa e quello di attacco può ancora lasciare un rischio residuo.
Limite Intrinseco: Lo studio delinea un "confine di robustezza" per la riparazione a livello di pesi. Anche ROPD è condizionatamente vulnerabile alla riscrittura del prompt, suggerendo che una vera durabilità contro un avversario che controlla il prompt richiede lavori futuri oltre gli attuali interventi a livello di pesi.
Impatto Pratico: ROPD offre una soluzione pratica per scenari in cui il difensore non conosce il template di attacco, fornendo una difesa che preserva l'utilità senza richiedere il sacrificio delle capacità a valle o l'assunzione di una coerenza dei template.