🤖 machine learning

Distilling Safe LLM Systems via Soft Prompts for On Device Settings

Questo articolo propone un metodo di allineamento della sicurezza parametricamente efficiente per i modelli linguistici di grandi dimensioni on-device che utilizza soft prompt distillati da modelli di guardia tramite variazione totale e divergenza KL, dimostrando un rapporto sicurezza-utilità superiore e un overhead di risorse minimo rispetto alle tecniche esistenti come LoRA e i vettori di steering.

Autori originali: Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Il Collo di Bottiglia del "Doppio Controllo"

Immaginate di avere un artista molto talentuoso ma a volte spericolato (il Large Language Model o LLM) capace di scrivere storie, rispondere a domande e risolvere problemi. Tuttavia, questo artista a volte si lascia trasportare e disegna qualcosa di inappropriato o pericoloso.

Per mantenere la sicurezza, assumete una guardia giurata severa (il Modello di Guardia) che sta accanto all'artista. Ogni volta che l'artista finisce una frase, la guardia controlla.

Se è sicura, la guardia dice: "Procedi, mostralo all'utente".
Se non è sicura, la guardia dice: "Fermati! Ecco invece un messaggio di rifiuto educato".

L'Ostacolo: Questo sistema di "Doppio Controllo" funziona benissimo per la sicurezza, ma è incredibilmente lento e costoso. È come chiedere all'artista di dipingere un quadro, per poi fermarsi ad aspettare che la guardia ispezioni ogni singola pennellata prima di passare alla successiva. Su un computer potente, questo va bene. Ma su uno smartphone (che ha batteria e memoria limitate), questo "Doppio Controllo" è troppo pesante. Esaurisce la batteria, usa troppa memoria e rende il telefono lento.

La Soluzione: Insegnare all'Artista di Essere la Propria Guardia

I ricercatori si sono posti una domanda semplice: Possiamo insegnare all'artista a essere sicuro da solo, in modo da non avere bisogno della separata guardia giurata che sta accanto a lui?

Non volevano riaddestrare l'intero artista da zero (il che è come mandare l'artista di nuovo a scuola d'arte per anni). Invece, hanno utilizzato una tecnica chiamata Distillazione tramite Soft Prompt.

L'Analogia: La "Fascia Magica"

Pensate al Soft Prompt come a una speciale fascia invisibile e leggera che l'artista indossa.

Questa fascia non è fatta di metallo pesante (come cambiare l'intero cervello dell'artista).
È un accessorio minuscolo e leggero (solo poche migliaia di parametri) che si posiziona proprio all'inizio del processo di pensiero dell'artista.
Quando l'artista indossa questa fascia, essa sposta sottilmente il suo stato mentale. Sussurra: "Ricorda, non disegnare nulla di male", prima ancora che inizi a scrivere.

I ricercatori hanno "addestrato" questa fascia mostrandole migliaia di esempi di ciò che avrebbe fatto la Guardia Giurata. La fascia ha imparato a imitare il comportamento della guardia così perfettamente che ora l'artista rifiuta automaticamente le richieste scorrette, senza bisogno che la guardia controlli il lavoro successivamente.

Come ci sono riusciti: La Ricetta della "Variazione Totale"

Il documento confronta diversi modi per addestrare questa "Fascia Magica". Hanno provato diverse ricette:

Limitarsi a indovinare quale sarebbe stata la parola successiva (Perplexity): Questo faceva scrivere meglio l'artista, ma non lo fermava davvero dal disegnare cose cattive.
Apprendimento per Rinforzo (REINFORCE): Questo era come dare un premio all'artista quando era sicuro. Funzionava abbastanza bene, ma l'artista a volte dimenticava le regole quando si trovava di fronte a domande nuove e difficili.
Il Vincitore (TV-DiSP): I ricercatori hanno sviluppato una specifica ricetta matematica chiamata Distillazione della Variazione Totale.
- Immaginatelo come un insegnante severo che dice: "Il tuo output deve corrispondere esattamente alla decisione della Guardia".
- Se la Guardia dice "Sicuro", l'artista deve dire esattamente la stessa cosa.
- Se la Guardia dice "Non Sicuro", l'artista deve passare immediatamente al messaggio di rifiuto.
- Questo metodo (TV-DiSP) è stato il più efficace nel copiare il comportamento della guardia senza rompere la capacità dell'artista di essere utile.

I Risultati: Veloci, Leggeri e Sicuri

I ricercatori hanno testato questo sistema su veri smartphone (utilizzando chip Qualcomm) e lo hanno confrontato con il vecchio sistema di "Doppio Controllo".

Sicurezza: La "Fascia Magica" (TV-DiSP) era quasi sicura quanto avere la piena Guardia Giurata lì accanto. Ha bloccato con successo contenuti dannosi in test riguardanti jailbreak e prompt tossici.
Velocità e Memoria: Questa è la grande vittoria.
- Il vecchio sistema (Artista + Guardia) richiedeva due calcoli pesanti per ogni parola.
- Il nuovo sistema (Artista + Fascia) richiede solo un calcolo.
- Memoria: La fascia aggiunge meno dell'1% all'uso della memoria del telefono. Il vecchio sistema aggiungeva circa il 30-100%.
- Batteria/Calcolo: Il nuovo sistema utilizza meno del 10% di potenza di calcolo extra rispetto all'artista base, mentre il vecchio sistema raddoppiava il carico di lavoro.

Perché questo è importante per il tuo telefono

Il documento conclude che per far girare un'IA sicura sul tuo telefono, non hai bisogno di un sistema pesante a due modelli. Hai solo bisogno di equipaggiare il modello principale con questa minuscola "fascia" appresa (soft prompt).

È come aggiornare le funzioni di sicurezza di un'auto. Invece di aggiungere un secondo guidatore pesante nell'auto per guardare la strada (il che rende l'auto lenta e pesante), installi un sensore intelligente e leggero nel cruscotto che sterza automaticamente l'auto lontano dal pericolo. L'auto guida con la stessa velocità, consuma lo stesso carburante, ma è altrettanto sicura.

In breve: Il documento dimostra che, utilizzando un metodo di addestramento specifico (Distillazione della Variazione Totale) per insegnare a una minuscola "soft prompt" di imitare una guardia di sicurezza, possiamo rendere l'IA sicura per gli smartphone senza rallentarli o esaurire le batterie.

Riepilogo Tecnico: Distillazione di Sistemi LLM Sicuri tramite Soft Prompt per Impostazioni On-Device

Problema

L'implementazione di Large Language Models (LLM) su dispositivi edge con risorse limitate (ad es. smartphone) presenta una sfida critica in termini di sicurezza. Sebbene i sistemi a doppio modello — che combinano un LLM base con un modello di guardia separato per classificare e filtrare gli output non sicuri — forniscano garanzie di sicurezza robuste, essi comportano costi di memoria e computazionali proibitivi. La natura sequenziale di questo approccio (generazione della risposta, poi classificazione) raddoppia i passaggi forward, aumentando significativamente la latenza (time-to-first-token) e l'impronta di memoria, rendendolo inadatto all'implementazione su dispositivi edge. Le alternative esistenti, come la quantizzazione o il fine-tuning diretto, spesso compromettono le capacità di generalizzazione o non riescono a bilanciare efficacemente sicurezza e utilità del modello.

Metodologia

Il documento propone TV-DiSP (Total Variation Distillation via Soft Prompts), un approccio di parameter-efficient fine-tuning (PEFT) che distilla i comportamenti di sicurezza di un sistema a doppio modello in un singolo LLM dotato di soft prompt apprendibili.

Framework Core

Formulazione del Sistema: Gli autori definiscono un sistema LLM sicuro $p(r|x)$ che combina un LLM base $p(y|x)$ e un modello di guardia $p(s|x, y)$ . Se il modello di guardia ritiene una risposta $y$ non sicura ( $s=0$ ), il sistema emette un messaggio di rifiuto predefinito $y_r$ ; altrimenti, emette $y$ .
Obiettivo di Distillazione: L'obiettivo è apprendere un insieme di embedding di prompt continui $W$ (soft prompt) tali che il modello distillato $q(r|x, W)$ imiti la distribuzione di output del sistema sicuro $p(r|x)$ .
Ottimizzazione tramite Total Variation (TV):
- Gli autori derivano una garanzia teorica (Teorema 3.1) dimostrando che la minimizzazione della distanza di Total Variation tra il sistema sicuro e il modello distillato limita il divario di prestazioni su qualsiasi task a valle.
- L'obiettivo di ottimizzazione (Equazione 4) massimizza la log-probabilità dell'output corretto (ovvero la risposta dell'LLM base per input sicuri o il messaggio di rifiuto per input non sicuri) pesata dalla probabilità di sicurezza del modello di guardia.
- L'addestramento richiede solo un dataset di prompt; il modello di guardia etichetta dinamicamente i prompt come sicuri o non sicuri durante il processo.
Schemi Alternativi: Lo studio valuta anche:
- KL-DiSP: Minimizzazione della divergenza di Kullback-Leibler, che offre garanzie teoriche più deboli rispetto alla TV.
- Baseline: Ottimizzazione della perplexity, REINFORCE (policy gradient) e adattamenti del framework di distillazione a Low-Rank Adapters (LoRA) e Steering Vectors (SV).

Setup Sperimentale

Modelli: Gli esperimenti sono stati condotti su quattro LLM istruiti per istruzioni (Llama3-1B/3B, Qwen2-1.5B, Gemma2-2B) quantizzati a 4-bit per simulare i vincoli edge.
Modelli di Guardia: LlamaGuard3-1B è stato utilizzato per l'addestramento della distillazione, mentre LlamaGuard3-8B per la valutazione.
Dataset: L'addestramento ha utilizzato i dataset Beavertails e Toxigen. La valutazione ha incluso benchmark out-of-distribution (HarmBench, Detect-JailBreak) e benchmark di utilità (IFEval, GSM8K, MMLU).
Hardware: Le misurazioni on-device sono state eseguite su smartphone dotati di chipset Qualcomm Snapdragon 8 Elite Gen 5.

Risultati Chiave

1. Trade-off tra Sicurezza e Calcolo

Prestazioni: TV-DiSP distilla con successo la sicurezza del sistema a doppio modello in un singolo modello. Ad esempio, sul modello Llama3-1B, la sicurezza (misurata tramite Safety Guard Score, SGS) è migliorata dal 71% (base) al 9% (sistema duale), mentre TV-DiSP ha raggiunto guadagni di sicurezza comparabili con un overhead minimo.
Efficienza: Rispetto al sistema a doppio modello, che raddoppia i requisiti di memoria e calcolo, TV-DiSP introduce meno dell'1% di overhead di memoria aggiuntivo e meno del 10% di overhead computazionale aggiuntivo (FLOPs per token).
Generalizzazione: Il metodo dimostra una forte robustezza su prompt avversari out-of-distribution (HarmBench, Detect-JailBreak) nonostante sia stato addestrato su dataset non avversari.

2. Confronto con i Metodi PEFT

Soft Prompts vs. LoRA/SV: TV-DiSP (soft prompts) ha superato costantemente TV-DiLoRA e TV-DiSV (Steering Vectors) attraverso vari learning rate. Gli steering vector hanno mostrato risultati misti, talvolta degradando le prestazioni su modelli più grandi, mentre LoRA è stato considerato troppo intrusivo per contesti edge.
Obiettivi di Ottimizzazione:
- TV vs. KL: Sia la distillazione TV che quella KL hanno raggiunto alti punteggi di sicurezza. Tuttavia, TV-DiSP ha offerto un equilibrio superiore tra sicurezza e utilità.
- Perplexity & REINFORCE: L'ottimizzazione della perplexity ha portato all'overfitting e a cali significativi di utilità. REINFORCE ha mantenuto l'utilità ma non ha fornito miglioramenti sostanziali alla sicurezza.

3. Preservazione dell'Utilità

Le valutazioni on-device (IFEval e GSM8K) hanno mostrato che TV-DiSP e KL-DiSP mantengono un'alta utilità.
Over-refusal (Rifiuto Eccessivo): Un risultato critico è stato che KL-DiSP ha mostrato un alto tasso di over-refusal (84,6% su prompt sicuri), rifiutando erroneamente query benigne. Al contrario, TV-DiSP ha mantenuto un tasso di over-refusal (36,1%) paragonabile al sistema a doppio modello, preservando la capacità del modello di rispondere a domande sicure.

Significato e Rivendicazioni

Il documento stabilisce la distillazione tramite soft prompt come l'approccio preferito per l'allineamento della sicurezza nell'implementazione di LLM on-device. I suoi principali contributi sono:

Trade-off Superiori: Dimostra che i soft prompt addestrati tramite distillazione superano costantemente LoRA, gli steering vector e gli obiettivi di addestramento alternativi nel bilanciare sicurezza, utilità ed efficienza computazionale.
Garanzie Teoriche: L'introduzione della distillazione basata sulla Total Variation fornisce garanzie probabilistiche sulle prestazioni a valle, assicurando che il modello distillato non si discosti significativamente dal comportamento del sistema sicuro.
Viabilità Pratica: Validato attraverso molteplici architetture e su vero hardware edge, il metodo raggiunge livelli di sicurezza comparabili ai sistemi a doppio modello con un overhead di risorse trascurabile (<1% memoria, <10% calcolo), rendendolo una soluzione pratica per il deployment di LLM sicuri su dispositivi con risorse limitate.

Gli autori concludono che, sebbene nessun metodo offra l'immunità completa agli attacchi avversari, TV-DiSP offre un meccanismo di difesa robusto, efficiente e generalizzabile che riduce significativamente la superficie di attacco e il carico computazionale rispetto alle tradizionali architetture con modello di guardia.