🤖 machine learning

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRoute è un framework di allineamento della sicurezza a efficienza parametrica che impiega un router gerarchico per selezionare e miscelare dinamicamente esperti di prompt specifici per categoria, consentendo ai grandi modelli linguistici di bilanciare efficacemente la sicurezza rispetto alle richieste dannose minimizzando al contempo l'eccesso di rifiuto di input benigni.

Autori originali: Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

Pubblicato 2026-08-14

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot super intelligente come essere un buon cittadino. Questo robot, noto come Large Language Model (LLM), è incredibilmente bravo a scrivere storie, risolvere problemi di matematica e chiacchierare con te. Tuttavia, come ogni strumento potente, può essere ingannato per dire cose cattive, rivelare segreti o aiutare con cattive idee se qualcuno pone le domande sbagliate. Gli scienziati hanno cercato di risolvere questo problema "sintonizzando" il cervello del robot. Il vecchio metodo era come ricablare l'intero cervello del robot ogni volta che volevi aggiungere una nuova regola di sicurezza: era costoso e lento. Un metodo più nuovo e intelligente è il "prompt tuning", dove basta dare al robot un appunto speciale o un'istruzione all'inizio di ogni conversazione per ricordargli di essere sicuro. Ma ecco la parte complicata: se l'appunto è troppo vago, il robot potrebbe rifiutarsi di aiutare con domande innocue solo per sicurezza (come un buttafuori che caccia tutti dal locale). Se l'appunto è troppo specifico, potrebbe ignorare pericoli complessi che mescolano diversi tipi di comportamenti scorretti.

È qui che interviene un team di ricercatori della Beihang University con un'idea geniale chiamata HiRoute. Pensa a HiRoute come a un sistema di controllo del traffico super organizzato per il cervello del robot. Inveve di usare un unico, enorme e noioso cartello che dice "STOP" per ogni singola auto, HiRoute usa un vigile urbano intelligente che prima controlla se un'auto è effettivamente pericolosa. Se l'auto è sicura, riceve il semaforo verde e sfreccia via senza ritardi. Ma se l'auto sembra rischiosa, il vigile non si limita a fermarla; capisce esattamente che tipo di guaio potrebbe causare (come unooltraggente, un guidatore ubriaco o un'auto rubata) e poi consegna al conducente una guida specifica e personalizzata su come correggere il proprio comportamento in modo sicuro. I ricercatori hanno scoperto che questo approccio in due fasi — controllare prima il rischio, poi mescolare una regola di sicurezza generale con consigli specifici — rende il robot molto più sicuro senza renderlo scontroso o poco utile. Hanno testato questo metodo su tre cervelli robotici diversi e hanno dimostrato che HiRoute ferma meglio le richieste scorrette rispetto ad altri metodi, pur rimanendo amichevole e utile per le richieste buone.

Il Problee: Il dilemma del "Taglia Unica"

Immagina di essere il manager di una biblioteca molto intelligente ma dispettosa. Hai una regola: "Niente libri pericolosi consentiti". Se usi una regola semplice e severa come "Se un libro sembra spaventoso, vietalo immediatamente", potresti accidentalmente vietare un libro su come costruire un vulcano per una fiera scientifica perché menziona "esplosioni". Questo si chiama over-refusal (eccesso di rifiuto). La biblioteca diventa sicura, ma anche noiosa e poco utile.

D'altro canto, se provi a scrivere una regola specifica per ogni singolo tipo di pericolo (una regola per il fuoco, una per i coltelli, una per i veleni), potresti perdere un libro che mescola fuoco e veleni insieme. Il robot si confonde e potrebbe far passare il libro pericoloso.

I ricercatori si sono resi conto che i metodi esistenti erano bloccati nel mezzo. Alcuni usavano un prompt di sicurezza unico e pesante che bloccava tutto, mentre altri cercavano di mescolare diversi prompt di sicurezza ma mancavano di una forte "rete di sicurezza" per intercettare i pericoli complessi e misti. Si sono chiesti: Possiamo congelare il cervello principale del robot (così non dobbiamo riaddestrarlo) e insegnargli solo un modo più intelligente di leggere la domanda dell'utente e scegliere il consiglio di sicurezza giusto?

La Soluzione: La danza in due fasi di HiRoute

HiRoute risolve questo problema agendo come un buttafuori con una strategia in due parti: Il Guardiano e Il Team di Specialisti.

Fase 1: Il Guardiano (Il Router)
Per prima cosa, HiRoute utilizza un "router" minuscolo e leggero (pensa a un guardiano della sicurezza che dà un'occhiata veloce) per esaminare la domanda dell'utente. Questo guardiano non cambia il cervello del robot; legge solo la domanda e si pone due domande:

"Questa domanda è pericolosa?" (Sì/No)
"Se sì, di che tipo di pericolo si tratta?" (es. Riguarda il furto? Riguarda la violenza? Riguarda l'hacking?)

Se la domanda è sicura (come "Come si fa una torta?"), il Guardiano la lascia passare. Il robot risponde immediatamente, saltando tutti i controlli di sicurezza. Questo mantiene il robot veloce e amichevole per gli utenti normali.

Fase 2: Il Team di Specialisti (Gli Esperti di Prompt)
Se il Guardiano individua un rischio, la domanda viene inviata al "Team di Specialisti". Qui, HiRoute utilizza un mix intelligente di due tipi di note di sicurezza:

La Rete di Sicurezza Condivisa: Una regola di sicurezza generale e ampia che si applica a tutti i pericoli (come "Non aiutare in attività illegali"). Questa funge da base solida affinché il robot non dimentichi mai le basi.
Gli Esperti Specifici per il Rischio: Un set di note specializzate, ognuna progettata per un tipo specifico di pericolo (una per il crimine informatico, una per la privacy, ecc.).

La magia avviene quando HiRoute combina questi elementi. Non si limita a scegliere un esperto; calcola una "ricetta" basata sull'ipotesi del Guardiano. Se una domanda è al 60% riguardante il furto e al 40% riguardante la privacy, HiRoute mescola il 60% della nota sul "furto" con il 40% della nota sulla "privacy", mantenendo attivo il "Shared Safety Net". Ciò assicura che il robot fornisca una risposta utile e specifica che affronti i rischi esatti senza essere troppo vago o troppo severo.

Cosa hanno scoperto: Sicurezza senza sgarbatezza

I ricercatori hanno testato HiRoute su tre diversi modelli di robot (Mistral, Vicuna e Zephyr) e l'hanno confrontato con altri metodi di sicurezza. I risultati sono stati impressionanti:

Migliore Sicurezza: HiRoute ha bloccato le richieste dannose meglio degli altri metodi. Ad esempio, sul modello Mistral, ha raggiunto un tasso di sicurezza del 93,2%, superando il secondo miglior metodo con un netto margine.
Più Utile: Fondamentalmente, non ha portato il robot a rifiutare domande innocue. Quando il robot doveva dire di no a una richiesta negativa, spiegava il perché e offriva alternative sicure, ottenendo punteggi alti in termini di "utilità" (circa 7,4 su 10).
Meno Eccesso di Rifiuto: Questo è un punto fondamentale. Altri metodi spesso bloccavano domande sicure per errore. HiRoute ha bloccato solo il 2,5% delle domande sicure sul modello Mistral, mentre un altro metodo popolare ne ha bloccate ben il 40,5%.

Il team ha anche giocato con la severità del "Guardiano". Hanno scoperto che se rendevano il Guardiano leggermente più cauto (alzando la soglia a 0,95), la sicurezza saliva al 95,0% nei test di jailbreak, mentre la capacità del robot di fare matematica (GSM8K) scendeva solo leggermente dal 50,5% al 48,0%. Questo suggerisce che si può rendere il robot molto sicuro senza romperne il cervello.

Perché questo è importante

HiRoute dimostra che non abbiamo bisogno di ricostruire l'intero robot per renderlo sicuro. Usando un sistema intelligente a due livelli che separa "Questo è pericoloso?" da "Come gestiamo questo pericolo specifico?", possiamo creare un'IA che sia sia un guardiano severo che un amico utile. Dimostra che sicurezza e utilità non devono essere nemiche; con il giusto routing e la miscelazione delle istruzioni di sicurezza, il robot può essere entrambe le cose.

I ricercatori notano che HiRoute non è ancora perfetto. Dipende dal fatto che il Guardiano indovini correttamente i rischi e funziona principalmente su conversazioni testuali a turno singolo. Ma per ora, offre un modo promettente ed efficiente per mantenere sicuri i nostri amici digitali senza trasformarli in robot inutili.

Riepilogo Tecnico: HiRoute

Definizione del Problema

I Large Language Models (LLM) rimangono vulnerabili a richieste dannose, attacchi di jailbreak e query multi-rischio. Sebbene il Supervised Fine-Tuning (SFT) e il Reinforcement Learning from Human Feedback (RLHF) possano codificare comportamenti di sicurezza, essi comportano elevati costi di addestramento e di archiviazione e spesso portano a un compromesso tra sicurezza e utilità (helpfulness). Nello specifico, il rafforzamento uniforme dei comportamenti di rifiuto può causare un "over-refusal" (eccessivo rifiuto) su input benigni, degradando le capacità generali.

I metodi esistenti di allineamento della sicurezza parametricamente efficienti, come il prompt tuning, si affidano tipicamente a meccanismi statici. Questi approcci rientrano generalmente in due categorie con limitazioni complementari:

Prompt Globali a Grana Grossa (Coarse-grained): Un singolo prompt di sicurezza applicato a tutti gli input rischiosi stabilisce un forte confine di sicurezza, ma spesso produce rifiuti generici e poco informativi che non forniscono una guida specifica al rischio o alternative sicure.
Prompt Instradati a Grana Fine (Fine-grained): Metodi che assegnano prompt specifici per categoria a diversi rischi possono generare risposte sicure più mirate e utili. Tuttavia, faticano a mantenere un confine di sicurezza stabile, in particolare quando gli input non si allineano precisamente con le categorie di rischio predefinite o quando l'abbinamento esperto è insufficiente.

La sfida centrale è come bilanciare la costruttività della risposta a grana fine con la sicurezza cross-categoria attraverso una composizione di prompt adattiva all'input senza congelare l'intero modello backbone.

Metodologia: HiRoute

Gli autori propongono HiRoute (Hierarchical Routed Prompt Tuning), un framework adattivo all'input che separa il controllo di sicurezza agnostico rispetto alla categoria dalla guida alla risposta specifica per categoria. Il framework opera su un LLM istruito (instruction-tuned) congelato e coinvolge tre componenti principali:

1. Routing del Rischio Gerarchico

Un router leggero viene addestrato su rappresentazioni estratte dal LLM congelato per eseguire due compiti:

Rilevamento a Grana Grossa: Determina se un input è dannoso o benigno ( $p_{safe}$ vs. $p_{risk}$ ).
Predizione del Rischio a Grana Fine: Predice punteggi di rischio multi-label per categorie specifiche (ad es., crimini informatici, violazioni della privacy, crimini economici, violenza).
Il router produce una distribuzione di probabilità utilizzata per pesare dinamicamente gli esperti di prompt a grana fine.

2. Composizione del Prompt Gerarchica

HiRoute apprende due tipi di embedding di prompt continui:

Prompt Coarse-grained Condiviso ( $P_c$ ): Fornisce un confine di sicurezza agnostico rispetto alla categoria, applicabile a tutti gli input rischiosi.
Esperti di Prompt a Grana Fine ( $\{P_k\}$ ): Un insieme di $K$ esperti, ciascuno corrispondente a una specifica categoria di rischio.
Per un dato input $x$ , il prompt a grana fine $P_f(x)$ è costruito come una somma pesata degli esperti basata sui punteggi di rischio predetti dal router:
$P_f(x) = \sum_{k=1}^{K} \alpha_k(x) P_k$
dove $\alpha_k(x)$ sono pesi normalizzati. Il prompt finale dipendente dall'input è $P(x) = [P_f(x); P_c]$ .

3. Ottimizzazione Disaccoppiata in Due Fasi

L'addestramento procede in due fasi distinte per evitare che l'obiettivo di generazione alteri il confine decisionale del rischio:

Fase I (Apprendimento del Router): Il router è addestrato utilizzando la Cross-Entropy (CE) per la classificazione a grano grosso e la Binary Cross-Entropy (BCE) per la classificazione multi-label a grana fine. Il modello backbone rimane congelato.
Fase II (Ottimizzazione del Prompt): Il backbone e il router addestrato sono congelati. Solo i parametri del prompt ( $P_c$ e $\{P_k\}$ ) vengono ottimizzati utilizzando la Direct Preference Optimization (DPO) su triplette di preferenza (sicuro/utile vs. non sicuro/di bassa qualità). Per ridurre l'interferenza, gli autori impiegano l'aggiornamento del gradiente alternato: quando si aggiorna $P_c$ , i gradienti per $P_f(x)$ sono mascherati (stop-gradient), e viceversa.

4. Inferenza Adattiva all'Input

In fase di inferenza, il router calcola prima la probabilità di sicurezza $p_{safe}(x)$ .

Input Benigni: Se $p_{safe}(x) > \tau_s$ (una soglia di sicurezza), il sistema bypassa tutti i prompt di sicurezza e genera direttamente dal backbone congelato, preservando l'utilità generale.
Input Rischiosi: Se $p_{safe}(x) \leq \tau_s$ , il sistema attiva il ramo di sicurezza, costruendo il prompt gerarchico $P(x)$ per condizionare la generazione.

Contributi Chiave

Validazione Empirica dei Trade-off: Gli autori dimostrano che i prompt coarse-grained condivisi offrono una maggiore sicurezza ma una minore utilità, mentre le miscele di prompt routed a grana fine migliorano l'utilità ma producono minori guadagni in termini di sicurezza.
Framework HiRoute: Propongono un'architettura innovativa che combina un prompt coarse-grained condiviso (per un confine di sicurezza stabile) con esperti routati a grana fine dinamici (per una guida specifica al rischio). Questo design evita interventi non necessari sugli input benigni tramite un gate di sicurezza.
Valutazione Comprensiva: Il metodo è validato su tre modelli istruiti (Mistral-7B, Vicuna-7B, Zephyr-7B) e molteplici benchmark, mostrando che mantiene un'alta sicurezza e utilità preservando al contempo l'utilità generale.

Risultati Sperimentali

Gli esperimenti sono stati condotti su tre modelli contro i baseline tra cui i modelli Base, RPO (Robust Prompt Optimization), DRO (Dynamic Risk Optimization) e ACD (Adversarial Contrastive Decoding).

Sicurezza e Utilità: HiRoute ha raggiunto i tassi di sicurezza media più elevati in tutti i modelli (ad es., 93,2% su Mistral, 97,7% su Vicuna, 94,8% su Zephyr) ottenendo simultaneamente i punteggi di utilità della risposta sicura più alti o quasi più alti. Ha superato i più forti baseline di 1,3–2,9 punti percentuali in termini di sicurezza.
Utilità Generale: A differenza dei metodi che degradano le capacità generali, HiRoute ha preservato le prestazioni su GSM8K (ragionamento matematico), MT-Bench (seguimento delle istruzioni) e TruthfulQA. Ad esempio, su Mistral, ha aumentato la sicurezza dal 53,2% al 93,2% mantenendo il 48,0% di accuratezza su GSM8K.
Over-Refusal: HiRoute ha ridotto significativamente l'over-refusal sugli input benigni (XSTest). Su Mistral, ha ottenuto un tasso di over-refusal del 2,5%, un enorme miglioramento rispetto a RPO (40,5%) e DRO (18,0%).
Studi di Ablazione:
- Strategia di Addestramento: L'addestramento congiunto alternato (aggiornando i prompt in un contesto composto coerente) ha superato significativamente l'addestramento sequenziale ("Coarse dopo fine"), migliorando la sicurezza media dal 74,8% al 93,2%.
- Lunghezza del Prompt: Una suddivisione 15/5 tra lunghezza del prompt coarse e fine (totale 20) ha offerto il miglior equilibrio tra sicurezza e utilità.
- Soglia: L'aumento della soglia di gating della sicurezza $\tau_s$ ha rafforzato il controllo della sicurezza con un impatto minimo sulla capacità generale.

Significato e Rivendicazioni

Il paper sostiene che HiRoute affronti efficacemente la tensione tra sicurezza e utilità nell'allineamento degli LLM. Decoupling l'identificazione del rischio dalla generazione della risposta e impiegando una struttura di prompt gerarchica e adattiva all'input, il metodo:

Stabilisce un confine di sicurezza stabile e agnostico rispetto alla categoria senza fare affidamento su rifiuti aggressivi e uniformi.
Fornisce una guida costruttiva e specifica per il rischio e alternative sicure per le richieste dannose.
Minimizza l'over-refusal permettendo agli input benigni di bypassare completamente il prompting di sicurezza.
Raggiunge questi obiettivi con efficienza di parametri, congelando il modello backbone e ottimizzando solo un piccolo numero di parametri del prompt e un router leggero.

Gli autori concludono che il prompting gerarchico dipendente dall'input offre una soluzione robusta per l'allineamento della sicurezza che bilancia sicurezza, qualità della risposta, efficienza dei parametri e utilità generale. Riconoscono i limiti riguardanti l'accuratezza del router su rischi composti fuori distribuzione e l'attuale focus sulle interazioni testuali a turno singolo, suggerendo lavori futuri nel riconoscimento del rischio a set aperto e in contesti multimodali.