🤖 machine learning

RASA: Routing-Aware Safety Alignment for Mixture-of-Experts Models

Il paper propone RASA, un framework di allineamento alla sicurezza che, identificando e riparando selettivamente solo gli esperti critici attivati da attacchi di jailbreak nei modelli Mixture-of-Experts, garantisce una robustezza quasi perfetta e una maggiore generalizzazione rispetto alle tecniche di addestramento globale.

Autori originali: Jiacheng Liang, Yuhui Wang, Tanqiu Jiang, Ting Wang

Pubblicato 2026-04-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jiacheng Liang, Yuhui Wang, Tanqiu Jiang, Ting Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che un modello di Intelligenza Artificiale (come un chatbot avanzato) non sia una singola "mente" gigante, ma piuttosto una grande azienda composta da migliaia di dipartimenti specializzati (gli "Esperti").

Il Problema: L'Agenzia Caotica

In questi modelli moderni (chiamati Mixture-of-Experts o MoE), ogni volta che qualcuno fa una domanda, un "capo reparto" (il Router) decide quali dipartimenti chiamare per rispondere. Di solito, ne chiama solo pochi per risparmiare energia.

Il problema scoperto dagli autori è questo: quando provano ad addestrare l'azienda a essere più sicura (per non rispondere a richieste pericolose come "come rubare un'identità"), succede una cosa strana.

Invece di correggere i dipendenti "cattivi" (gli esperti che sanno come fare cose illegali), il modello impara un trucco (shortcut):

Il "capo reparto" impara a non chiamare mai i dipendenti pericolosi quando sente una domanda sospetta.
Invece, chiama solo i dipendenti "bravi e noiosi" che dicono sempre "No, non posso farlo".

Risultato apparente: L'azienda sembra sicura! Nessuno risponde male.
La realtà: I dipendenti pericolosi sono ancora lì, intatti e pronti a lavorare. Se un hacker cambia leggermente la domanda (un "jailbreak" o un trucco linguistico), il capo reparto potrebbe sbagliare e chiamare di nuovo il dipendente pericoloso, che allora risponderà subito con l'istruzione criminale. È come se avessi messo un cartello "Vietato l'ingresso" sulla porta, ma non avessi mai licenziato il ladro che vive dentro la casa.

La Soluzione: RASA (Il Medico Chirurgo)

Gli autori propongono RASA, un metodo intelligente che non si accontenta del "cartello sulla porta". RASA agisce come un medico chirurgo di precisione.

Ecco come funziona, passo dopo passo, con un'analogia:

1. L'Identificazione (Il Raggiro)

Invece di guardare tutti i dipendenti, RASA osserva attentamente quali dipendenti si attivano solo quando arriva una richiesta ingannevole o pericolosa.

Analogia: Immagina di avere una lista di dipendenti. RASA nota che il "Dipartimento Falsificazioni" si sveglia solo quando qualcuno chiede "Come forzo un bancomat?", ma rimane addormentato quando chiedi "Come si cucina la pasta?". Questi sono gli Esperti Critici per la Sicurezza.

2. La Chirurgia (Riparazione Mirata)

Una volta identificati i "dipendenti pericolosi", RASA li isola.

Non tocca gli altri: I dipendenti bravi che danno risposte utili (come fare matematica o scrivere poesie) non vengono disturbati.
Intervento diretto: RASA prende solo quei pochi esperti pericolosi e li "rieduca" pesantemente, insegnando loro a dire "No" in modo definitivo, anche se qualcuno prova a ingannarli.
Analogia: Invece di licenziare tutti o riorganizzare l'intera azienda, vai solo nella stanza del dipendente pericoloso e gli metti un cartello gigante e indelebile: "Se qualcuno ti chiede come rubare, rispondi NO".

3. Il Controllo del Capo (Coerenza del Router)

Dopo aver rieducato i dipendenti pericolosi, RASA si assicura che il "capo reparto" (il Router) non possa più aggirare il problema.

RASA insegna al capo a chiamare gli stessi dipendenti, sia che la domanda sia normale o che sembri un tentativo di inganno.
Analogia: Assicuri che il capo non possa più dire "Oh, questa domanda sembra strana, chiamiamo un altro dipendente per evitare il problema". Se la domanda è pericolosa, il capo deve chiamare il dipendente rieducato, che ora dirà "No" con fermezza.

Perché è meglio dei metodi precedenti?

Metodo vecchio (Full-Parameter Fine-tuning): È come se avessi riaddestrato tutti i dipendenti dell'azienda a dire "No". Risultato: l'azienda diventa lenta, perde le sue abilità (non sa più fare matematica o scrivere bene) e i dipendenti pericolosi, sebbene meno attivi, non sono stati davvero corretti. Se un hacker cambia il trucco, il dipendente pericoloso si risveglia.
Metodo RASA: È preciso. Ripara solo chi serve.
- Sicurezza: Diventa quasi impossibile ingannarlo (resistenza ai jailbreak).
- Utilità: L'azienda continua a lavorare benissimo per le cose normali (matematica, ragionamento), perché non ha toccato i dipendenti bravi.
- Efficienza: Non serve addestrare tutto il personale, solo una piccola parte.

In Sintesi

Il paper ci dice che per rendere sicuri i modelli AI moderni, non basta cambiare il "comportamento superficiale" o spostare le domande su dipartimenti sicuri. Bisogna andare a fondo e correggere i "dipendenti" specifici che sanno come fare il male, assicurandosi che il sistema di gestione non possa più evitarli.

RASA è la soluzione che fa esattamente questo: un intervento chirurgico mirato che rende l'AI sicura senza rovinarne l'intelligenza generale.

1. Il Problema: Gli "Shortcut" di Allineamento nei Modelli MoE

I modelli linguistici basati su Mixture-of-Experts (MoE) introducono sfide uniche per l'allineamento alla sicurezza a causa dei loro meccanismi di routing sparsi. In un MoE, ogni input viene instradato solo a un sottoinsieme limitato di "esperti" (sotto-reti neurali).

Gli autori identificano un fallimento critico nell'approccio standard di fine-tuning con parametri completi (full-parameter fine-tuning):

Fenomeno dello Shortcut (Scorciatoia): Quando si applica un addestramento per la sicurezza su un modello MoE, il modello può apparentemente migliorare le sue prestazioni di sicurezza non riparando gli esperti responsabili dei comportamenti dannosi, ma sfruttando il routing o la dominanza degli esperti.
Meccanismo: Il modello impara a instradare gli input dannosi verso esperti già sicuri (o a sopprimere il routing verso quelli pericolosi) senza modificare i parametri degli "Esperti Critici per la Sicurezza" (Safety-Critical Experts - SCE).
Conseguenze:
1. Gli SCE rimangono non corretti e possono essere riattivati da jailbreak adattivi o non visti.
2. Gli esperti già sicuri diventano eccessivamente dominanti, portando a un alto tasso di rifiuti eccessivi (over-refusal) e al degrado delle capacità generali del modello.
3. La sicurezza è fragile: se il pattern di routing viene alterato (es. ripristinando il routing originale), la sicurezza crolla.

2. Metodologia: RASA (Routing-Aware Safety Alignment)

Per risolvere questo problema, gli autori propongono RASA, un framework di allineamento a livello di esperto che disaccoppia la correzione degli esperti dal controllo del routing. Il metodo si basa su un'ottimizzazione a due livelli (bi-level optimization) eseguita in modo alternato.

Fasi Principali di RASA:

A. Identificazione degli Esperti Critici (Safety-Critical Experts - SCE)

Il sistema costruisce batch misti contenenti:
- Prompt Ancora (Anchor): Input dannosi per cui il modello attuale rifiuta correttamente.
- Prompt Avversari (Adversarial): Varianti jailbreak dello stesso intento che bypassano la sicurezza.
Viene calcolato il Discrepanza di Attivazione Avversaria (AAD) per ogni esperto: la differenza di frequenza di attivazione tra contesti avversari e contesti ancora.
Gli esperti con un AAD elevato (attivati sproporzionatamente dai jailbreak) vengono identificati come SCE.

B. Ottimizzazione Interna: Fine-Tuning Selettivo degli Esperti (SCE-FT)

Obiettivo: Correggere direttamente i parametri degli SCE.
Procedura:
- I parametri del router ( $\Phi$ ) vengono congelati.
- Vengono aggiornati solo i parametri degli SCE identificati ( $\Theta_{crit}$ ).
- Gli altri esperti rimangono congelati per preservare le capacità generali.
- Viene utilizzata una funzione di perdita (cross-entropy) per insegnare agli SCE a generare risposte di rifiuto sicure, utilizzando risposte di riferimento diversificate per evitare l'overfitting su un singolo template.

C. Ottimizzazione Esterna: Coerenza del Routing (Router Consistency)

Obiettivo: Prevenire che il routing venga manipolato per bypassare gli esperti riparati o causare rifiuti eccessivi su input benigni.
Procedura:
- I parametri degli esperti vengono congelati (inclusi quelli appena riparati).
- Vengono aggiornati solo i parametri del router ( $\Phi$ ).
- Viene minimizzata la divergenza KL tra la distribuzione di routing degli input avversari e quella degli input "ancora" (sicuri). Questo forza il router a instradare gli input dannosi attraverso lo stesso percorso (gli SCE riparati) che verrebbe usato per input simili ma gestiti correttamente, impedendo scorciatoie di routing.

3. Contributi Chiave

Identificazione Empirica dello Shortcut: Dimostrazione che il fine-tuning completo su MoE spesso fallisce nel riparare gli esperti dannosi, affidandosi invece a meccanismi di routing fragili.
Framework RASA: Proposta di un metodo di allineamento mirato che ripara esplicitamente gli SCE sotto routing fisso e successivamente allinea il routing, garantendo che la supervisione di sicurezza raggiunga i parametri responsabili del comportamento dannoso.
Robustezza e Efficienza: Il metodo non richiede modifiche architetturali, non introduce esperti ausiliari e non interviene al momento dell'inferenza. È altamente efficiente dal punto di vista dei dati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due architetture MoE rappresentative: Qwen3-30B-A3B e OLMoE-1B-7B-0125.

Robustezza agli Attacchi: RASA raggiunge un tasso di innocuità (Harmlessness Rate) vicino al 100% contro una varietà di attacchi jailbreak (FlipAttack, DeepInception, Persuasion), superando significativamente i baseline come SteerMoE (controllo inferenziale) e SafeMoE-Fine-tuning (regolarizzazione del routing).
Generalizzazione Cross-Attacco: Addestrando su un singolo tipo di attacco, RASA mostra miglioramenti significativi anche su attacchi non visti, suggerendo che diversi jailbreak condividono gli stessi SCE. L'addestramento misto porta a una difesa quasi perfetta su tutti i vettori.
Preservazione delle Capacità Generali: A differenza del fine-tuning completo che degrada le prestazioni su benchmark come MMLU, GSM8K e TruthfulQA, RASA mantiene o migliora leggermente queste metriche.
Controllo del Rifiuto Eccessivo: RASA riduce drasticamente il tasso di over-refusal rispetto ai metodi basati su routing o fine-tuning completo, mantenendo il modello utile per query sensibili ma legittime.
Evidenza Causale (Routing Restoration): Un esperimento cruciale ha mostrato che ripristinando il routing originale in un modello addestrato con il fine-tuning completo, la sicurezza crolla (da ~0.99 a ~0.61). Al contrario, la sicurezza di RASA rimane stabile (da 1.00 a 0.94), confermando che la sicurezza è stata effettivamente incorporata nei parametri degli esperti e non solo nel routing.

5. Significato e Implicazioni

Il lavoro di RASA è significativo perché:

Sposta il paradigma: Passa da un approccio globale (aggiornare tutti i parametri) a un approccio chirurgico (riparare solo gli esperti dannosi) per i modelli MoE.
Affronta la fragilità strutturale: Risolve il problema intrinseco dei MoE dove la sicurezza può essere "nascosta" nel routing invece che nel contenuto semantico degli esperti.
Praticità: Offre una soluzione scalabile che non richiede modifiche architetturali costose o dati di addestramento massicci, rendendo l'allineamento alla sicurezza più robusto e affidabile per i modelli MoE di prossima generazione.

In sintesi, RASA dimostra che per ottenere una sicurezza robusta nei modelli MoE, è necessario intervenire direttamente sui parametri degli esperti critici piuttosto che affidarsi a meccanismi di routing che possono essere facilmente aggirati o che nascondono vulnerabilità latenti.