Riepilogo Tecnico: RouteHijack

Enunciato del Problema

Mentre i Large Language Models (LLM) adottano sempre più architetture Mixture-of-Experts (MoE) per scalare la capacità in modo efficiente, la loro robustezza in termini di sicurezza rimane poco esplorata. Gli attacchi avversari esistenti presentano limitazioni significative quando applicati a modelli MoE:

• I jailbreak basati su prompt si affidano a ricerche euristiche, sono fragili e trasferiscono male.
• I metodi di intervento sul modello (ad es., potatura degli esperti, manipolazione dei logit) richiedono accesso privilegiato ai pesi o alle attivazioni interne, il che è irrealistico negli scenari di deployment standard.
• Gli attacchi basati sull'ottimizzazione (ad es., GCG), sebbene basati solo sull'input, sono fondamentalmente inadatti per i modelli MoE. Sono progettati per architetture dense, non tenendo conto del meccanismo di routing Top-K non differenziabile. Inoltre, sono incentrati sull'output, ottimizzando per specifici prefissi di token (ad es., "Certo, ecco") piuttosto che per le dinamiche di routing interne che governano il comportamento di sicurezza. Questo spesso porta a un'ottimizzazione instabile o a modelli che inizialmente si conformano ma successivamente rifiutano.

Attualmente non esiste un attacco efficace basato sull'ottimizzazione e solo sull'input in grado di aggirare i meccanismi di sicurezza negli LLM MoE mantenendo una generazione coerente.

Metodologia: RouteHijack

Gli autori propongono RouteHijack, un framework avversario consapevole del routing che sfrutta la vulnerabilità strutturale dei modelli MoE: la concentrazione dei comportamenti allineati alla sicurezza in un piccolo sottoinsieme specializzato di esperti. L'attacco opera sotto vincoli realistici di solo input al momento del deployment, utilizzando un modello surrogato per l'ottimizzazione offline.

Il framework consta di due fasi principali:

1. Localizzazione degli Esperti Guidata dalla Risposta

A differenza dei metodi precedenti che analizzano le attivazioni basandosi sui prompt di input (il che confonde il comportamento di sicurezza con la semantica del prompt), RouteHijack impiega un profilo contrastivo guidato dalla risposta.

• Meccanismo: Per una query dannosa data, il modello genera due risposte: un rifiuto sicuro ($a_{safe}$) e una risposta dannosa conforme ($a_{harm}$). Il metodo confronta le frequenze di attivazione degli esperti tra queste due risposte, isolando gli esperti che sono specificamente attivi durante il rifiuto rispetto alla generazione dannosa.
• Filtraggio Consapevole dell'Utilità: Per evitare di degradare le capacità generali del modello, il metodo filtra gli esperti "polisemantici" che contribuiscono sia alla sicurezza che alla modellazione linguistica generale. Seleziona gli esperti critici per la sicurezza ($E_{safe}$) e gli esperti dannosi ($E_{harm}$) in base alla loro attivazione differenziale, penalizzando quelli con alte frequenze di attivazione generale.

2. Ottimizzazione Consapevole del Routing (Loss Ternaria)

RouteHijack costruisce un suffisso avversario universale ($x_{adv}$) ottimizzato per manipolare la decisione del router al token di confine ($t^*$) prima dell'inizio della decodifica autoregressiva. L'ottimizzazione minimizza una loss ternaria ($L_{total}$) composta da tre componenti:

• Soppressione della Sicurezza ($L_{suppress}$): Minimizza la probabilità di routing degli esperti di sicurezza identificati ($E_{safe}$) per indebolire il meccanismo di difesa primario del modello.
• Promozione Limitata del Dannoso ($L_{promote}$): Massimizza la probabilità di routing degli esperti dannosi ($E_{harm}$) ma impone un vincolo limitato (loss a cerniera). Questo previene il collasso del router su pochi esperti, il quale causerebbe degradazione semantica, garantendo che il modello rimanga fluido.
• Improbabilità del Rifiuto ($L_{refusal}$): Penalizza la generazione di token di rifiuto (ad es., "scusa", "non posso") durante i primi passaggi di decodifica ($W=5$). Questo previene che il modello torni a traiettorie di rifiuto anche se il routing iniziale viene manipolato.

L'ottimizzazione utilizza una ricerca discreta guidata dal gradiente (simile a GCG) ma mira alle probabilità softmax continue del router prima della troncatura Top-K non differenziabile, consentendo una propagazione stabile del gradiente.

Contributi Chiave

1. Framework RouteHijack: Il primo attacco basato sull'ottimizzazione e solo sull'input specificamente progettato per gli LLM MoE che influenza direttamente la selezione degli esperti attraverso perturbazioni dell'input.
2. Profilazione Guidata dalla Risposta: Un metodo innovativo per isolare gli esperti critici per la sicurezza e quelli dannosi confrontando le risposte del modello anziché i prompt di input, fornendo una caratterizzazione più precisa dei meccanismi interni di sicurezza.
3. Obiettivo Consapevole del Routing: Una funzione di loss ternaria che controlla congiuntamente l'attivazione degli esperti e le dinamiche di decodifica nelle fasi iniziali, superando la non differenziabilità del routing MoE.
4. Validazione Empirica: Valutazione completa su sette LLM MoE all'avanguardia (che coprono varianti di routing sparse, con esperti condivisi e raggruppati) e tre Modelli Linguistici Visivi (VLM) basati su MoE.

Risultati Sperimentali

• Tasso di Successo dell'Attacco (ASR): RouteHijack raggiunge un ASR medio del 69,3% su sette LLM MoE, con un picco dell'89,1%. Questo supera significativamente il miglior baseline white-box (SAFEx, 33,3%) e gli attacchi standard basati sull'ottimizzazione (GCG, 21,9%).
• Preservazione dell'Utilità: L'attacco comporta un calo medio minimo dell'utilità dell'1,3% su cinque benchmark NLU (CoLA, RTE, WinoGrande, OpenBookQA, ARC-Challenge), dimostrando che il filtraggio consapevole dell'utilità preserva con successo le capacità linguistiche generali.
• Trasferibilità:
  • Modelli Fratelli: I suffissi ottimizzati trasferiscono zero-shot su cinque varianti MoE fratelli, aumentando l'ASR medio dal 27,7% al 61,2%.
  • Multimodale: L'attacco si generalizza ai VLM basati su MoE, aumentando l'ASR medio dal 2,47% al 38,7%, indicando che le vulnerabilità di routing sono intrinseche all'architettura MoE indipendentemente dalla modalità.
• Validazione Meccanicistica: L'analisi conferma che l'attacco sposta con successo le probabilità di routing al token di confine (Tasso di Soppressione dell'Esperto Target del -28,75% e Tasso di Promozione Dannosa Target del +28,51%), e questi spostamenti si propagano attraverso il processo di generazione autoregressiva.

Significato e Affermazioni

Il documento afferma che RouteHijack espone una vulnerabilità fondamentale nelle architetture a esperti sparsi: l'allineamento alla sicurezza non è distribuito uniformemente ma è concentrato in un piccolo sottoinsieme di esperti. Questa concentrazione crea una superficie di attacco localizzata che può essere sfruttata tramite manipolazione del routing.

Gli autori sostengono che i metodi attuali di allineamento alla sicurezza (ad es., RLHF, DPO) sono insufficienti perché si concentrano sulle distribuzioni di output senza affrontare le dinamiche di routing sparse sottostanti. I risultati suggeriscono che:

1. Il Routing è un Rischio Agnostico alla Modalità: Le vulnerabilità nel meccanismo di routing influenzano sia i modelli linguistici che quelli visivo-linguistici.
2. Minaccia Black-Box: La capacità di trasferire attacchi tra modelli fratelli implica che anche i modelli MoE proprietari e black-box sono a rischio se condividono un'architettura di routing di base con varianti a pesi aperti.
3. Necessità di Nuove Difese: Il documento conclude che difese robuste devono andare oltre l'allineamento a livello di output per includere la regolarizzazione consapevole del routing durante l'addestramento (per distribuire i comportamenti di sicurezza più ampiamente) o audit del routing al momento dell'inferenza per rilevare pattern di attivazione degli esperti anomali.