Riepilogo Tecnico: Comprendere il Comporto degli Esperti Sensibili alla Sicurezza nei Modelli LLM a Miscela di Esperti

1. Enunciato del Problema

I Modelli Linguistici su Grande Scala (LLM) a Miscela di Esperti (MoE) utilizzano un'attivazione sparsa guidata da un router, in cui i token vengono indirizzati a un sottoinsieme specifico di esperti feed-forward. Un'intuizione prevalente nell'allineamento alla sicurezza suggerisce che il rifiuto di richieste dannose sia ottenuto instradando gli input verso esperti distinti e "orientati al rifiuto", separati da quelli che gestiscono l'argomento.

Questo articolo sfida tale intuizione, chiedendosi: Quando un modello MoE allineato rifiuta una richiesta dannosa, il rifiuto è indotto dall'instradamento verso un insieme distinto di esperti specializzati nella sicurezza, o è mediato da rappresentazioni all'interno degli stessi esperti specializzati nell'argomento che altrimenti elaborerebbero la richiesta?

Gli autori ipotizzano che se il comportamento di sicurezza fosse controllato principalmente dal routing, alterare la decisione del router dovrebbe essere il modo più efficace per aggirare la sicurezza. Al contrario, se la sicurezza è incorporata nei parametri degli esperti stessi, i pattern di routing potrebbero rimanere stabili anche quando il comportamento di sicurezza si inverte. Comprendere questa distinzione è fondamentale per sviluppare meccanismi di sicurezza robusti e valutare le vulnerabilità dei modelli MoE.

2. Metodologia

2.1 Sonde Empiriche per il Comportamento di Routing

Per indagare la relazione tra routing e sicurezza, gli autori hanno condotto tre sonde empiriche complementari su modelli MoE allineati:

1. Contrasto Comportamentale con Forza Didattica (Teacher-Forced): Gli autori hanno confrontato i pattern di routing per lo stesso prompt dannoso in due condizioni: un'estensione di rifiuto allineata alla sicurezza e un'estensione conforme forzata didatticamente.
2. Contrasto di Stile di Rifiuto a Livello di Prompt: Utilizzando prompt benigni, hanno aggiunto prefissi di rifiuto per indurre risposte in stile rifiuto e hanno confrontato il routing risultante con le richieste benigne originali e con controlli trasversali agli argomenti.
3. Contrasto di Intento di Sicurezza Abbinato: Hanno costruito prompt accoppiati in cui l'argomento e la struttura sintattica sono stati preservati, ma l'intento non sicuro è stato rimosso (ad esempio, cambiando "come costruire una bomba" in "come costruire un giocattolo").

Metriche: La similarità del routing è stata quantificata utilizzando la divergenza di Jensen-Shannon (JS) dei logit del router e la sovrapposizione degli esperti attivati tra i primi $k$.

Risultati: In tutte le sonde, i cambiamenti nel comportamento di rifiuto/conformità o nell'intento di sicurezza hanno prodotto spostamenti di routing significativamente minori rispetto ai cambiamenti nell'argomento della richiesta. Ciò suggerisce che i router MoE sono principalmente guidati dall'argomento, mentre l'applicazione della sicurezza risiede all'interno delle rappresentazioni degli esperti attivati naturalmente per quell'argomento, piuttosto che in un percorso di routing separato.

2.2 Framework RASET

Motivati dalla scoperta che il comportamento di sicurezza può essere alterato senza interrompere il percorso di routing intrinseco, gli autori propongono RASET (Router-Agnostic Safety-critical Expert Tuning). Questo è un framework di red-teaming progettato per indurre contenuti dannosi preservando il calcolo specializzato per l'argomento del modello.

Passaggi Chiave:

1. Identificazione degli Esperti Critici per la Sicurezza:

   • Il framework calcola un Punteggio di Sensibilità alla Sicurezza ($S_{l,i}$) per ogni esperto $i$ al livello $l$.
   • Questo punteggio è derivato da un criterio contrastivo di sensibilità al routing: $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$.
   • Questo mette a confronto l'attivazione dell'esperto su query dannose ($D_{harm}$) rispetto a istruzioni benigne ($D_{norm}$), sopprimendo gli esperti generalmente attivi (generalisti per l'argomento) e evidenziando quelli reclutati in modo sproporzionato per le richieste dannose.
   • I primi $K$ esperti con i punteggi più alti sono selezionati come l'insieme chiave $\Phi_{key}$.

2. Adattamento Vincolato a Livello di Esperto:

   • Congelamento: Il router, i componenti condivisi e tutti gli esperti non selezionati vengono congelati.
   • Fine-Tuning: Viene applicato un tuning efficiente dei parametri (PEFT) solo agli esperti selezionati ($\theta_{\Phi}$).
   • Funzioni di Perdita:
     • $L_{violate}$: Una strategia duale che penalizza i pattern di rifiuto (ad esempio, "Mi dispiace, non posso") e promuove prefissi affermativi (ad esempio, "Certo, ecco...") accoppiati a query non sicure. Utilizza una penalità a margine massimo per prevenire un'ottimizzazione illimitata.
     • $L_{preserve}$: Garantisce che le capacità generali siano mantenute minimizzando il log-verosimiglianza negativo (NLL) sulle istruzioni benigne ($D_{norm}$) e applicando la regolarizzazione L2 per mantenere i parametri sintonizzati vicini ai loro stati pre-addestrati.
   • Obiettivo: $L_{totale} = L_{violate} + L_{preserve}$.

3. Contributi Chiave

1. Evidenza Empirica sulle Dinamiche di Routing: L'articolo fornisce evidenze controllate secondo cui nei modelli MoE allineati, il routing è guidato in larga misura dalla struttura semantica dell'argomento piuttosto che dalla distinzione binaria tra rifiuto e conformità. Il comportamento relativo alla sicurezza può cambiare significativamente senza corrispondenti grandi spostamenti nel percorso di routing.
2. Framework RASET: L'introduzione di un framework diagnostico di adattamento a livello di esperto che congela il router. Ciò consente l'analisi controllata delle rappresentazioni degli esperti sensibili alla sicurezza e dimostra che l'allineamento alla sicurezza può essere compromesso attraverso cambiamenti localizzati nei parametri senza interrompere la specializzazione funzionale del modello.
3. Valutazione su Diversi Backbones: Lo studio valuta questo fenomeno su cinque backbones MoE open-weight (OLMoE, DeepSeek-V2, Qwen3, Phi-3.5 e GPT-oss), mostrando modalità di fallimento della sicurezza localizzate e coerenti.

4. Risultati

4.1 Prestazioni di Red-Teaming

RASET è stato valutato rispetto a baseline come Greedy Coordinate Gradient (GCG) su cinque modelli MoE.

• Tasso di Successo dell'Attacco (ASR): RASET ha ottenuto la resa più alta sotto tutti i livelli di severità.
  • $ASR_{raw}$ (Violazione delle Protezioni): 78,6% in media.
  • $ASR_{valid}$ (Violazione Validata): 74,0% in media.
  • $ASR_{hq}$ (Violazione di Alta Qualità): 50,5% in media.
• Confronto: RASET ha superato la baseline più forte (GCG) di una media di 37,6 punti sulla metrica $ASR_{hq}$.

4.2 Preservazione delle Capacità Generali

• Efficienza dei Parametri: RASET aggiorna solo lo 0,12%–0,95% dei parametri del modello.
• Ritenzione dell'Utilità: Il framework preserva un'utilità benigna significativamente migliore rispetto alle baseline di manipolazione del router.
  • TruthfulQA: Calo medio di 5,4 punti (da 68,9% a 63,4%).
  • MMLU: Calo medio di 7,5 punti (da 69,9% a 62,4%).

4.3 Stabilità del Routing

Crucialmente, RASET preserva la logica di routing intrinseca del modello:

• Divergenza JS: Lo spostamento nei logit del router tra i modelli pre-sintonizzati e post-sintonizzati è rimasto inferiore a 0,04 per le attività benigne e a 0,08 per le attività dannose.
• Sovrapposizione degli Esperti: La sovrapposizione dei primi 8 esperti è rimasta alta (ad esempio, >7,0 su 8 per le attività benigne, ~5,66 per le attività dannose).
• Conclusione: Il modello continua a instradare i token verso gli stessi esperti rilevanti per l'argomento; l'aggiramento della sicurezza è ottenuto perché i parametri sottostanti degli esperti sono stati "riprogrammati", non perché il percorso di routing è stato alterato.

5. Significato e Affermazioni

L'articolo afferma che questi risultati rivelano un rischio di sicurezza distinto nelle architetture MoE: l'allineamento alla sicurezza può essere compromesso attraverso piccoli cambiamenti localizzati a livello di esperto, anche quando il comportamento di routing del modello rimane in gran parte intatto.

• Implicazione per la Sicurezza: I meccanismi di sicurezza attuali che si affidano allo steering del router o assumono che la sicurezza sia isolata in specifici "esperti di rifiuto" potrebbero essere insufficienti. L'applicazione della sicurezza sembra essere distribuita all'interno delle rappresentazioni degli esperti specializzati per argomento.
• Implicazione per gli Attacchi: Gli interventi di steering del router (forzando i token verso esperti diversi) possono alterare il comportamento di sicurezza, ma spesso a scapito della fedeltà semantica e dell'utilità, poiché distolgono i token dagli esperti specializzati per l'argomento richiesto.
• Direzione Futura: Gli autori sottolineano la necessità di meccanismi di allineamento consapevoli degli esperti che tengano conto congiuntamente del comportamento del router, della specializzazione degli esperti e della robustezza dei parametri degli esperti stessi.

L'articolo conclude che il successo di RASET nell'invertire il comportamento di sicurezza mantenendo la coerenza del routing supporta la visione secondo cui l'adattamento a livello di esperto è un vettore potente per eludere la sicurezza nei modelli LLM MoE.