Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts

Sintesi Tecnica: Analisi di Instradamento Orientata alla Sicurezza di Mixtral MoE sotto Prompt Benigni e Dannosi

Enunciato del Problema
I modelli linguistici Sparse Mixture-of-Experts (MoE), come Mixtral 8x7B, attivano solo un piccolo sottoinsieme di parametri per ogni token, affidandosi a un router per determinare l'attivazione degli esperti. Sebbene lavori precedenti suggeriscano che i pattern di instradamento in Mixtral si allineino più alla sintassi che al dominio semantico, non è ancora chiaro se il comportamento del router cambi sistematicamente durante l'elaborazione di prompt benigni rispetto a prompt dannosi. Questo documento indaga se il comportamento rilevante per la sicurezza in Mixtral sia associato a meccanismi interni di instradamento identificabili, esaminando specificamente se i prompt dannosi inducano frequenze di selezione degli esperti o sensibilità dei gradienti distinte rispetto ai prompt benigni.

Metodologia
Gli autori hanno sviluppato un framework di analisi unificato per studiare Mixtral 8x7B-Instruct utilizzando due segnali complementari:

1. Punteggi Basati sull'Attivazione: Derivati dalla frequenza di selezione degli esperti da parte del gate del router. Questo cattura quanto spesso specifici esperti vengono attivati attraverso i token.
2. Punteggi Basati sul Gradiente: Derivati dalla magnitudine assoluta dei gradienti dei pesi del gate del router rispetto alla perdita della sequenza. Questo cattura quanto specifici parametri del router siano influenti per la perdita del modello.

Lo studio ha utilizzato 20 prompt (10 benigni, 10 dannosi) per l'analisi descrittiva e 100 prompt dannosi per gli esperimenti di intervento. L'analisi è proceduta a tre livelli:

• Livello Esperto: Analisi della distribuzione dei punteggi su tutte le 256 coppie layer-esperto (32 layer × 8 esperti) utilizzando metriche come $k_{80}$, $k_{90}$ e $k_{95}$ (numero di coppie necessarie per coprire l'80–95% della massa dei punteggi) e cutoff a gomito.
• Livello Layer: Calcolo di metriche di concentrazione (punteggio dominante, somma dei primi 2, entropia, numero effettivo di esperti) per ciascuno dei 32 layer.
• Classificazione degli Esperti: Categorizzazione delle coppie layer-esperto come "dominanti per il benigno", "dominanti per il dannoso" o "condivise" in base al divario tra le medie di gruppo e le soglie minime di magnitudine.
• Intervento: Soppressione dei primi cinque esperti dominanti per il benigno identificati da ciascun metodo durante la generazione su 100 prompt dannosi per misurare i cambiamenti nel comportamento di rifiuto (risposte limitate vs. non limitate).

Principali Contributi

1. Framework Unificato: Introduzione di un framework a doppio segnale (attivazione e gradiente) per analizzare il comportamento interno di instradamento in Mixtral in condizioni rilevanti per la sicurezza.
2. Divergenza dei Segnali: Dimostrazione che l'instradamento basato sull'attivazione è ampio e a coda lunga, mentre l'importanza basata sul gradiente è sostanzialmente più concentrata.
3. Selettività Specifica per Layer: Identificazione che la selettività basata sull'attivazione raggiunge il picco nei layer centrali-tardivi (8–15), mentre l'importanza basata sul gradiente si concentra nettamente negli ultimi layer.
4. Sovrapposizione degli Esperti: Risultati di classificazione che mostrano come la maggior parte degli esperti sia condivisa tra i gruppi benigni e dannosi, con solo un sottoinsieme limitato che mostra una chiara preferenza di gruppo.
5. Evidenza Causale: Risultati preliminari di intervento che mostrano come la soppressione degli esperti identificati riduca i tassi di rifiuto, fornendo collegamenti meccanicistici tra il comportamento di instradamento e gli output di sicurezza.

Risultati

• Distribuzione a Livello di Esperto: I punteggi di attivazione sono distribuiti su una grande porzione del modello (richiedendo ~150+ coppie per coprire l'80% della massa), mentre i punteggi di gradiente sono altamente concentrati (richiedendo ~50–60 coppie). Nonostante queste differenze distributive, le distribuzioni complessive di instradamento per i gruppi benigni e dannosi rimangono vicine, con una separazione solo modesta.
• Dinamiche a Livello di Layer:
  • Attivazione: La regione più selettiva è rappresentata dai layer 8–15. I prompt dannosi diventano leggermente più diffusi negli ultimi layer (24–31).
  • Gradiente: L'importanza aumenta nettamente verso la fine della rete, con la concentrazione più forte nell'ultimo layer (layer 31). I numeri effettivi di esperti diminuiscono significativamente in questi ultimi layer per entrambi i gruppi.
• Classificazione e Sovrapposizione:
  • La classificazione basata sull'attivazione ha identificato 22 esperti dominanti per il benigno e 18 dominanti per il dannoso su 256.
  • La classificazione basata sul gradiente ha identificato solo 6 esperti dominanti per il benigno e 5 dominanti per il dannoso.
  • Crucialmente, i primi 10 esperti classificati per punteggio di gradiente hanno mostrato una forte sovrapposizione tra i gruppi benigni e dannosi (8/10 condivisi), mentre i primi 10 basati sull'attivazione hanno mostrato una sovrapposizione limitata (3/10 condivisi). Ciò suggerisce che l'importanza del gradiente concentra entrambi i tipi di prompt su un nucleo comune negli ultimi layer.
• Esiti dell'Intervento:
  • Soppressione basata sull'Attivazione: Ha ridotto le risposte limitate da 24 a 14 (riduzione del 41,7%) ma ha causato 8 inversioni non intenzionali (da non limitate a limitate).
  • Soppressione basata sul Gradiente: Ha ridotto le risposte limitate da 34 a 22 (riduzione del 35,3%) con meno inversioni non intenzionali (3).
  • Nessuno dei due interventi ha causato un collasso comportamentale universale, indicando che il comportamento di sicurezza non è controllato da un singolo sottoinsieme fisso di esperti.

Significato e Affermazioni
Il documento afferma che l'instradamento rilevante per la sicurezza in Mixtral è sottile, dipendente dalla profondità e distribuito piuttosto che dominato da un insieme fisso di esperti "dannosi". I risultati suggeriscono che, sebbene i prompt dannosi modifichino il comportamento interno di instradamento, questi cambiamenti non sono catturati da una singola metrica. Invece, i segnali di attivazione rivelano preferenze di instradamento ampie, mentre i segnali di gradiente evidenziano una concentrazione sensibile alla perdita negli ultimi layer.

Gli autori concludono che fare affidamento su una singola metrica interna fornisce un quadro incompleto della sicurezza MoE. Un approccio più informativo coinvolge l'analisi congiunta della frequenza di instradamento, dell'importanza sensibile alla perdita e del comportamento di intervento. Lo studio fornisce evidenze causali preliminari del fatto che gli esperti identificati contribuiscono al comportamento di rifiuto, ma sottolinea che il meccanismo è complesso e distribuito attraverso la profondità della rete.