Sintesi Tecnica: LoMC per la Soppressione del Rifiuto nei Modelli Fondamentali con Routing

Formulazione del Problema

Questo articolo affronta la sfida della soppressione controllata del rifiuto post-training in modelli fondamentali Mixture-of-Experts (MoE) e hybrid-MoE con routing. L'obiettivo è aumentare il Target Compliance Rate (TCR) — definito come il complemento del tasso di rifiuto su prompt dannosi — preservando al contempo la General Capability Average (GCA) su input benigni.

Il problema è particolarmente acuto nelle architetture con routing, dove gli input attivano solo un sottoinsieme di esperti. Gli approcci esistenti affrontano un compromesso:

1. Modifiche basate su direzioni ampie (ad esempio, l'ablazione a singolo vettore) possono perturbare il calcolo general-purpose in tutto il modello, degradando la GCA.
2. La sola selezione del supporto di modifica (selezionare esperti specifici da modificare) mantiene compatta l'impronta dell'intervento, ma può fallire nel correggere efficacemente le rappresentazioni eterogenee del rifiuto a causa della mancanza di segnali di correzione ricchi.

Gli autori formulano questo scenario come un problema di ottimizzazione che cerca un intervento strutturalmente compatto $\Delta$ che massimizzi il guadagno di TCR minimizzando al contempo il drift benigno, soggetto a un vincolo sull'impronta dell'intervento.

Metodologia: Localized Multidirectional Correction (LoMC)

Il paper propone LoMC, un framework "support-then-correction" che scinde il dove avvengono gli aggiornamenti dal come vengono applicati. Il metodo opera in due fasi distinte:

Fase I: Selezione del Supporto di Modifica (Edit-Support Selection)

LoMC identifica prima un insieme compatto di locazioni (il "supporto di modifica") dove sono ammessi gli aggiornamenti dei pesi.

• Meccanismo: Valuta gli esperti con routing in ogni layer cercato in base al loro allineamento con la direzione di rifiuto del layer ($r_\ell$), derivata dalle attivazioni residue.
• Selezione: Viene mantenuto un pool di candidati (ad esempio, il top 1/8) e un numero fisso di esperti con i punteggi più alti (ad esempio, $E=6$) viene selezionato per ogni layer.
• Output: Viene generata una maschera di supporto fissa $S$, che specifica la tupla esatta di layer, esperto e componente (ad esempio, moe.down_proj, moe.gate_up_proj) idonei alla modifica. Questo passaggio assicura che l'impronta dell'intervento rimanga strutturalmente compatta.

Fase II: Aggregazione di Direzioni Multi-Prototipo

Una volta fissato il supporto $S$, LoMC determina il segnale di correzione per quelle specifiche locazioni.

• Estrazione dei Prototipi: Per ogni layer a supporto fisso, il metodo confronta i prototipi residui dannosi (estratti tramite Self-Organizing Maps da prompt dannosi) rispetto al centroide residuo benigno.
• Aggregazione: Invece di applicare molteplici vettori di correzione indipendenti, LoMC aggrega un piccolo set di $K$ direzioni prototipo (ad esempio, $K=4$) in un'unica direzione di correzione aggregata per layer ($\tilde{r}_\ell$). Questa aggregazione bilancia l'allineamento con la direzione di rifiuto di base e la diversità tra i prototipi.
• Applicazione: L'aggiornamento finale è una correzione di rango uno per layer applicata solo attraverso la maschera di supporto $S$. Matematicamente, per una proiezione editabile $W$, l'aggiornamento è $(I - \eta P)W$ se la componente è in $S$, e $W$ altrimenti, dove $P = \tilde{r}_\ell \tilde{r}_\ell^\top$.

Questo design assicura che la capacità di correzione sia potenziata tramite l'aggregazione multidirezionale senza espandere l'impronta dell'intervento oltre la selezione del supporto iniziale.

Contributi Chiave

1. Formulazione della Correzione con Supporto a Gate: Il paper riformula la soppressione del rifiuto nei modelli con routing come un problema di "supporto a gate", dove il supporto di modifica agisce come un vincolo di gating per tutte le correzioni, piuttosto che trattare la selezione del supporto e la correzione come passi separati e non coordinati.
2. L'Algoritmo LoMC: Introduce un metodo che aggrega le direzioni di correzione prototipo in un aggiornamento di rango uno applicato rigorosamente attraverso una maschera di supporto fissa. Ciò migliora il segnale di correzione senza introdurre operatori di aggiornamento indipendenti o espandere l'insieme dei parametri modificati.
3. Validazione Empirica: Gli autori valutano LoMC su quattro backbone con routing (Qwen3-VL, InternVL3.5, DeepSeek-VL2, Kimi-VL) e quattro benchmark di sicurezza (AdvBench, StrongREJECT, JailbreakV-28K, VLSBench), coprendo contesti sia testuali che multimodali.

Risultati

• Target Compliance (TCR): LoMC raggiunge il TCR più elevato in tutti i 16 setting modello-benchmark. I modelli originali allineati avevano una media di TCR dell'8,75%, mentre LoMC ha raggiunto il 96,33%. Rispetto al baseline più forte in ogni setting, LoMC ha migliorato il TCR di una media di 12,76 punti percentuali.
• General Capability (GCA): LoMC mantiene efficacemente le capacità generali. La GCA media è aumentata leggermente dal 63,77% (originale) al 64,25% (LoMC), con medie per modello che rimangono competitive con i checkpoint originali.
• Confronto con i Baseline:
  • Heretic-MoE (direzione singola ampia) ha ottenuto un TCR inferiore (73,54%) e ha mostrato instabilità tra i backbone.
  • SOM Directions (multi-prototipo ampio) ha ottenuto un alto TCR ma ha causato una significativa degradazione della GCA a causa della mancanza di gating del supporto.
  • GateBreaker (selezione locale della rotta) ha mostrato una capacità di correzione limitata senza l'aggregazione multidirezionale.
• Studi di Ablazione: I risultati confermano che né la dimensione del supporto di modifica ($E$) né il numero di prototipi ($K$) sono manopole monotone. Il trade-off ottimale è stato trovato con $E=6$ e $K=4$. La selezione casuale del supporto con la stessa impronta ha prodotto una GCA inferiore, provando che la selezione specifica del supporto è critica.

Significato e Claim

Il paper sostiene che LoMC migliora con successo il compromesso tra soppressione del rifiuto e preservazione della capacità generale sotto un'impronta di intervento compatta. Fattorizzando il problema in "supporto" (dove) e "correzione" (come), il metodo permette segnali di correzione più ricchi (tramite l'aggregazione multi-prototipo) senza gli effetti collaterali distruttivi delle modifiche ampie su tutto il modello.

Gli autori posizionano LoMC principalmente come uno strumento di analisi post-training controllato per comprendere l'editabilità localizzata e le vulnerabilità specifiche del routing negli LLM e MLLM in stile MoE. Dichiarano esplicitamente che:

• Il TCR è una metrica di risposta target non-rifiuto e non deve essere interpretato come conformità dannosa verificata da un giudice o come esploitabilità nel mondo reale.
• Il lavoro non è una raccomandazione per l'implementazione di modelli con rifiuto soppresso, bensì un test di stress per modelli allineati alla sicurezza con routing.
• Le scoperte sono limitate ai backbone multimodali con routing e ai benchmark specifici valutati, e sarà necessario il lavoro futuro per architetture dense e altre lingue.

Lo studio conclude che l'accoppiamento tra supporto sparso contrastivo e correzione residua multi-prototipo è la chiave per raggiungere un equilibrio favorevole tra la modifica dell'allineamento alla sicurezza e la ritenzione dell'utilità.