💬 NLP

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

Il documento introduce RARE, un framework agnostico rispetto al router che disaccoppia il controllo della rappresentazione dal routing degli esperti nei modelli Mixture-of-Experts, proiettando le perturbazioni comportamentali nello spazio nullo del router, migliorando così significativamente l'efficacia del controllo per quanto riguarda dannosità, veridicità e l'editing fattuale, preservando al contempo l'utilità del modello.

Autori originali: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Pubblicato 2026-08-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I modelli linguistici di grandi dimensioni sono i motori dietro l'intelligenza artificiale moderna, capaci di scrivere storie, risolvere problemi e rispondere a domande. Per rendere questi sistemi massicci efficienti, molti sono ora costruiti utilizzando un design chiamato "miscela di esperti" (mixture of experts). Immaginate un grande ufficio in cui un manager riceve ogni richiesta in entrata e decide quale specialista specifico debba gestirla. In questi modelli, il "manager" è un meccanismo di instradamento che esamina ogni parola di una frase e la invia a un piccolo gruppo specializzato di processori interni, o "esperti", invece di utilizzare l'intero cervello del computer per ogni singola attività. Questo permette al modello di essere incredibilmente grande e intelligente, pur rimanendo veloce ed economico da gestire.

I ricercatori cercano da tempo modi per guidare o "orientare" questi modelli verso comportamenti specifici, come renderli più veritieri o meno propensi a generare contenuti dannosi. Una tecnica popolare consiste nel dare una piccola spinta (nudging) agli stati matematici interni del modello durante il processo di pensiero, un metodo che funziona bene per i modelli più vecchi e semplici, dove ogni parte del cervello è sempre attiva. Tuttavia, quando gli scienziati hanno provato ad applicare questa stessa tecnica di "spinta" ai nuovi modelli a miscela di esperti, spesso ha fallito. Il problema era che la spinta destinata a cambiare il comportamento finiva per confondere accidentalmente il manager, portandolo a inviare la richiesta agli specialisti sbagliati. Questo disallineamento interrompeva il flusso naturale del modello, portando a risultati scadenti.

Un team di ricercatori ha ora risolto questo enigma sviluppando un nuovo framework chiamato RARE. Il loro lavoro rivela un'intuizione cruciale: il manager in questi modelli è interessato principalmente all'argomento della richiesta, non al comportamento specifico che il modello è tenuto a mostrare. Che un utente faccia una domanda sul coding o chieda al modello di rifiutare una richiesta dannosa, il manager tende a inviare la richiesta allo stesso set di specialisti se l'argomento rimane lo stesso. I ricercatori hanno scoperto che i vecchi metodi fallivano perché cercavano di cambiare il comportamento alterando il percorso che i dati compiono, confondendo così il manager. Invece, il loro nuovo approccio cambia il comportamento senza cambiare il percorso.

Il framework RARE funziona filtrando attentamente la "spinta" prima che venga applicata. Esso rimuove qualsiasi parte dell'istruzione che porterebbe il manager a cambiare idea su quali specialisti utilizzare. In questo modo, il modello continua a inviare la richiesta ai giusti esperti, ma gli esperti elaborano poi l'informazione in un modo che produce il comportamento desiderato. I ricercatori hanno testato questo metodo su sei diversi modelli di grandi dimensioni e su tre compiti distinti: rendere i modelli meno dannosi, renderli più veritieri e aggiornare fatti specifici che conoscono.

I risultati sono stati sorprendenti. Nel tentativo di impedire ai modelli di seguire istruzioni dannose, il nuovo metodo ha avuto successo nel 53,3% dei casi, un miglioramento significativo rispetto ai tentativi precedenti, mantenendo comunque l'accuratezza dei modelli al 67,8% nei test di conoscenza generale. Nei test di veridicità, il metodo ha migliorato la capacità dei modelli di dare risposte corrette dal 41,0% al 58,6%. Forse in modo più drammatico, quando gli è stato chiesto di aggiornare un fatto specifico, il tasso di successo è passato dal 16,8% al 96,3%. Questi numeri suggeriscono che, rispettando il sistema di instradamento interno, i ricercatori possono guidare efficacementamente il comportamento del modello senza romperne l'intelligenza sottostante.

Lo studio ha anche confrontato cinque diversi modi per calcolare la necessaria spinta per trovare quale funzionasse meglio. Hanno scoperto che un metodo basato sull'analisi della forma e della diffusione dei dati, piuttosto che solo sulla sua direzione media, forniva i risultati più coerenti e potenti in tutti i diversi modelli. Questa scoperta suggerisce che la geometria dei dati interni conta tanto quanto la direzione del cambiamento.

In definitiva, questa ricerca dimostra che controllare il comportamento dei moderni e complessi modelli di IA richiede un equilibrio delicato. Non si può semplicemente forzare un cambiamento; bisogna lavorare all'interno dell'architettura esistente del modello. Preservando il percorso naturale che il modello sceglie per un dato argomento, è possibile orientare il suo output verso la sicurezza, la verità o l'accuratezza. Questo approccio offre un modo affidabile per adattare questi potenti strumenti a esigenze specifiche senza compromettere le loro capacità generali, fornendo una via più chiara per rendere l'intelligenza artificiale più allineata ai valori umani.

Sintesi Tecnica: RARE – Disaccoppiare il Controllo della Rappresentazione dal Routing degli Esperti nei Modelli MoE

Definizione del Problema

I Large Language Models (LLM) stanno adottando sempre più architetture Mixture-of-Experts (MoE) per scalare la capacità mantenendo l'efficienza dell'inferenza. Tuttavia, l'applicazione della Representation Engineering (Ingegneria della Rappresentazione) — una tecnica che controlla il comportamento del modello modificando gli stati latenti intermedi — ai modelli MoE introduce un critico disallineamento strutturale.

Nei modelli densi, i vettori di steering vengono aggiunti agli stati latenti per modificare il comportamento. Nei modelli MoE, il router determina quali esperti elaborano un token sulla base di questi stati latenti. L'applicazione diretta di perturbazioni di steering altera i logit del router, causando l'instradamento dei token verso set di esperti diversi da quelli che verrebbero utilizzati in un passaggio di inferenza "pulito". Questo "routing drift" (deriva del routing) interrompe il percorso di computazione condizionale nativo del modello, portando a un significativo degrado dell'efficacia dello steering. Sebbene metodi recenti specifici per MoE tentino di controllare il comportamento manipolando direttamente i logit del router o l'attivazione degli esperti, tali approcci sovrascrivono il percorso di computazione condizionato dall'input del modello, degradando potenzialmente la rilevanza delle risposte e le capacità generali.

La sfida centrale consiste nel coordinare il controllo a livello di rappresentazione con il meccanismo di routing condizionale senza interrompere l'allocazione nativa degli esperti.

Metodologia: RARE

Gli autori introducono RARE (Router-Agnostic Representation Engineering), un framework progettato per guidare i modelli MoE preservando i loro pattern di routing nativi. La metodologia si compone di tre componenti principali:

1. Motivazione Empirica

Attraverso probe controllati, gli autori hanno stabilito che il routing MoE è sensibile principalmente al contenuto semantico della query di input piuttosto che al comportamento della risposta specifico (es. rifiuto vs. conformità) o all'intento di sicurezza.

Risultato: Sotto un tema di query fisso, il cambiamento del comportamento della risposta (es. da conforme a rifiuto) produce cambiamenti minimi nella selezione degli esperti del router.
Implicazione: Uno steering efficace deve modificare le rappresentazioni latenti elaborate dagli esperti naturalmente selezionati senza alterare la decisione del router.

2. Proiezione Router-Agnostica

RARE disaccoppia lo steering comportamentale dal routing degli esperti proiettando le perturbazioni sullo spazio nullo della matrice del router.

Proiezione nello Spazio Nullo: Per una matrice di peso del router $R_\ell$ al layer $\ell$ , il router calcola i logit $z_\ell = R_\ell h_\ell$ . Per garantire che i logit del router rimangano invariati ( $R_\ell \delta h_\ell = 0$ ), la perturbazione $\delta h_\ell$ deve trovarsi nello spazio nullo di $R_\ell$ .
Meccanismo: Dato un vettore di perturbazione grezzo $u_\ell$ (derivato da stati latenti contrastivi), RARE lo proietta utilizzando un proiettore $\Pi^\perp_\ell = I - Q_\ell Q_\ell^\top$ , dove $Q_\ell$ è una base ortonormale per lo spazio riga di $R_\ell$ . La perturbazione risultante è invisibile al router, preservando la selezione originale degli esperti.

3. Correzione del Routing a Valle

Poiché le perturbazioni si propagano attraverso i blocchi non lineari dei transformer, l'invarianza locale al layer di iniezione non garantisce l'invarianza ai router successivi.

Correzione a Runtime: RARE applica una correzione in determinati layer "protetti" a valle. Confronta l'input editato corrente $h'_\ell$ con un input di riferimento pulito $h^0_\ell$ e rimuove qualsiasi deviazione visibile al router, assicurando che i logit del router in questi layer rimangano coerenti con il passaggio pulito.

Stimatori di Perturbazione

Il framework è agnostico rispetto al modo in cui viene costruito la perturbazione grezza. Gli autori hanno valutato cinque stimatori:

MeanDiff: Traslazione del primo ordine tra i centri delle classi.
Probe: Normale del confine lineare.
LowRank: Proiezione su un sottospazio principale.
LDA: Analisi Discriminante Lineare che tiene conto della covarianza intra-classe.
AffineGaussian: Allineamento del secondo ordine utilizzando principi di whitening-recoloring.

Contributi Chiave

Insight Empirico: Il paper fornisce prove che il routing MoE segue più da vicino la semantica della query che i comportamenti di risposta, motivando la preservazione del routing nativo come prerequisito per uno steering efficace.
Framework RARE: Un nuovo metodo di steering router-agnostico che proietta le perturbazioni comportamentali su sottospazi invisibili al router e corregge la deriva del routing propagata, consentendo l'editing della rappresentazione senza interrompere l'allocazione degli esperti.
Valutazione Esaustiva: Uno studio sistematico di cinque stimatori di perturbazione su sei modelli MoE eterogenei a pesi aperti (DeepSeek, Mixtral, Phi-3.5, Phi-mini, Qwen3, GPT-oss) e tre task di controllo comportamentale.

Risultati Sperimentali

La valutazione ha coperto tre scenari: Steering della Pericolosità (jailbreaking), Steering della Veridicità e Editing Fattuale.

Steering della Pericolosità: RARE (utilizzando lo stimatore AffineGaussian) ha raggiunto un Attack Success Rate (ASR) medio del 53,3% mantenendo una precisione MMLU del 67,8%. Ciò rappresenta un trade-off efficacia-utilità significativamente più forte rispetto ai baseline come RepE (18,7% ASR) e ai metodi specifici per MoE come SteerMoE (46,3% ASR ma minore ritenzione dell'utilità).
Steering della Veridicità: RARE ha migliorato l'accuratezza media TruthfulQA MC1 dal baseline di 41,0% al 58,6%.
Editing Fattuale: RARE ha aumentato l'efficacia di CounterFact dal 16,8% al 96,3%.
Performance degli Stimatori: AffineGaussian ha costantemente prodotto le migliori prestazioni di steering in tutti i modelli e i task. LDA ha offerto un migliore compromesso considerando la località (preservazione della conoscenza vicina).
Ablazione: Rimuovere la pipeline di proiezione router-agnostica ha ridotto l'ASR medio dal 53,3% al 14,6%, confermando che preservare il routing è critico per le performance.

Significato e Rivendicazioni

Il paper sostiene che la coerenza del routing sia una considerazione architettonica fondamentale per adattare la representation engineering ai modelli MoE. Disaccoppiando il controllo comportamentale dal routing degli esperti, RARE dimostra che è possibile modificare le rappresentazioni interne per alterare il comportamento del modello mantenendo il percorso di computazione nativo e le capacità generali.

Gli autori posizionano RARE non come un metodo per sovrascrivere la sicurezza o la logica del modello, ma come un meccanismo leggero ed efficiente per guidare il comportamento rispettando l'architettura MoE sottostante. I risultati suggeriscono che la futura representation engineering per i modelli MoE debba tenere conto della sensibilità del router al contenuto semantico per evitare i fallimenti causati dal routing drift.