💬 NLP

Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control

Questo articolo introduce RAD (Routing Agreement Decoding), una nuova strategia di inferenza che sfrutta i distinti pattern di routing del Mixture-of-Experts di token identici per selezionare traiettorie di ragionamento di alta qualità senza fare affidamento sul parsing della stringa di risposta o sul voto, abilitando così una selezione pass@1 efficace per compiti di codifica e agentici in cui il tradizionale voto di maggioranza fallisce.

Autori originali: Kang Chen, Minshen Yu, Junjie Nian, Yaoning Wang, Yixin Cao, Yugang Jiang

Pubblicato 2026-06-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kang Chen, Minshen Yu, Junjie Nian, Yaoning Wang, Yixin Cao, Yugang Jiang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: Un "Ciao" è Sempre lo Stesso "Ciao"?

Immagina di ascoltare un coro di 100 cantanti diversi (gli "Esperti" all'interno di un grande modello di IA). Quando il coro canta la parola "Ciao", potresti dare per scontato che la stiano cantando tutti esattamente nello stesso modo, usando le stesse tecniche vocali ed emozioni.

Il paper si chiede: Se l'IA produce la stessa identica parola (token) in due situazioni diverse, significa che il "meccanismo" interno che ha prodotto quella parola era anche lo stesso?

La Risposta: No.

Anche se l'IA scrive la stessa identica parola (come "Ciao" o "La risposta è 42"), il gruppo specifico di "cantanti" (esperti) all'interno del modello che l'ha prodotta può essere completamente diverso a seconda del contesto. Un "Ciao" potrebbe essere cantato da un gruppo di esperti che pensano alla matematica, mentre un altro "Ciao" è cantato da un gruppo che pensa alla programmazione. La parola è la stessa, ma lo stato interno è diverso.

Il Problema: Come Scegliamo la Risposta Corretta?

Di solito, quando vogliamo che un'IA risolva un problema difficile (come un rompicapo matematico o un bug nel codice), le chiediamo di provare 64 volte diverse (64 "rollout"). Poi, guardiamo le risposte finali. Se 50 di esse dicono "42" e 14 dicono "43", scegliamo "42" perché è la maggioranza.

L'Ostacolo: Questo "voto sulla risposta finale" funziona benissimo per la matematica (dove la risposta è un numero chiaro). Ma fallisce per:

Il Codice: Due programmi possono fare esattamente la stessa cosa ma apparire totalmente diversi (nomi di variabili differenti, formattazione diversa). Non puoi semplicemente contare quante volte appare la parola "print".
Gli Agenti: A volte l'IA sta cercando di correggere un bug software. La "risposta" è una patch di codice. Non esiste una singola "stringa corretta" su cui votare; il codice è unico per ogni tentativo.

Abbiamo bisogno di un modo per scegliere il tentativo migliore senza leggere o confrontare le risposte finali.

La Soluzione: RAD (Routing Agreement Decoding)

Gli autori hanno scoperto un segnale segreto nascosto all'interno dell'IA: Il Router.

Immagina l'IA come un enorme ufficio con migliaia di lavoratori specializzati (esperti). Prima che un lavoratore svolga qualsiasi compito, un Router (un manager) decide quale squadra di lavoratori riceverà l'incarico.

La Scoperta: Il paper ha scoperto che quando l'IA sta per scrivere l' inizio di una risposta (come il simbolo \boxed{ nella matematica o i tripli accenti gravezza ``` nel codice), il modello di decisione del Router rivela molto sulla qualità della risposta.
L'Analogia: Immagina di cercare di indovinare quale squadra in un torneo sportivo vincerà. Invece di aspettare il punteggio finale (che non puoi ancora vedere), guardi quali giocatori l'allenatore ha scelto per iniziare la partita.
- Se l'allenatore sceglie la stessa formazione della "dream team" per 50 partite diverse, quelle partite probabilmente finiranno con lo stesso risultato.
- Se gli allenatori scelgono formazioni casuali e sbilanciate, i risultati saranno tutti sparsi ovunque.

RAD funziona così:

Genera 64 tentativi diversi per un problema.
Ignora completamente le risposte finali. Non le legge.
Guarda la formazione del Router (quali esperti sono stati scelti) proprio nel momento in cui la risposta inizia.
Chiede: "Quali 64 tentativi avevano le formazioni più simili?"
Sceglie il tentativo che appartiene al gruppo più grande di formazioni simili.

Se 50 tentativi hanno utilizzato la stessa "squadra di esperti" per iniziare la loro risposta, RAD assume che quel gruppo sia il più fiducioso e probabilmente corretto, anche senza sapere quale sia la risposta effettiva.

Perché Questo è Importante

Funziona Dove il Voto Fallisce: Nei compiti di programmazione, dove non puoi semplicemente contare le parole corrispondenti, RAD funziona comunque. Sceglie la patch di codice migliore guardando la "squadra interna" che l'ha scritta, non il codice stesso.
È Veloce e Semplice: Non ha bisogno di comprendere il significato del codice o della matematica. Guarda solo il modello degli "interruttori" interni che vengono attivati.
Non è un Rilevatore di Verità Magico: Il paper è onesto su questo. Se 50 persone concordano tutte sulla risposta sbagliata (un "bacino errato denso"), RAD sceglierà anche quella risposta sbagliata. Sceglie il percorso più popolare, non necessariamente quello vero. È un "segnale di consenso", non un "verificatore di verità".

Riassunto in una Frase

Il paper dimostra che anche se un'IA dice la stessa parola due volte, il "team" interno che l'ha detta potrebbe essere diverso; scegliendo la risposta che proviene dalla "formazione del team" più consistente all'inizio della risposta, possiamo scegliere il risultato migliore senza mai dover leggere la risposta finale.

o<|channel|>final<|message|>). * *Ancore di delimitazione:* Delimitatori fissi di apertura della risposta (ad es., \boxed{` per la matematica, code fences per il codice).
2. Lettura (Readout): Estrae i vettori di routing MoE sparsi (ID degli esperti selezionati e pesi post-softmax) all'interno di una finestra fissa $W$ che segue l'ancora. L'impostazione headline utilizza delimiter@16 (una finestra di 16 token che inizia dal delimitatore).
3. Rappresentazione: Media i vettori di routing sulla finestra per creare un vettore di percorso per ogni rollout $z_i$ .
4. Selezione: Calcola le similitudini Weighted-Jaccard (WJ) a coppie tra tutti i vettori di percorso. Calcola una densità di accordo locale $q_i$ per ogni rollout basata sui suoi $K$ -vicini più prossimi (tipicamente $K=10$ ) e seleziona il rollout con la densità più alta (il centro del bacino di routing più denso).

Scelte di Design Chiave

Indipendente dalla Stringa di Risposta (Answer-String-Free): Il selettore non analizza, non normalizza, non confronta né vota la stringa di risposta finale. La risposta viene letta solo dopo che la selezione basata sul routing è stata effettuata per la valutazione.
Adattamento Agente (Agentic Adaptation): Per compiti agentici (ad es., SWE-bench) dove non esiste una stringa di risposta, RAD utilizza un ancora di confine (transizione tra pensiero e azione) e un fingerprint Jaccard binario delle coppie (layer, esperto) attivate, mantenendo lo stesso principio di selezione della densità.
Fusione (RAD+DC): Il metodo può essere combinato con i punteggi di confidenza scalari di DeepConf (filtrando il top 50% dei rollout con alta confidenza prima di applicare la densità RAD) per gestire i casi in cui i percorsi corretti sono rari.

3. Risultati Chiave e Analisi

Intuizione Descrittiva: Identità del Token $\neq$ Stato del Router

Il documento dimostra che mantenere fisso l'ID del token emesso non fissa lo stato del router interno.

Esperimento I: A un ID di token fisso (ad es., il token Qwen EOS o un marker di confine specifico), gli esperti che generano quel token separano comunque l'identità del problema e le modalità di sforzo di ragionamento (Basso/Medio/Alto).
Implicazione: Lo stato di routing contiene informazioni "residue" sul contesto a monte e sulla famiglia di task che l'ID del token superficiale da solo non codifica.

Intuizione Operativa: I Vicinati di Routing si Allineano ai Bacini di Risposta

Esperimento II: I vicinati di routing (cluster di vettori di routing simili) si allineano con i "bacini di risposta" (gruppi di rollout che condividono la stessa risposta normalizzata).
Segnale più Forte: Questo allineamento è massimo nelle finestre di delimitatore (specificamente delimiter@16), dove lo stato di routing riflette l'impegno del modello verso un particolare bacino di risposta.
Correlazione: Esiste una forte correlazione tra la purezza del vicinato di routing (quanti vicini condividono la stessa risposta) e l'accuratezza del selettore. Un bacino di routing denso approssima spesso un bacino di risposta denso.

4. Risultati Sperimentali

Gli autori hanno valutato RAD su 10 configurazioni sparse-MoE (gpt-oss 20B/120B, Qwen3-30B, Qwen3-Next-80B) e 6 dataset (Math: AIME, BRUMO, HMMT; Science: GPQA; Code: LiveCodeBench; Agents: SWE-bench Verified).

Performance su Task Ben Posti (Math & GPQA)

RAD è al pari del voto di Maggioranza testuale (self-consistency) dove il voto tramite stringa è ben definito.
Risultati: Media ponderata per problema: Maggioranza 73,6% vs. RAD 73,9% / RAD+DC 74,2%.
La differenza è piccola e statisticamente non significativa nei pool naturali, ma RAD raggiunge questo risultato senza leggere alcuna stringa di risposta.

Performance su Task Mal Posti (Code & Agents)

Generazione di Codice (LiveCodeBench): Il voto tramite stringa esatta è degenero (gli output sono quasi unici). RAD fornisce una selezione diretta pass@1, superando significativamente il baseline casuale (Avg@64) (ad es., +9,7 pp per gpt-oss-20B).
Selezione Agente (SWE-bench Verified): In un compito di selezione di patch best-of-16 dove le patch non hanno una stringa di risposta su cui votare, RAD migliora l'accuratezza della selezione rispetto al caso casuale di +4,7 a +5,0 punti percentuali sul sottoinsieme decidibile.

Robustezza

Kernel: Jaccard Binario e Weighted Jaccard sono statisticamente indistinguibili in termini di performance.
Profondità: Il segnale è ridondante attraverso i layer; i layer superficiali da soli catturano la maggior parte del segnale.
Accesso: Anche i readout rigorosi "solo marker" (leggendo solo il token del delimitatore, non i successivi 16 token) recuperano la maggior parte del miglioramento delle performance, confermando che il segnale esiste prima che il contenuto della risposta venga generato.

5. Claim e Significato

Il documento posiziona RAD non come un verificatore (non predice la verità) ma come un segnale di accordo.

Stato Epistemico: Come il voto di Maggioranza, RAD stima l' "impegno condiviso". Un bacino di routing denso può comunque essere errato se il modello converge su un errore condiviso. Tuttavia, fornisce un meccanismo per selezionare il bacino più popolato senza fare affidamento sul testo superficiale.
Valore di Interfaccia: Il contributo primario è un'interfaccia unificata, indipendente dalla stringa di risposta per la selezione multi-rollout. Funziona dove il voto tramite stringa fallisce (codice, agenti) e performa in modo competitivo dove il voto tramite stringa funziona (matematica, scienza).
Scalabilità: Il metodo scala con il numero di rollout (migliorando all'aumentare di $N$ ) ed è computazionalmente efficiente, aggiungendo solo circa il 7% di overhead durante la generazione per la cattura del routing e l'esecuzione della selezione in tempo reale su un singolo thread CPU.

Conclusione: Il documento stabilisce che gli stati di routing MoE contengono un segnale di accordo "white-box" che è robusto alle variazioni dell'identità del token e si allinea ai bacini di risposta. RAD operazionalizza questo per consentire una selezione multi-rollout affidabile attraverso diverse modalità senza la fragilità dell'aggregazione basata sul testo.