Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control

o <|channel|>final<|message|>).
* Anclajes de delimitador: Delimitadores fijos de apertura de respuesta (p. ej., \boxed{ para matemáticas, cercas de código para código).
2. Lectura: Extrae los vectores de enrutamiento MoE dispersos (IDs de expertos seleccionados y pesos post-softmax) dentro de una ventana fija $W$ que sigue al ancla. La configuración de cabecera utiliza delimiter@16 (una ventana de 16 tokens comenzando en el delimitador).
3. Representación: Promedia los vectores de enrutamiento sobre la ventana para crear un vector de ruta por cada rollout $z_i$.
4. Selección: Calcula las similitudes de Jaccard Ponderado (WJ) por pares entre todos los vectores de ruta. Calcula una densidad de acuerdo local $q_i$ para cada rollout basándose en sus $K$-vecinos más cercanos (típicamente $K=10$) y selecciona el rollout con la mayor densidad (el centro de la cuenca de enrutamiento más densa).

Decisiones de Diseño Clave

• Libre de Cadenas de Respuesta: El selector nunca analiza, normaliza, compara o vota sobre la cadena de respuesta final. La respuesta solo se lee después de que se realiza la selección basada en el enrutamiento para la evaluación.
• Adaptación Agéntica: Para tareas agénticas (p. ej., SWE-bench) donde no existe una cadena de respuesta, RAD utiliza un ancla de frontera (transición de pensamiento a acción) y una huella digital Jaccard binaria de pares (capa, experto) activados, manteniendo el mismo principio de selección por densidad.
• Fusión (RAD+DC): El método puede combinarse con las puntuaciones de confianza escalar de DeepConf (filtrando el 50% superior de los rollouts de confianza antes de aplicar la densidad RAD) para manejar casos donde los caminos correctos son escasos.

3. Hallazgos Clave y Análisis

Perspectiva Descriptiva: Identidad del Token $\neq$ Estado del Router

El artículo demuestra que mantener fijo el ID del token emitido no fija el estado del router interno.

• Experimento I: En un ID de token fijo (p. ej., el token Qwen EOS o un marcador de frontera específico), los expertos que generan ese token aún separan la identidad del problema y los modos de esfuerzo de razonamiento (Bajo/Medio/Alto).
• Implicación: El estado de enrutamiento contiene información "residual" sobre el contexto ascendente y la familia de tareas que el ID del token superficial por sí solo no codifica.

Perspectiva Operativa: Los Vecindarios de Enrutamiento se Alinean con las Cuencas de Respuesta

• Experimento II: Los vecindarios de enrutamiento (clústeres de vectores de enrutamiento similares) se alinean con las "cuencas de respuesta" (grupos de rollouts que comparten la misma respuesta normalizada).
• Señal más Fuerte: Esta alineación es más fuerte en las ventanas de delimitador (específicamente delimiter@16), donde el estado de enrutamiento refleja el compromiso del modelo con una cuenca de respuesta específica.
• Correlación: Existe una fuerte correlación entre la pureza del vecindario de enrutamiento (cuántos vecinos comparten la misma respuesta) y la precisión del selector. Una cuenca de enrutamiento densa a menudo aproxima una cuenca de respuesta densa.

4. Resultados Experimentales

Los autores evaluaron RAD a través de 10 configuraciones de MoE dispersas (gpt-oss 20B/120B, Qwen3-30B, Qwen3-Next-80B) y 6 conjuntos de datos (Matemáticas: AIME, BRUMO, HMMT; Ciencia: GPQA; Código: LiveCodeBench; Agentes: SWE-bench Verified).

Rendimiento en Tareas Bien Definidas (Matemáticas y GPQA)

• RAD está a la par con el voto de Mayoría textual (consistencia propia) donde el voto de cadenas está bien definido.
• Resultados: Promedio ponderado por problema agrupado: Mayoría 73.6% vs. RAD 73.9% / RAD+DC 74.2%.
• La diferencia es pequeña y estadísticamente no significativa en pools naturales, pero RAD logra esto sin leer ninguna cadena de respuesta.

Rendimiento en Tareas Mal Definidas (Código y Agentes)

• Generación de Código (LiveCodeBench): El voto de cadena exacta es degenerado (los outputs son casi únicos). RAD proporciona una selección directa pass@1, superando significativamente a la línea base aleatoria (Avg@64) (p. ej., +9.7 pp para gpt-oss-20B).
• Selección Agéntica (SWE-bench Verified): En una tarea de selección de parches de mejor-de-16 donde los parches no tienen una cadena de respuesta para votar, RAD mejora la precisión de la selección sobre el azar en +4.7 a +5.0 puntos porcentuales en el subconjunto decidible.

Robustez

• Kernel: Jaccard Binario y Jaccard Ponderado son estadísticamente indistinguibles en rendimiento.
• Profundidad: La señal es redundante a través de las capas; las capas superficiales por sí solas capturan la mayor parte de la señal.
• Acceso: Incluso las lecturas estrictas de "solo marcador" (leer solo el token del delimitador, no los 16 tokens siguientes) recuperan la mayor parte de la mejora de rendimiento, confirmando que la señal existe antes de que se genere el contenido de la respuesta.

5. Reivindicaciones y Significado

El artículo posiciona a RAD no como un verificador (no predice la verdad) sino como una señal de acuerdo.

• Estatus Epistémico: Al igual que el voto de Mayoría, RAD estima el "compromiso compartido". Una cuenca de enrutamiento densa aún puede estar equivocada si el modelo converge en un error compartido. Sin embargo, proporciona un mecanismo para seleccionar la cuenca más poblada sin depender de texto superficial.
• Valor de Interfaz: La contribución principal es una interfaz unificada, libre de cadenas de respuesta para la selección de múltiples rollouts. Funciona donde el voto de cadenas falla (código, agentes) y rinde competitivamente donde el voto de cadenas funciona (matemáticas, ciencia).
• Escalabilidad: El método escala con el número de rollouts (mejorando a medida que $N$ aumenta) y es computacionalmente eficiente, añadiendo solo un ~7% de sobrecarga durante la generación para la captura de enrutamiento y ejecutando la selección en tiempo real en un solo hilo de CPU.

Conclusión: El artículo establece que los estados de enrutamiento MoE contienen una señal de acuerdo de "caja blanca" que es robusta a las variaciones de identidad de token y se alinea con las cuencas de respuesta. RAD operacionaliza esto para permitir una selección fiable de múltiples rollouts a través de diversas modalidades sin la fragilidad de la agregación basada en texto.