How Modular Is a Frontier Mixture-of-Experts? A Pre-registered Causal Test in Which Apparent Expert Modularity Mostly Dissolves

Resumen Técnico: "¿Qué tan modular es un Mixture-of-Experts de frontera?"

Planteamiento del Problema
Los modelos de Mezcla de Expertos (MoE) dispersos, como el Command A+ de 218B de parámetros (25B parámetros activos, 128 expertos totales, 8 activos por token), enrutan los tokens a un pequeño subconjunto de expertos. Esta arquitectura invita a la hipótesis de que los expertos forman módulos funcionales dedicados a capacidades específicas (p. ej., matemáticas, código) o lenguajes. Aunque los análisis de enrutamiento observacionales sugieren especialización, estos no establecen una dependencia causal. El problema central abordado es si la ablación de una familia específica de expertos rompe de forma causal y selectiva su eje hipotético (p. ej., lenguaje o capacidad) mientras deja los demás intactos, o si la aparente modularidad es un artefacto de las elecciones de medición y los umbrales estadísticos.

Metodología
Los autores llevan a cabo un estudio de intervención causal pre-registrado sobre Command A+ (Cohere, 2026), adhiriéndose a tres compromisos estrictos:

1. Pre-registro: Se definieron seis familias de expertos (Matemáticas, Código, General, Árabe, Chino, Español) basadas en la masa de enrutamiento (los 16 mejores expertos por elevación por familia, excluyendo al experto compartido) y se congelaron antes de cualquier ablación.
2. Nulo de Tamaño Igualado: Los efectos se evalúan contra una distribución nula generada mediante la ablación del mismo número de expertos seleccionados al azar (media + 2σ).
3. Selectividad Falsable: Una familia se considera modular solo si su efecto en el objetivo supera al nulo y su peor efecto fuera del objetivo es $\leq 1/3$ de su efecto en el objetivo.

El estudio trata la medición como una variable, puntuando las ablaciones bajo:

• Cuatro Métricas: Precisión de tareas (MATH-500, HumanEval, MMLU-Pro), verosimilitud del texto del problema (NLL), verosimilitud de la solución (NLL) y NLL por idioma.
• Dos Corpora: Pasajes de FLoRes-200 (vía Belebele) y un corpus de Wikipedia independiente y mantenido aparte.
• Reglas Estadísticas: Una regla de punto permisiva (tamaños de efecto brutos) y una regla de CI conservadora (intervalos de confianza del 95% de bootstrap).

El pipeline fue validado utilizando un control positivo en Qwen3-30B-A3B, que posee estructuras de lenguaje/tarea disjuntas, y una verificación de cuantización comparando la construcción W4A4 (4 bits) contra el modelo base sin cuantizar en BF16.

Resultados Clave

• Estructura de Enrutamiento: A diferencia del control positivo (Qwen3), Command A+ exhibe una separación de enrutamiento débil (brecha de 0.09 vs. 0.41 en Qwen3), con solo una leve concentración de masa de enrutamiento.
• El Veredicto "Endurecido": Bajo la regla de CI conservadora en el corpus independiente de Wikipedia, solo la familia del idioma árabe califica como un módulo robusto y selectivo.
  • Árabe: La ablación incrementó el NLL por token del árabe en +1.80 nats (un aumento de 6× en la perplejidad) con una mínima filtración fuera del objetivo de 0.43 nats hacia el inglés, sobreviviendo tanto a las reglas de punto como a las de CI.
• Fragilidad de Otras Familias: Las otras cinco familias (Español, Chino, Matemáticas, Código, General) fallaron el criterio de selectividad bajo pruebas rigurosas, aunque todas exhibieron efectos causales reales:
  • Español: Selectivo en FLoRes-200 pero no selectivo en Wikipedia (filtrándose 0.43 nats hacia el árabe), demostrando dependencia del corpus.
  • Matemáticas: Parece selectivo bajo la verosimilitud de la solución, pero está entrelazado con el razonamiento general bajo la precisión de la tarea; falla bajo los CI de bootstrap.
  • Código: No muestra una caída de precisión detectable (HumanEval) pero presenta el mayor efecto de NLL en el texto del problema (+1.29), fuertemente entrelazado con Matemáticas.
  • Chino y General: Fallaron en superar el nulo aleatorio o los umbrales de selectividad.
• Verificación de Cuantización: Volver a ejecutar las ablaciones en el modelo BF16 (precisión completa) reprodujo el veredicto (1/6 familias modulares), confirmando que los hallazgos no son artefactos de la cuantización de 4 bits.
• Masa de Enrutamiento vs. Modularidad: La alta masa de enrutamiento (elevación) predice la importancia causal pero no la selectividad. Los expertos del "núcleo compartido" son causalmente redundantes, y las familias de capacidad con alta elevación están entrelazadas en lugar de ser modulares.

Contribuciones Clave

1. Protocolo: Un protocolo causal pre-registrado y anclado en controles para probar la modularidad de los expertos que varía explícitamente el corpus, la métrica y los estándares estadísticos.
2. Localización: Identificación de un módulo robusto y causalmente localizado (Árabe) en un MoE de frontera.
3. Resultado Negativo: Demostración de que la masa de enrutamiento no predice la selectividad y que las familias de alta elevación suelen estar entrelazadas.
4. Cautela Metodológica: Evidencia de que la aparente modularidad en los modelos de frontera es frágil y a menudo se disuelve cuando se controlan las condiciones de medición (corpus, métrica, estándar estadístico).

Significancia y Afirmaciones
El artículo argumenta que la modularidad funcional robusta es rara en el MoE de frontera probado (Command A+). La significancia principal es metodológica: las afirmaciones de modularidad basadas en la ablación son inseguras a menos que sobrevivan a la prueba de corpus independiente, múltiples métricas y umbrales estadísticos conservadores. Los autores no afirman que todos los MoE carezcan de modularidad, sino que, en Command A+, solo una de las seis familias pre-registradas cumple con los criterios de un módulo limpio. El estudio concluye que la "aparente modularidad se disuelve mayoritariamente" bajo pruebas rigurosas y controladas de medición, instando al campo a adoptar estándares de verificación causal más estrictos para la interpretabilidad y la edición.