From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models

Resumen Técnico: De la Observación a la Intervención

Planteamiento del Problema
Los métodos de interpretabilidad en el aprendizaje automático dependen frecuentemente de un salto lógico: tratar las estadísticas de resumen a nivel de población de un comportamiento observado del modelo como predictores válidos para los resultados de intervenciones dirigidas. En el contexto de los modelos de Mezcla de Expertos (MoE), esto se manifiesta en los procesos de poda (pruning) donde las métricas observacionales —como las tasas de utilización de expertos, las normas de activación y las distribuciones de pesos de enrutamiento— se utilizan para clasificar los expertos destinados a ser eliminados. La suposición implícita es que los expertos con puntuaciones observacionales más altas realizan un trabajo más crítico y, por lo tanto, eliminar a los expertos con puntuaciones bajas no degradará la funcionalidad del modelo. Sin embargo, como señalan trabajos previos sobre pesos de atención (Jain & Wallace, 2019) y mapas de saliencia (Adebayo et al., 2020), la evidencia asociativa (el "escalón 1" de Pearl) no respalda automáticamente las conclusiones intervencionales ("escalón 2"). Este artículo investiga si las estadísticas de enrutamiento observacionales en los modelos MoE realmente predicen la importancia causal de los expertos a nivel de token.

Metodología
Los autores llevan a cabo una "auditoría causal" a través de tres arquitecturas MoE de alta redundancia: OLMoE-1B-7B-0924, Qwen1.5-MoE-A2.7B y DeepSeek-V2-Lite. Estos modelos abarcan diversas dimensiones de diseño, incluyendo diferentes estrategias de equilibrio de carga, ratios de activación top-k (6.7%–12.5%) y paradigentes de entrenamiento (desde cero vs. reciclados/upcycled).

El protocolo de auditoría consta de los siguientes pasos:

1. Selección de Métricas: Se prueban cuatro métricas observacionales canónicas: tasa de utilización, norma de activación, peso medio de enrutamiento cuando está activo y desviación estándar de la activación.
2. Verdad Fundamental Intervencional: Para cada métrica, los autores realizan experimentos de ablación por token. En 200 posiciones de tokens muestreadas por capa, identifican el conjunto de expertos activos, los clasifican según la métrica objetivo y realizan la ablación (poniendo a cero) de los expertos con la clasificación más alta y la más baja.
3. Medición Causal: La "importancia funcional" de un experto se mide mediante el cambio en la pérdida ($\Delta L$) y el desplazamiento del flujo residual (residual-stream displacement o gap norm) resultante de la ablación.
4. Pruebas Estadísticas: Se utilizan una prueba t pareada y una prueba de rango con signo de Wilcoxon para determinar si la ablación de expertos de alto rango causa cambios de pérdida significativamente mayores que la ablación de expertos de bajo rango. Los tamaños del efecto se miden mediante la $d$ de Cohen.
5. Controles:
   • Corrección por Múltiples Comparaciones: Se aplica la corrección de Bonferroni a través de las 60 combinaciones de métrica-capa (4 métricas $\times$ 5 capas $\times$ 3 modelos).
   • Control de Peso de Enrutamiento: Un experimento paralelo utiliza los pesos de enrutamiento por token ($g_i(x_t)$) directamente como criterio de clasificación. Esto sirve como un límite superior para la señal predictiva, ya que está condicionado al token en lugar de ser un promedio poblacional.
   • Ablación Progresiva: Un experimento en OLMoE elimina $k$ expertos de mayor peso para evaluar el búfer de redundancia en las capas iniciales.

Resultos Clave
El estudio arroja un "nulo de tres modelos limpio" respecto a las métricas observacionales:

• Ausencia de Poder Predictivo: Ninguna de las cuatro métricas observacionales alcanzó la significancia corregida por Bonferroni ($p < 0.0025$) en ninguna de las 60 celdas de métrica-capa. Los tamaños del efecto se mantuvieron por debajo de la $d$ de Cohen $= 0.17$ en todas las combinaciones.
• Signos Inconsistentes: La dirección de los efectos (positivos o negativos) fue inconsistente entre las capas dentro de una misma métrica, un patrón característico de distribuciones nulas en lugar de efectos reales débiles.
• Control de Peso de Enrutamiento: El experimento de control utilizando pesos de enrutamiento directo por token recuperó una única señal significativa tras la corrección de Bonferroni en la última capa de MoE de OLMoE (Capa 15, $d = +0.231, p = 0.0013$). Esto indica que el diseño experimental tiene la potencia suficiente para detectar señales, pero tales señales están ausentes para las estadísticas de nivel poblacional.
• Régimen de Redundancia: La ablación progresiva en OLMoE reveló que en las capas iniciales (0–9), eliminar hasta siete de los ocho expertos activos resultaba en cambios de pérdida insignificantes. Esto confirma que la redundancia de las capas iniciales hace que casi todos los criterios de selección sean intercambiables; la poda tiene éxito no porque las métricas identifiquen expertos prescindibles, sino porque casi todos los expertos en estas capas son prescindibles.
• Anomalía de Capa Tardía en OLMoE: La única señal significativa en la Capa 15 de OLMoE coincide con un aumento de 41 veces en el desplazamiento del flujo residual en comparación con las capas iniciales. Sin embargo, esta señal es única de OLMoE y no aparece en Qwen o DeepSeek, lo que sugiere que no es una propiedad general de los MoE de alta redundancia.

Significancia y Reivindicaciones
El artículo realiza una afirmación modesta pero rigurosa: proporciona un contraejemplo explícito al paso inferencial común de las sumas observacionales de nivel poblacional hacia las afirmaciones intervencionales a nivel de token sobre la importancia de los expertos.

• Fallo de la Inferencia: Los resultados demuestran que las estadísticas de enrutamiento observacionales no permiten realizar predicciones intervencionales a nivel de token. El éxito de los métodos de poda existentes se atribuye a la redundancia estructural de las capas iniciales más que a la validez de las métas utilizadas para seleccionar los expertos.
• Jerarquía Causal: El trabajo ilustra un fallo en la frontera entre el escalón 1 (asociación) y el escalón 2 (intervención) de Pearl. Así como los pesos de atención y los mapas de saliencia fallaron al predecir resultados de intervención en estudios previos, las estadísticas de enrutamiento de los MoE también fallan al servir como proxies válidos para la importancia causal.
• Limitaciones del Alcance: Los autores aclaran que la auditoría es a nivel de token y centrada en la ablación simple. No falsifica el proceso de poda desplegado (que a menudo implica ajuste fino o fine-tuning), pero elimina la justificación mecanicista por token que tales procesos asumen. Los hallazgos son específicos para arquitecturas de alta redundancia; la validez de las métricas en modelos de baja redundancia (por ejemplo, Switch, Mixtral) sigue siendo una cuestión abierta.

En conclusión, el artículo argumenta que las afirmaciones de interpretabilidad que requieren generalización deben estar respaldadas por evidencia intervencional, y en el caso específico de la poda de MoE, los proxies observacionales estándar fallan esta prueba.