AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE

Resumen Técnico: AnchorMoE

Planteamiento del Problema
La Clasificación de Series Temporales Multivariantes (MTSC) es crítica en dominios de alto riesgo como el diagnóstico clínico y la detección de fallos industriales, donde la transparencia es tan vital como la precisión. Sin embargo, lograr una MTSC interpretable es fundamentalmente desafiante debido a la naturaleza de las señales del mundo real: la evidencia discriminativa es típicamente dispersa, localizada dentro de breves ventanas temporales y restringida a variables específicas, mientras que el resto de la secuencia consiste en ruido de fondo no informativo. Además, estas señales son heterogéneas, comprendiendo patrones distintos a través de variables, marcos temporales y dominios de frecuencia.

Las soluciones existentes dependen en gran medida de métodos de atribución post-hoc (por ejemplo, basados en gradientes, perturbaciones o análisis de pesos de atención) para explicar las decisiones del modelo después de la predicción. Estos enfoques sufren limitaciones estructurales: desacoplan la explicación del cómputo, lo que conduce a una potencial falta de fidelidad donde las explicaciones pueden reflejar el enrutamiento de información en lugar de la importancia causal. Además, los métodos post-hoc carecen de salvaguardas arquitectónicas para prevenir la mala atribución de ruido de fondo correlacionado, un riesgo significativo dada la dispersión de las señales reales.

Metodología: AnchorMoE
Para abordar estos desafíos, los autores proponen AnchorMoE, un marco de trabajo interpretable por construcción basado en una arquitectura de Mezcla de Expertos (MoE). A diferencia de los modelos MoE estándar que imponen un equilibrio de carga uniforme (lo que a menudo causa que los expertos aprendan representaciones redundantes y absorban ruido), AnchorMoE formula la predicción final como una descomposición aditiva exacta sobre segmentos de entrada. La arquitectura consta de tres componentes principales:

1. Representación de Vistas Múltiples (MVRE):
   Antes del enrutamiento, los parches locales brutos se enriquecen en unidades de evidencia exhaustivas. El MVRE codifica tres vistas distintas:

   • Vista Temporal: Preserva la morfología local ordenada mediante incrustación convolucional y codificación posicional.
   • Vista Espectral: Resume el contenido de frecuencia a través de múltiples bandas para capturar regularidades independientes de la alineación temporal exacta.
   • Vista Contextual: Sitúa cada parche en relación con el contexto de la secuencia global mediante el cálculo de un centroide ponderado por máscara y la puntuación de la alineación del parche contra este.
     Estas vistas se fusionan en una representación holística del parche.

2. Enrutamiento de Anclajes Posteriores Diversificados (DPAR):
   Para prevenir la redundancia de los expertos y asegurar la especialización en patrones heterogéneos, el DPAR introduce una restricción de ortogonalidad geométrica.

   • Anclajes Posteriores: Para cada experto, se induce dinámicamente un "anclaje posterior" como el centroide ponderado de las unidades de parches enrutadas a dicho experto.
   • Pérdida de Ortogonalidad: Una función de pérdida penaliza la similitud de coseno entre estos anclajes. Esto obliga a los distintos expertos a especializarse en diferentes patrones predictivos en lugar de converger en representaciones homogéneas, aislando así las señales heterogéneas.

3. Composición con Compuerta de Fiabilidad (RGC):
   Para asegurar que la descomposición aditiva sea fiable bajo distribuciones de señal dispersas, el RGC calibra dinámicamente la contribución de cada segmento.

   • Compuerta de Sensibilidad a la Incertidumbre: Una compuerta de fiabilidad evalúa la confianza de la representación generada por cada experto para un parche específico.
   • Enrutamiento Disperso: La composición se restringe a los $K$ mejores expertos para cada parche.
   • Admisión Global: Se calcula un peso de admisión global basado en las puntuaciones de fiabilidad agregadas. Este mecanismo suprime los segmentos de fondo no informativos y el ruido residual, asegurando que solo los segmentos de alta confianza y portadores de evidencia contribuyan significablemente a la suma aditiva final.

La predicción final se formula como una suma transparente de contribuciones de parches calibradas ($u_c = \sum \pi_p \ell_{p,c}$), lo que permite la inspección directa del proceso de decisión sin estimadores externos.

Contribuciones Clave

• Formulación Interpretable por Diseño: El artículo redefine la MTSC como un problema de enrutamiento de expertos donde la atribución es una descomposición aditiva exacta del proceso de decisión, eliminando la necesidad de aproximaciones post-hoc poco fiables.
• Innovaciones Arquitectónicas: La introducción de Anclajes Posteriores Ortogonales para forzar la especialización de los expertos en patrones heterogéneos y una Compuerta de Fiabilidad Sensible a la Incertidumbre para suprimir dinámicamente el ruido de fondo. Estos diseños previenen estructuralmente que la descomposición aditiva sea corrompida por señales dispersas.
• Evaluación Rigurosa: Los autores construyen conjuntos de datos sintéticos con distractores controlados y máscaras de verdad fundamental para validar que las decisiones del modelo están fielmente fundamentadas en los datos brutos, y no solo en ruido correlacionado.

Resultados Experimentales
Se realizaron experimentos extensos en 18 conjuntos de datos de referencia UEA del mundo real y cuatro conjuntos de datos sintéticos.

• Desempeño de Clasificación: AnchorMoE alcanzó un desempeño de vanguardia, ocupando el primer lugar en el rango promedio tanto para Precisión (1.53) como para F1-score (1.28) en los 18 conjuntos de datos, superando a bases sólidas incluyendo modelos basados en Transformers (PatchTST, FEDformer) y arquitecturas MLP. Mostró una superioridad particular en conjuntos de datos con señales localizadas y no estacionarias (ej. Cricket, RacketSports).
• Fidelidad de la Explicación: En conjuntos de datos del mundo real, AnchorMoE logró consistentemente puntuaciones de "Gap" óptimas (que miden la fidelidad de clasificación) y una alta retención de características ($I(20)$), superando a nueve bases post-hoc (incluyendo Integrated Gradients, DeepLIFT y TimeX).
• Localización de Evidencia: En conjuntos de datos sintéticos con máscaras de verdad fundamental conocidas, AnchorMoE superó significativamente a los métodos post-hoc en AUPRC, IoU@K y Precisión@K. Notablemente, mientras que los métodos basados en gradientes degradaron a un desempeño aleatorio en entornos dispersos, AnchorMoE mantuvo una localización robusta, ignorando con éxito distractores salientes pero irrelevantes para la etiqueta.
• Estudios de Ablación: Los resultados confirmaron que el DPAR es crítico para la discriminación de clases mediante la diversidad de expertos, mientras que el RGC es primordial para la localización fiel de la evidencia al filtrar el ruido.

Significancia y Reivindicaciones
El artículo sostiene que AnchorMoE demuestra que la transparencia estricta ante-hoc no requiere un compromiso en el desempeño predictivo. Al unificar la clasificación y la explicación en un solo proceso, el modelo proporciona una descomposición fiel de las decisiones directamente desde la pasada hacia adelante (forward pass). Los autores enfatizan que su enfoque resuelve el desalineamiento estructural de las arquitecturas MoE estándar en MTSC, donde el equilibrio de carga uniforme suele forzar a los expertos a absorber el ruido de fondo. Si bien la formulación aditiva limita la captura de interacciones de orden superior entre segmentos, el trabajo establece un marco robusto para la toma de decisiones transparente en aplicaciones de series temporales multivariantes de alto riesgo.