AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE

Resumo Técnico: AnchorMoE

Problema
A Classificação de Séries Temporais Multivariadas (MTSC) é crítica em domínios de alto risco, como o diagnóstico clínico e a detecção de falhas industriais, onde a transparência é tão vital quanto a precisão. No entanto, alcançar uma MTSC interpretável é fundamentalmente desafiador devido à natureza dos sinais do mundo real: a evidência discriminativa é tipicamente esparsa, localizada em janelas temporais breves e restrita a variáveis específicas, enquanto o restante da sequência consiste em ruído de fundo não informativo. Além disso, esses sinais são heterogêneos, compreendendo padrões distintos através de variáveis, intervalos de tempo e domínios de frequência.

As soluções existentes dependem fortemente de métodos de atribuição post-hoc (ex: baseados em gradiente, baseados em perturbação ou análise de pesos de atenção) para explicar as decisões do modelo após a predição. Essas abordagens sofrem de limitações estruturais: elas desacoplam a explicação do cálculo, levando a uma potencial falta de fidelidade (unfaithfulness), onde as explicações podem refletir o roteamento de informação em vez da importância causal. Adicionalmente, os métodos post-hoc carecem de salvaguardas arquiteturais para evitar a má atribuição de ruído de fundo correlacionado, um risco significativo dada a esparsidade dos sinais verdadeiros.

Metodologia: AnchorMoE
Para enfrentar esses desafios, os autores propõem o AnchorMoE, um framework interpretável por construção baseado em uma arquitetura de Mistura de Especialistas (Mixture-of-Experts - MoE). Diferente dos modelos MoE padrão que impõem um balanceamento de carga uniforme (o que frequentemente faz com que os especialistas aprendam representações redundantes e absorvam ruído), o AnchorMoE formula a predição final como uma decomposição aditiva exata sobre segmentos de entrada. A arquitetura consiste em três componentes principais:

1. Representação de Embedding de Múltiplas Visões (MVRE):
   Antes do roteamento, os patches locais brutos são enriquecidos em unidades de evidência abrangentes. A MVRE codifica três visões distintas:

   • Visão Temporal: Preserva a morfologia local ordenada via embedding convolucional e codificação posicional.
   • Visão Espectral: Resume o conteúdo de frequência através de múltiplas bandas para capturar regularidades independentes do alinhamento temporal exato.
   • Visão Contextual: Situa cada patch em relação ao contexto da sequência global ao computar um centroide ponderado por máscara e pontuar o alinhamento do patch contra este.
     Essas visões são fundidas em uma representação holística do patch.

2. Roteamento de Âncora Posterior Diversificado (DPAR):
   Para evitar a redundância de especialistas e garantir a especialização em padrões heterogêneos, o DPAR introduz uma restrição de ortogonalidade geométrica.

   • Âncoras Posteriores: Para cada especialista, uma "âncora posterior" é induzida dinamicamente como o centroide ponderado das unidades de patch roteadas para aquele especialista.
   • Perda de Ortogonalidade: Uma função de perda penaliza a similaridade de cosseno entre essas âncoras. Isso força especialistas distintos a se especializarem em diferentes padrões preditivos em vez de convergirem para representações homogêneas, isolando assim sinais heterogêneos.

3. Composição com Portão de Confiabilidade (RGC):
   Para garantir que a decomposição aditiva permaneça confiável sob distribuições de sinais esparsos, o RGC calibra dinamicamente a contribuição de cada segmento.

   • Portão de Incerteza (Uncertainty-Aware Gating): Um portão de confiabilidade avalia a confiança da representação gerada por cada especialista para um patch específico.
   • Roteamento Esparso: A composição é restrita aos top-K especialistas para cada patch.
   • Admissão Global: Um peso de admissão global é computado com base nos scores de confiabilidade agregados. Este mecanismo suprime segmentos de fundo não informativos e ruído residual, garantindo que apenas segmentos de alta confiança e portadores de evidência contribuam significativamente para a soma aditiva final.

A predição final é formulada como uma soma transparente de contribuições de patches calibradas ($u_c = \sum \pi_p \ell_{p,c}$), permitindo a inspeção direta do processo de decisão sem estimadores externos.

Principais Contribuições

• Formulação Interpretável por Design: O artigo reformula a MTSC como um problema de roteamento de especialistas onde a atribuição é uma decomposição aditiva exata do processo de decisão, eliminando a necessidade de aproximações post-hoc não confiáveis.
• Inovações Arquiteturais: A introdução de Âncoras Posteriores Ortogonais para forçar a especialização de especialistas em padrões heterogêneos e um Portão de Confiabilidade Sensível à Incerteza para suprimir dinamicamente o ruído de fundo. Esses designs impedem estruturalmente que a decomposição aditiva seja corrompida por sinais esparsos.
• Avaliação Rigorosa: Os autores construíram conjuntos de dados sintéticos com distratores controlados e máscaras de verdade fundamental para validar que as decisões do modelo estão fielmente fundamentadas nos dados brutos, e não apenas em ruído correlacionado.

Resultados Experimentais
Experimentos extensivos foram conduzidos em 18 conjuntos de dados de referência UEA do mundo real e quatro conjuntos de dados sintéticos.

• Desempenho de Classificação: O AnchorMoE alcançou desempenho de estado da arte, ocupando o primeiro lugar em ranking médio tanto para Acurácia (1.53) quanto para F1-score (1.28) nos 18 conjuntos de dados, superando bases fortes, incluindo modelos baseados em Transformer (PatchTST, FEDformer) e arquiteturas MLP. Demonstrou superioridade particular em conjuntos de dados com sinais localizados e não estacionários (ex: Cricket, RacketSports).
• Fidelidade da Explicação: Em conjuntos de dados do mundo real, o AnchorMoE consistentemente alcançou scores de "Gap" ótimos (medindo a fidelidade de ranking) e alta retenção de características ($I(20)$), superando nove bases post-hoc (incluindo Integrated Gradients, DeepLIFT e TimeX).
• Localização de Evidência: Em conjuntos de dados sintéticos com máscaras de verdade fundamental conhecidas, o AnchorMoE superou significativamente os métodos post-hoc em AUPRC, IoU@K e Precisão@K. Notavelmente, enquanto métodos baseados em gradiente degradaram para um desempenho aleatório em configurações esparsas, o AnchorMoE manteve uma localização robusta, ignorando com sucesso distratores salientes, mas irrelevantes para o rótulo.
• Estudos de Ablação: Os resultados confirmaram que o DPAR é crítico para a discriminação de classes via diversidade de especialistas, enquanto o RGC é primordial para a localização fiel de evidências ao filtrar o ruído.

Significância e Alegações
O artigo afirma que o AnchorMoE demonstra que a transparência ante-hoc estrita não exige um compromisso no desempenho preditivo. Ao unificar classificação e explicação em um único processo, o modelo fornece uma decomposição fiel das decisões diretamente do forward pass. Os autores enfatizam que sua abordagem resolve o desalinhamento estrutural das arquiteturas MoE padrão em MTSC, onde o balanceamento de carga uniforme tipicamente força os especialistas a absorver o ruído de fundo. Embora a formulação aditiva limite a captura de interações de ordem superior entre segmentos, o trabalho estabelece um framework robusto para a tomada de decisão transparente em aplicações de séries temporais multivariadas de alto risco.