AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE

Résumé Technique : AnchorMoE

Énoncé du Problème
La classification de séries temporelles multivariées (MTSC) est critique dans des domaines à enjeux élevés comme le diagnostic clinique et la détection de défauts industriels, où la transparence est aussi vitale que l'exactitude. Cependant, parvenir à une MTSC interprétable est fondamentalement difficile en raison de la nature des signaux du monde réel : les preuves discriminantes sont généralement éparses, localisées au sein de brèves fenêtres temporelles, et restreintes à des variables spécifiques, tandis que le reste de la séquence consiste en un bruit de fond non informatif. De plus, ces signaux sont hétérogènes, comprenant des motifs distincts à travers les variables, les cadres temporels et les domaines fréquentiels.

Les solutions existantes reposent lourdement sur des méthodes d'attribution post-hoc (par exemple, basées sur le gradient, la perturbation ou l'analyse des poids d'attention) pour expliquer les décisions du modèle après la prédiction. Ces approches souffrent de limitations structurelles : elles déconnectent l'explication du calcul, menant à un manque potentiel de fidélité où les explications peuvent refléter le routage de l'information plutôt que l'importance causale. De plus, les méthodes post-hoc manquent de garde-fous architecturaux pour empêcher la mauvaise attribution du bruit de fond corrélé, un risque significatif étant donné la parcimonie des signaux réels.

Méthodologie : AnchorMoE
Pour répondre à ces défis, les auteurs proposent AnchorMoE, un cadre interprétable par construction basé sur une architecture de Mélange d'Experts (MoE). Contra-rément aux modèles MoE standards qui imposent un équilibrage de charge uniforme (causant souvent une redondance des représentations apprises par les experts et l'absorption de bruit), AnchorMoE formule la prédiction finale comme une décomposition additive exacte sur les segments d'entrée. L'architecture se compose de trois composants clés :

1. Représentation Multi-Vue (MVRE - Multi-View Representation Embedding) :
   Avant le routage, les patchs locaux bruts sont enrichis en unités d'évidence complètes. La MVRE encode trois vues distinctes :

   • Vue Temporelle : Préserve la morphologie locale ordonnée via l'encodage convolutionnel et l'encodage positionnel.
   • Vue Spectrale : Résume le contenu fréquentiel à travers plusieurs bandes pour capturer les régularités indépendamment de l'alignement temporel exact.
   • Vue Contextuelle : Situe chaque patch par rapport au contexte global de la séquence en calculant un centroïde pondéré par un masque et en évaluant l'alignement du patch par rapport à celui-ci.
     Ces vues sont fusionnées en une représentation holistique du patch.

2. Routage par Ancres Postérieures Diversifiées (DPAR - Diversified Posterior-Anchor Routing) :
   Pour prévenir la redondance des experts et assurer une spécialisation dans les motifs hétérogènes, le DPAR introduit une contrainte d'orthogonalité géométrique.

   • Ancres Postérieures : Pour chaque expert, une « ancre postérieure » est dynamiquement induite comme le centroïde pondéré des unités de patch routées vers cet expert.
   • Perte d'Orthogonalité : Une fonction de perte pénalise la similitude cosinus entre ces ancres. Cela contraint les experts distincts à se spécialiser dans différents motifs prédictifs plutôt qu'à converger vers des représentations homogènes, isolant ainsi les signaux hétérogènes.

3. Composition à Porte de Fiabilité (RGC - Reliability-Gated Composition) :
   Pour garantir que la décomposition additive reste fiable sous des distributions de signaux éparses, le RGC calibre dynamiquement la contribution de chaque segment.

   • Porte Sensible à l'Incertitude : Une porte de fiabilité évalue la confiance de la représentation générée par chaque expert pour un patch spécifique.
   • Routage Sparse : La composition est restreinte aux $K$ meilleurs experts pour chaque patch.
   • Admission Globale : Un poids d'admission global est calculé sur la base des scores de fiabilité agrégés. Ce mécanisme supprime les segments de bruit de fond non informatifs et le bruit résiduel, garantissant que seuls les segments à haute confiance et porteurs d'évidence contribuent de manière significative à la somme additive finale.

La prédiction finale est formulée comme une somme transparente de contributions de patchs calibrées ($u_c = \sum \pi_p \ell_{p,c}$), permettant une inspection directe du processus de décision sans estimateurs externes.

Contributions Clés

• Formulation Interprétable par Design : Le papier reformule la MTSC comme un problème de routage d'experts où l'attribution est une décomposition additive exacte du processus de décision, éliminant le besoin d'approximations post-hoc peu fiables.
• Innovations Architecturales : L'introduction des Ancres Postérieures Orthogonales pour forcer la spécialisation des experts dans les motifs hétérogènes et d'une Porte de Fiabilité Sensible à l'Incertitude pour supprimer dynamiquement le bruit de fond. Ces conceptions empêchent structurellement la décomposition additive d'être corrompue par des signaux éparses.
• Évaluation Rigoureuse : Les auteurs construisent des jeux de données synthétiques avec des distracteurs contrôlés et des masques de vérité terrain pour valider que les décisions du modèle sont fidèlement ancrées dans les données brutes, et non simplement dans un bruit corrélé.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur 18 jeux de données de référence UEA réels et quatre jeux de données synthétiques.

• Performance de Classification : AnchorMoE a atteint des performances de l'état de l'art, occupant la première place en rang moyen pour l'Exactitude (1.53) et le score F1 (1.28) sur les 18 jeux de données, surpassant des bases solides incluant des modèles basés sur les Transformers (PatchTST, FEDformer) et des architectures MLP. Il a montré une supériorité particulière sur des jeux de données avec des signaux localisés et non stationnaires (ex: Cricket, RacketSports).
• Fidélité de l'Explication : Sur les jeux de données réels, AnchorMoE a systématiquement obtenu des scores "Gap" optimaux (mesurant la fidélité du classement) et une haute rétention de caractéristiques ($I(20)$), surpassant neuf bases post-hoc (incluant Integrated Gradients, DeepLIFT et TimeX).
• Localisation de l'Évidence : Sur les jeux de données synthétiques avec des masques de vérité terrain connus, AnchorMoE a significativement surpassé les méthodes post-hoc en termes d'AUPRC, IoU@K et Précision@K. Notamment, alors que les méthodes basées sur le gradient se dégradaient vers une performance aléatoire dans les contextes éparses, AnchorMoE maintenait une localisation robuste, ignorant avec succès les distracteurs saillants mais non pertinents pour l'étiquette.
• Études d'Ablation : Les résultats ont confirmé que le DPAR est critique pour la discrimination des classes via la diversité des experts, tandis que le RGC est primordial pour la localisation fidèle de l'évidence en filtrant le bruit.

Signification et Revendications
Le papier affirme qu'AnchorMoE démontre que la transparence stricte ante-hoc n'implique pas un compromis sur la performance prédictive. En unifiant la classification et l'explication en un seul processus, le modèle fournit une décomposition fidèle des décisions directement à partir de la passe avant (forward pass). Les auteurs soulignent que leur approche résout le désalignement structurel des architectures MoE standards en MTSC, où l'équilibrage de charge uniforme force typiquement les experts à absorber le bruit de fond. Bien que la formulation additive limite la capture des interactions de segments d'ordre supérieur, ce travail établit un cadre robuste pour la prise de décision transparente dans les applications de séries temporelles multivariées à enjeux élevés.