Résumé Technique : TypiCore pour l'Apprentissage de Classe-Incrémental Actif sur les Séries Temporelles

Définition du Problème

L'article traite de l'Apprentissage de Classe-Incrémental Actif (ACIL - Active Class-Incremental Learning) pour la classification de séries temporelles multivariées. Ce cadre combine deux contraintes complexes :

1. Apprentissage de Classe-Incrémental (CIL) : Le modèle doit apprendre séquentiellement de nouvelles classes au fil du temps tout en conservant la capacité de classifier toutes les classes précédemment rencontrées, sans accès aux identifiants de tâche lors de l'inférence.
2. Budget d'Annotation Limité : Contrairement aux hypothèses du CIL standard où les flux de données sont entièrement étiquetés, les applications réelles de séries temporelles (ex. : santé, surveillance industrielle) impliquent souvent une acquisition automatique de données mais nécessitent une annotation manuelle coûteuse, dirigée par des experts.

Le défi central consiste à concevoir une stratégie de requête qui sélectionne un sous-ensemble restreint d'échantillons non étiquetés pour l'annotation, de sorte que le tampon de mémoire (memory buffer) supporte à la fois la plasticité (apprentissage de nouvelles classes) et la stabilité (rétention des connaissances anciennes) sous un budget d'étiquetage strict.

Méthodologie

Le Cadre ACIL

Les auteurs proposent un cadre d'Apprentissage de Classe-Incrémental Actif (ACIL) intégré à un apprentissage continu basé sur le rejeu (rehearsal-based). Le processus pour chaque tâche $t$ comprend :

• Initialisation : Le modèle hérite des paramètres de la tâche précédente.
• Cycles d'Apprentissage Actif : L'ensemble de données non étiquetées de la tâche $D_t$ est partitionné en $q$ tranches. Le modèle effectue $N_a$ cycles où, dans chaque cycle :
  1. Une Stratégie de Requête sélectionne un lot de $b$ échantillons à partir du pool non étiqueté actuel.
  2. Un oracle (annotateur humain) fournit les étiquettes pour ces échantillons.
  3. Le modèle s'entraîne sur l'ensemble étiqueté cumulatif de la tâche actuelle combiné à un lot de récupération de mémoire provenant des tâches précédentes.
• Consolidation de la Mémoire : Une fois tous les cycles d'une tâche terminés, le tampon de mémoire est mis à jour en utilisant les données nouvellement étiquetées pour préparer la tâche suivante.

Le cadre évalue deux mécanismes de rejeu sous-jacents :

• Experience Replay (ER) : Utilise un échantillonnage aléatoire uniforme pour la récupération de la mémoire et un échantillonnage par réservoir (reservoir sampling) pour les mises à jour de la mémoire.
• ASER (Adversarial Shapley Value Experience Replay) : Utilise une sélection basée sur l'importance via les valeurs de Shapley pour la récupération et les mises à jour, afin de prioriser les échantillons informatifs.

Stratégies de Requête de Référence Évaluées

L'article évalue systématiquement trois catégories de stratégies de requête :

1. Basées sur l'Incertitude : Sélectionne les échantillons pour lesquels le modèle est le plus incertain (Entropie, Marge, Confiance Minimale).
2. Sensibles à la Distribution (Diversité) : Core-Set, qui utilise un algorithme de k-centre glouton pour maximiser la couverture géométrique de l'espace des caractéristiques.
3. Sensibles à la Distribution (Typicité) : TypiClust, qui sélectionne des échantillons prototypiques à haute densité pour garantir la représentativité.

Méthode Proposée : TypiCore

Les auteurs identifient qu'aucune stratégie unique ne parvient à un équilibre robuste entre stabilité et plasticité. TypiCore est introduit comme une stratégie de requête hybride qui alterne entre une sélection basée sur la typicité et une sélection basée sur la diversité à travers les cycles d'apprentissage actif au sein d'une même tâche :

1. Initialisation (TypiClust) : Le premier cycle d'une nouvelle tâche commence par TypiClust. Comme le modèle n'a pas encore vu d'exemples étiquetés des nouvelles classes (problème de démarrage à froid/cold-start), la sélection d'échantillons prototypiques et de haute densité fournit une base stable.
2. Alternance (Core-Set) : Les cycles suivants alternent avec la sélection Core-Set. Cette étape identifie les échantillons qui maximisent la couverture géométrique de l'espace des caractéristiques, garantissant que le tampon de mémoire capture des régions diverses et des zones sous-représentées.

Cette alternance stricte garantit que le tampon de mémoire est simultanément représentatif (capturant la structure centrale des classes) et diversifié (couvrant l'espace des caractéristiques plus large), empêissant la mémoire de s'effondrer vers un sous-ensemble étroit ou de n'être peuplée que d'échantillons de bordure.

Résultats Clés

Les expériences ont été menées sur le benchmark TSCIL, comprenant quatre jeux de données de séries temporelles multivariées : UCI-HAR, UWave, GRABMyo et WISDM.

Performance des Références (Baselines)

• Méthodes Basées sur l'Incertitude : Ont systématiquement échoué à surpasser la sélection aléatoire. Dans de nombreux cas (ex. : Entropie sur GRABMyo et WISDM), elles ont considérablement dégradé les performances par rapport aux références aléatoires, suggérant que la sélection focalisée sur les frontières est mal alignée avec les besoins de l'apprentissage par rejeu sous de faibles budgets.
• Méthodes Sensibles à la Distribution :
  • Core-Set : A atteint une plasticité élevée (précision d'apprentissage) mais a souffert d'un oubli catastrophique (Oubli Moyen élevé), car la mémoire s'est retrouvée peuplée d'échantillons atypiques, proches des frontières.
  • TypiClust : A atteint une grande stabilité et un faible oubli, mais manquait parfois de la diversité nécessaire pour une plasticité optimale, particulièrement lorsqu'elle était couplée au mécanisme ASER.

Performance de TypiCore

• Supériorité : TypiCore a obtenu des améliorations statistiquement significatives par rapport à toutes les références sur plusieurs jeux de données.
• Équilibre des Compromis : Il occupe systématiquement la région supérieure droite des graphiques de compromis Plasticité vs Stabilité, démontant qu'il peut apprendre de nouvelles tâches efficacement sans sacrifier la rétention des connaissances anciennes.
• Comparaison à la Supervision Totale : Sur plusieurs jeux de données, TypiCore a égalé ou surpassé les performances des méthodes d'apprentissage continu à supervision complète (qui ont accès à toutes les étiquettes) tout en utilisant qu'une fraction des étiquettes disponibles (ex. : 1 % à 30 % des budgets d'annotation).
• Interaction avec le Mécanisme de Rejeu : Un constat constant est que l'ER (rejeu aléatoire simple) surpasse l'ASER (rejeu complexe basé sur l'importance) lorsqu'ils sont combinés avec des stratégies d'apprentissage actif, particulièrement sous des budgets d'annotation sévères. La complexité d'ASER semble moins robuste lorsque le pool étiqueté est petit et potentiellement non représentatif lors des premiers cycles.

Signification et Revendications

L'article affirme que TypiCore fournit une solution novatrice au contexte de rareté des étiquettes dans l'apprentissage continu des séries temporelles. Sa signification réside dans :

1. La Démonstration des Limites des Stratégies Standards : Il révèle que les méthodes classiques basées sur l'incertitude sont préjudiciables dans les contextes ACIL et que les méthodes de distribution à objectif unique (pure diversité ou pure typicité) sont insuffisantes.
2. Efficacité de la Stratie Hybride : Il prouve que l'alternance dynamique entre la sélection par typicité et par diversité crée des tampons de mémoire qui sont à la fois robustes contre l'oubli et assez expressifs pour capturer la complexité des données.
3. Applicabilité Pratique : La méthode permet un apprentissage continu de haute performance sur des données de séries temporelles avec des coûts d'annotation considérablement réduits, rendant l'approche viable pour des domaines réels où l'étiquetage par des experts constitue un goulot d'étranglement.

Les auteurs concluent que la sélection intelligente des étiquettes agit comme un régularisateur implicite, filtrant les échantillons bruités ou redondants qui déstabiliseraient autrement le processus d'apprentissage, et que les mécanismes de rejeu plus simples (ER) peuvent être plus compatibles avec les contraintes de l'apprentissage actif que les mécanismes complexes basés sur la valeur (ASER).