Generative versus Discriminative Approaches for Class-Incremental Learning of EMG Signals: Effectiveness of Scale Mixture Modeling

Résumé technique : Approches génératives versus discriminatives pour l'apprentissage incrémental de classes de signaux EMG

Énoncé du problème
Les systèmes de reconnaissance de mouvements basés sur l'électromyogramme (EMG) font face à une limitation critique lors de leur déploiement pratique : il est impraticable de prédéfinir toutes les classes de mouvements requises pour un utilisateur. Par conséquent, les systèmes doivent supporter l'apprentissage incrémental de classes, où de nouvelles classes de mouvements sont ajoutées séquentiellement pendant le fonctionnement tout en conservant la capacité de reconnaître les classes précédemment apprises. Ce paradigme introduit deux défis primordiaux :

1. Oubli catastrophique : Le phénomène par lequel l'apprentissage de nouvelles données de classes écrase les connaissances acquises précédemment, entraînant une dégradation significative de la précision sur les anciennes classes.
2. Coût de mémoire : Les contre-mesures contre l'oubli, telles que le rejeu de données (data replay), nécessitent souvent de stocker les données d'entraînement passées, ce qui augmente l'utilisation de la mémoire. Cela est particulièrement problématique pour les appareils de bord (edge devices) dotés de ressources de calcul et de stockage limitées.

Bien que les modèles discriminatifs basés sur l'apprentissage profond soient largement utilisés pour l'extraction de caractéristiques, ils mettent généralement à jour un espace de caractéristiques partagé lors de l'apprentissage de nouvelles classes, ce qui perturbe les représentations des classes précédemment apprises. Inversement, les modèles génératifs estiment les distributions conditionnelles de classe avec des paramètres indépendants des classes, offrant théoriquement un avantage structurel pour l'apprentissage incrémental, bien que leur efficacité dans le domaine de l'EMG reste peu explorée.

Méthodologie
Les auteurs ont mené une évaluation comparative systématique de huit méthodes d'apprentissage incrémental de classes à travers quatre ensembles de données EMG diversifiés (allant de 6 à 16 classes de mouvements). Les méthodes couvrent les approches génératives et discriminatives, incluant des techniques d'apprentissage profond et non profond :

• Modèles Génératifs :
  • Modèle de classification par mélange d'échelles (SMCM) : Le modèle proposé par les auteurs, qui capture la variabilité du signal EMG à l'aide de distributions de mélange d'échelles (plus lourdes de queue que la distribution gaussienne) et modélise chaque classe avec des paramètres complètement indépendants. La connaissance est compressée dans les distributions postérieures des paramètres, éliminant ainsi le besoin de stocker des données passées.
  • Analyse Discriminante Linéaire en Flux (SLDA) : Un modèle probabiliste utilisant des distributions gaussiennes avec une matrice de covariance partagée entre toutes les classes.
• Modèles Discriminatifs :
  • Machine à Vecteurs de Support Incrémentale (ISVM) : Une méthode d'apprentissage non profond qui conserve les vecteurs de support pour supprimer l'oubli.
  • Méthodes d'Apprentissage Profond : Approches représentatives de trois catégories :
    • Régularisation : Learning without Forgetting (LwF).
    • Architecturale : Copy Weights with Re-init+ (CWR+).
    • Rejeu (Replay) : Experience Replay (ER), Average Gradient Episodic Memory (AGEM), et Deep Generative Replay (DGR).
• Lignes de base (Baselines) : JOINT (entraînement sur toutes les données, limite supérieure) et NONE (ajustement fin sur les nouvelles données uniquement, limite inférieure).

Protocole d'évaluation
L'étude a utilisé une validation croisée de type "leave-one-trial-out" sur quatre ensembles de données. Les tâches ont été définies par l'ajout incrémental de deux classes par tâche. La performance a été mesurée via :

1. Précision de classification : Précision moyenne sur toutes les classes apprises après chaque tâche.
2. Transfert Arrière (BWT - Backward Transfer) : Une métrique quantifiant l'oubli catastrophique (les valeurs négatives indiquent un oubli).
3. Coût de mémoire : Stockage total requis (paramètres du modèle + tout tampon de données conservé) en octets.

Résultats Clés

• Génératif vs Discriminatif : Les modèles génératifs (SMCM et SLDA) ont démontré une stabilité supérieure. À mesure que le nombre de tâches augmentait, les méthodes basées sur l'apprentissage profond (LwF, CWR+, DGR, AGEM) ont subi une dégradation significative de la précision et des valeurs de BWT négatives sévères, comparables à la ligne de base "NONE".
• Performance du SMCM : Le SMCM a obtenu le compromis le plus favorable. Il a maintenu une précision élevée et stable sur tous les ensembles de données (par exemple, 94,84 % sur le Dataset I, 68,51 % sur le Dataset IV) avec un coût de mémoire minimal. Il a surpassé le SLDA, particulièrement dans les ensembles de données avec un nombre plus élevé de classes (Dataset IV), où la matrice de covariance partagée du SLDA a entraîné des chutes de précision plus importantes.
• Efficacité de la mémoire : Les méthodes qui compressent la connaissance dans les paramètres (SMCM, SLDA) nécessitent nettement moins de mémoire que les méthodes basées sur le rejeu (ER) ou celles conservant des vecteurs de support (ISVM). Bien que l'ER atteigne une précision comparable au SMCM, elle incurre des coûts de mémoire substantiellement plus élevés en raison de la rétention de données.
• Suppression de l'oubli : Le SMCM et le SLDA ont présenté des valeurs de BWT proches de zéro (par exemple, de -0,033 à -0,082), indiquant une rétention stable des connaissances passées. En revanche, les méthodes d'apprentissage profond sans rejeu de données ont montré des valeurs de BWT aussi basses que -0,937.

Signification et Revendications
L'article soutient que pour l'apprentissage incrémental de classes basé sur l'EMG, particulièrement dans des conditions d'appareils de bord à contraintes de mémoire, les modèles génératifs avec des paramètres indépendants des classes offrent des avantages systématiques par rapport aux approches discriminatives.

Plus précisément, l'étude souligne :

1. Avantage Structurel : L'indépendance des paramètres de classe dans les modèles génératifs empêche la perturbation des représentations de classes existantes lors de l'ajout de nouvelles classes, supprimant efficacement l'oubli catastrophique sans nécessiter de rejeu de données.
2. Supériorité de la Modélisation par Mélange d'Échelles : Le SMCM proposé surpasse les modèles génératifs standards basés sur le Gaussien (SLDA) en capturant la variabilité du signal EMG via des distributions de mélange d'échelles. Cela fournit des représentations à queues plus lourdes qui gèrent mieux la variabilité du signal et la discrimination inter-classes, surtout à mesure que le nombre de classes croît.
3. Aperçu de Conception Pratique : Pour le déploiement sur les appareils de bord, l'étude suggère que la conception de modèles génératifs adaptés aux caractéristiques du signal est plus efficace que l'application de contre-mesures génériques contre l'oubli en apprentissage profond. Le SMCM est identifié comme la solution optimale, atteignant le meilleur équilibre entre haute précision de classification, suppression efficace de l'oubli et faible empreinte mémoire.

Les auteurs notent des limites, notamment la nature hors ligne de l'évaluation (excluant l'analyse du temps d'inférence et de la consommation d'énergie) et l'utilisation de tailles de tâches et d'ordonnancements de classes fixes, suggérant que les travaux futurs devraient aborder l'évaluation en ligne sur des appareils de bord réels.