Résumé Technique : Valeurs de Shapley des Neurones pour l'Apprentissage Continu

1. Énoncé du Problème

L'apprentissage continu (CL) vise à permettre aux réseaux de neurones d'apprendre des tâches séquentielles sans oublier les connaissances acquises précédemment. Cependant, les réseaux de neurones standards souffrent d'oubli catastrophique, où l'apprentissage de nouvelles tâches dégrade les performances sur les tâches antérieures. Les solutions existantes présentent des limitations significatives :

• Méthodes basées sur la mémoire (par exemple, iCaRL, DER++) stockent et rejouent des exemples passés, violant les paramètres stricts du CL où les données passées sont inaccessibles et soulevant des préoccupations en matière de confidentialité (par exemple, RGPD).
• Méthodes à architecture dynamique (par exemple, PNN, DyTox) augmentent la taille du modèle au fil du temps, entraînant une croissance illimitée des paramètres et une impraticabilité computationnelle.
• Méthodes basées sur la régularisation (par exemple, EWC, SI) ont souvent du mal avec des tâches hautement hétérogènes et peuvent nécessiter des modules auxiliaires ou des contraintes spécifiques à la tâche.

Le défi central abordé est de réaliser un apprentissage continu résistant à l'oubli au sein d'un réseau de base à capacité fixe, sans revisiter les données passées et sans étendre l'architecture.

2. Méthodologie : Valeurs de Shapley des Neurones (SNV)

Les auteurs proposent les Valeurs de Shapley des Neurones (SNV), un cadre sans tampon qui exploite la sur-paramétrisation inhérente des réseaux de neurones modernes. La méthode identifie et préserve des "sous-réseaux experts" pour chaque tâche en utilisant des principes issus de la théorie des jeux coopératifs.

Mécanisme Central

1. Définition du Neurone : Dans les réseaux de convolution, un "Neurone" est défini comme un filtre de convolution (noyau).
2. Évaluation de Shapley : L'importance de chaque neurone est quantifiée à l'aide des Valeurs de Shapley, qui répartissent équitablement la métrique de performance du modèle $V(M)$ entre les neurones en fonction de leurs contributions marginales à divers sous-ensembles du réseau.
   • L'évaluation satisfait quatre axiomes : Efficacité, Contribution Nulle, Symétrie et Linéarité.
   • La valeur de Shapley $\phi_i$ pour le neurone $i$ est calculée comme suit :
     $$\phi_i = \sum_{S \subseteq M \setminus \{i\}} \frac{|S|!(|M| - |S| - 1)!}{|M|!} [V(S \cup \{i\}) - V(S)]$$
   • Ici, $V(S)$ représente la performance du modèle lorsque les neurones dans $M \setminus S$ sont remplacés par leurs activations moyennes (masquage), préservant les statistiques du signal sans réentraînement.
3. Stratégie d'Approximation : Puisque le calcul exact de Shapley est exponentiel, SNV emploie trois approximations :
   • Estimation Monte Carlo : Échantillonnage des permutations de neurones pour estimer les contributions marginales.
   • Troncature : Saut des calculs marginaux pour les petits sous-ensembles où la performance chute en dessous d'un seuil (en supposant que le modèle est non fonctionnel).
   • Bandit Multi-Arme (MAB) : Concentration des efforts d'échantillonnage sur les neurones dont les intervalles de confiance chevauchent les $k$ meilleures valeurs estimées pour identifier efficacement les neurones les plus importants.
4. Gel et Plasticité :
   • Pour chaque tâche $t$, les $c \cdot N$ neurones les plus performants (où $c$ est un ratio de parcimonie et $N$ le nombre total de neurones) avec les valeurs de Shapley les plus élevées sont sélectionnés.
   • Un masque binaire cumulatif $B_t$ est maintenu, marquant tous les neurones sélectionnés pour les tâches 1 à $t$.
   • Pendant l'entraînement pour la tâche $t+1$, les gradients sont bloqués pour tous les neurones dans $B_t$ (gelés), tandis que les neurones "plastiques" restants sont mis à jour. Cela assure une rétention stable des connaissances pour les tâches passées tout en permettant de la flexibilité pour les nouvelles.

3. Contributions Clés

• Sélection Principée des Neurones : Introduit un cadre de théorie des jeux (Valeurs de Shapley) pour identifier les neurones les plus critiques pour des tâches spécifiques, allant au-delà des scores d'importance heuristiques ou binaires.
• Sans Tampon et à Capacité Fixe : Démontre qu'un réseau à capacité fixe peut apprendre des tâches séquentielles indéfiniment en gelant sélectivement les neurones importants, éliminant le besoin de tampons de rejouaison ou d'expansion architecturale.
• Compromis Stabilité-Plasticité : Dissocie explicitement la rétention des connaissances (via des neurones stables gelés) de l'apprentissage de nouvelles tâches (via des neurones plastiques), réduisant les interférences inter-tâches.
• Estimation Efficace : Propose un pipeline pratique (Monte Carlo + Troncature + MAB) pour rendre l'estimation des valeurs de Shapley computationnellement réalisable pour l'apprentissage continu.

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR-100, Tiny-ImageNet et ImageNet-1k en utilisant ResNet-18, couvrant à la fois les scénarios d'Apprentissage Incrémental de Classes (CIL) et d'Apprentissage Incrémental de Tâches (TIL).

Points Forts de Performance

• ImageNet-1k (CIL) : SNV a atteint une précision de 41,30 % sur 10 tâches, 34,20 % sur 20 tâches et 25,60 % sur 50 tâches. Il a constamment surpassé toutes les méthodes de référence sans tampon (par exemple, NFL+, DCNet) et a même dépassé la méthode basée sur la mémoire DyTox (qui stocke 20 000 exemplaires) dans le scénario de 10 tâches.
• ImageNet-1k (TIL) : SNV a atteint une précision de 57,82 % avec un 0,0 de transfert arrière (BWT), surpassant toutes les méthodes sans tampon et égalant ou dépassant les méthodes basées sur la mémoire sans stocker aucune donnée.
• Comparaison avec les Références :
  • En CIL, SNV a amélioré la précision de +2,88 % par rapport à la deuxième meilleure méthode sans tampon (NFL+) sur 10 tâches, l'écart s'élargissant à +3,20 % sur 50 tâches.
  • En TIL, SNV a surpassé WSN (Winning SubNetwork) de 15,76 % sur CIFAR-100 (à $c=0,5$), démontrant que la sélection principée de Shapley est supérieure à la sélection heuristique binaire.
• Efficacité des Paramètres : L'analyse de l'élagage a montré que SNV utilise les paramètres plus efficacement que des méthodes comme PEC ou EWC. SNV a maintenu une haute précision sous un élagage plus profond avant de s'effondrer, indiquant moins de redondance et une utilisation plus critique des paramètres.
• Coût Computationnel : Bien que SNV nécessite plus d'opérations (FLOPs) que des régularisateurs légers (par exemple, EWC), la surcharge est modeste (~1,24 fois celle de NFL+). Il reste significativement plus efficace que les méthodes basées sur la mémoire comme DyTox, qui nécessitent ~2,8 fois les FLOPs et 2,1 fois la mémoire GPU.

5. Importance et Revendications

L'article revendique que SNV fournit une solution principée et sans tampon à l'oubli catastrophique, bien adaptée aux environnements à ressources limitées et sensibles à la confidentialité.

• Confidentialité : En éliminant le besoin de stocker des données passées, SNV évite les risques de confidentialité associés aux réglementations de rétention des données (par exemple, RGPD).
• Évolutivité : Il évite la croissance de mémoire illimitée des méthodes à architecture dynamique.
• Efficacité : Les auteurs soutiennent que simplement stocker et rejouer des échantillons peut ne pas être la stratégie optimale ; identifier et préserver les "bons" neurones au sein d'un réseau fixe est une approche plus robuste pour un apprentissage continu strict.
• Limitations : Les auteurs reconnaissent que l'étape d'estimation de Shapley post-tâche ajoute un coût computationnel, qui peut devenir un goulot d'étranglement pour des modèles très grands. Les travaux futurs visent à approximer ces valeurs en ligne pour éliminer la phase d'estimation séparée.

Le travail positionne SNV comme une alternative solide aux approches basées sur la mémoire, démontrant qu'une haute performance en apprentissage continu est réalisable sans violer les contraintes strictes d'accès aux données.