Trust Region Continual Learning as an Implicit Meta-Learner

Résumé technique : L'apprentissage continu par région de confiance comme méta-apprenant implicite

Énoncé du problème
L'apprentissage continu (CL) vise à acquérir des tâches de manière séquentielle sans oublier catastrophique. Les stratégies existantes font face à un compromis fondamental :

• Les méthodes basées sur la régularisation (par exemple, la consolidation pondérale élastique, EWC) pénalisent les changements apportés aux paramètres importants en utilisant des contraintes quadratiques de type Fisher. Cependant, elles surcontrainent souvent les mises à jour lorsque les optima des tâches se chevauchent faiblement, ou reposent sur des approximations de courbure qui échouent en cas de dérive de distribution.
• Les méthodes basées sur la répétition (replay) entrelacent l'entraînement actuel avec des échantillons passés stockés ou générés. Bien qu'efficaces pour maintenir les performances, elles sont limitées par les politiques de mémoire et peuvent subir une dérive des performances lorsque les modèles génératifs produisent des échantillons imparfaits.

Les auteurs postulent que la combinaison de ces approches est naturelle, mais qu'elle nécessite un cadre théorique unifié pour comprendre leurs interactions, en particulier dans le contexte des modèles de diffusion où la géométrie du gradient offre des propriétés uniques.

Méthodologie
L'article propose l'apprentissage continu par région de confiance, une approche hybride qui intègre la répétition générative avec une contrainte de région de confiance basée sur la métrique de Fisher.

1. Formulation de l'objectif : La méthode optimise un objectif combiné pour une nouvelle tâche $T_t$ :
   $$\min_\theta L_{T_t}(\theta; D_t) + \beta L_{\text{Replay}}(\theta) + \lambda L_{\text{EWC}}$$
   Ici, la répétition générative (utilisant des modèles de diffusion) fournit des gradients issus des tâches passées pour encourager le partage de paramètres, tandis que le terme EWC agit comme une contrainte de région de confiance, ancrant les mises à jour près des optima des tâches précédentes en utilisant une pénalité pondérée par Fisher.

2. Analyse théorique (Méta-apprentissage implicite) :
   La contribution théorique centrale est la réinterprétation de cette mise à jour CL comme une optimisation de style MAML (Model-Agnostic Meta-Learning) avec une seule étape interne implicite, dérivée sous des approximations locales :

   • Répétition comme requête : Le gradient issu de la répétition générative sur les données passées approxime le gradient de « requête » dans MAML (évaluant la performance sur les anciennes tâches après adaptation).
   • EWC comme courbure : La pénalité pondérée par Fisher approxime la Hessienne d'ordre deux (courbure de support) des tâches passées.
   • Approximation de rang 1 : S'appuyant sur des découvertes récentes indiquant que les modèles de diffusion admettent une Fisher empirique approximativement de rang 1, les auteurs montrent que la direction de mise à jour combinée (répétition + EWC) s'aligne avec la direction du méta-gradient MAML. Spécifiquement, la mise à jour devient :
     $$\theta \leftarrow \theta - \eta \left( \nabla_\theta L_{T_t} + \nabla_\theta L_{\text{MAML}} \right)$$
     Cela suggère que le modèle apprend implicitement une initialisation permettant une reconvergence rapide vers les optima des tâches antérieures, sans optimiser explicitement un objectif bi-niveau.

Contributions clés

1. Cadre unifié : Les auteurs présentent la combinaison de l'EWC et de la répétition générative comme un problème de région de confiance où la répétition garantit que la région de confiance n'est pas vide (en trouvant des bassins de perte faible partagés) et où la pénalité Fisher assure la stabilité au sein de cette région.
2. Propriété de méta-apprentissage implicite : Ils démontrent que, sous des approximations locales, cet objectif CL standard induit une structure de mise à jour de style MAML. Le modèle devient effectivement une initialisation capable d'une réadaptation rapide aux anciennes tâches, émergeant naturellement de l'interaction entre répétition et régularisation.
3. Validation empirique : La méthode est évaluée sur deux domaines distincts :
   • Génération d'images : Diffusion incrémentale par tâche sur ImageNet-500 (faible hétérogénéité).
   • Contrôle robotique : Contrôle de politique par diffusion continue sur Continual-World-10 (forte hétérogénéité).

Résultats

• Performance et rétention : L'apprentissage continu par région de confiance atteint les meilleures performances finales et le plus faible oubli sur les deux jeux de données par rapport aux références (Répétition générative, EWC, Ajustement fin naïf, FTML et VR-MCL).
  • Sur CW10, il a atteint un taux de réussite moyen de 88,3 % avec seulement 4,4 d'oubli, surpassant la répétition (85,3 %, 8,2 d'oubli) et les références de méta-apprentissage.
  • Sur ImageNet-500, il a atteint un FID moyen de 44,5 avec 10,6 d'oubli, surpassant nettement les références de méta-apprentissage qui ont souffert d'un oubli élevé (par exemple, FID FTML de 172,5).
• Vitesse de reconvergence : Une découverte cruciale est la rapidité de récupération. Après avoir appris une nouvelle tâche, la méthode par région de confiance récupère les performances sur les tâches précédentes (par exemple, Tâche 1) significativement plus vite que les références.
  • Sur ImageNet-500, la récupération s'est souvent produite en ≤55 étapes de gradient.
  • Sur CW10, la récupération s'est produite en ≤45 étapes.
  • En revanche, des références comme l'ajustement fin ou l'EWC ont souvent échoué à reconverger ou ont nécessité des ordres de grandeur d'étapes supplémentaires (jusqu'à $10^4$).
• Références de méta-apprentissage : De manière intéressante, les méthodes explicites de méta-apprentissage continu (FTML, VR-MCL) ont sous-performé sur la tâche ImageNet à faible hétérogénéité, suggérant que les objectifs bi-niveaux explicites peuvent amplifier les erreurs lorsque la répétition est imparfaite, alors que l'approche implicite par région de confiance est plus robuste.

Signification et affirmations
L'article affirme que l'apprentissage continu par région de confiance comble le fossé entre l'apprentissage continu et le méta-apprentissage. En combinant la répétition générative avec une région de confiance de métrique Fisher, la méthode induit un comportement de méta-apprentissage émergent : le modèle acquiert une propriété d'initialisation qui soutient une réadaptation rapide aux tâches passées, sans le coût computationnel ni la complexité d'une optimisation bi-niveau explicite.

Les auteurs soulignent que cette approche est robuste, évolutive et efficace, la rendant adaptée aux grands modèles et aux tâches séquentielles exigeantes comme le contrôle robotique. Ils notent une limitation : l'approche suppose qu'un optimum partagé existe entre les tâches ; si les tâches sont hautement hétérogènes de telle sorte qu'aucune région de paramètres partagés n'existe, les avantages peuvent s'affaiblir. Cependant, dans les régimes testés, la méthode empêche avec succès l'oubli catastrophique tout en permettant une récupération rapide, validant l'hypothèse selon laquelle les contraintes de courbure locale et la répétition peuvent conjointement induire une dynamique de méta-apprentissage.