Résumé Technique : « L'oubli est partout »

Énoncé du Problème

L'article traite d'un défi fondamental en apprentissage automatique : la tendance des algorithmes d'apprentissage à perdre les connaissances acquises précédemment lorsqu'ils s'adaptent à de nouvelles données. Bien que l'« oubli » soit un phénomène bien documenté dans des domaines spécifiques comme l'apprentissage continu (CL) et l'apprentissage par renforcement (RL), la littérature existante manque d'une définition unifiée et fondée sur des principes pour expliquer la dynamique sous-jacente de l'oubli à travers différents paradigmes d'apprentissage.

Les mesures actuelles confondent souvent deux phénomènes distincts : le transfert arrière (où l'apprentissage de nouvelles tâches améliore les performances sur les tâches passées) et l'oubli (où les nouvelles mises à jour érodent les connaissances antérieures). De plus, la plupart des mesures existantes sont spécifiques à une tâche (par exemple, la dégradation des performances sur les tâches précédentes en CL) ou à un mécanisme (par exemple, la dérive des paramètres), échouant ainsi à fournir un cadre général et indépendant de l'algorithme. Les auteurs soutiennent que l'oubli est une propriété fondamentale de tout système adaptatif mettant à jour ses croyances, survenant même dans des contextes de données indépendantes et identiquement distribuées (i.i.d.) sans changement de tâche.

Méthodologie

Les auteurs proposent une théorie générale de l'oubli, indépendante de l'algorithme et de la tâche, fondée sur l'auto-cohérence prédictive.

1. Cadre Général

L'article formalise l'apprentissage comme un processus d'interaction stochastique entre un apprenant et un environnement, unifiant l'apprentissage supervisé, le RL et la modélisation générative.

• État de l'apprenant ($Z_t$) : Encapsule tout le contenu de l'apprenant (paramètres, tampons/buffers, etc.).
• Processus d'interaction : L'apprenant observe $X_t$, émet un résultat $Y_t$, et met à jour son état $Z_t$ via une fonction de mise à jour $u$.
• Distribution prédictive : L'état de l'apprenant induit une distribution prédictive $q(H_{t+1:\infty} | Z_t, H_{0:t})$ sur des séquences d'interactions futures infinies. Celle-ci est dérivée en simulant le comportement futur de l'apprenant à l'aide d'une fonction de mise à jour en mode d'inférence $u'$.

2. Définition de l'Oubli via l'Auto-Cohérence

L'idée centrale est que l'oubli se produit lorsqu'une mise à jour de l'apprentissage induit un changement dans la distribution prédictive de l'apprenant qui n'est pas justifié par de nouvelles informations.

• Marginalisation simulée : Les auteurs définissent un processus où l'apprenant met à jour son état sur des données échantillonnées à partir de sa propre distribution prédictive actuelle (données introspectives). Puisque ces données ne contiennent aucune nouvelle information par rapport à l'état actuel, un apprenant qui n'oublie pas devrait rester inchangé dans son comportement.
• Condition d'auto-cohérence : Un apprenant est auto-cohérent à $k$ étapes si sa distribution prédictive avant et après la marginalisation simulée est équivalente.
• Propension à l'oubli ($\Gamma_k(t)$) : L'oubli est quantifié par la divergence (par exemple, la divergence KL) entre la distribution initiale et la distribution après la marginalisation simulée. Si les distributions divergent, la mise à jour est sujette à l'oubli.

Principales Contributions

1. Théorie Unifiée : Une formulation théorique générale pour raisonner sur la manière dont les apprenants acquièrent, conservent et perdent des capacités, indépendamment des contextes de problèmes ou des algorithmes spécifiques.
2. Définition Prédictive : Une définition précise de l'oubli comme une violation de l'auto-cohérence prédictive, la distinguant des simples changements de performance ou des mises à jour de paramètres.
3. Mesure Opérationnelle : L'introduction de la propension à l'oubli ($\Gamma_k(t)$), une métrique qui quantifie la probabilité d'oubli à n'importe quel pas de temps sans dépendre de métriques de performance spécifiques à une tâche.
4. Preuves Théoriques :
   • Non-oubli Bayésien : Preuve que les mises à jour bayésiennes exactes satisfont la condition d'auto-cohérence et donc n'oublient pas (Théorème 5.1).
   • Dégradation des Modèles Génératifs : Une explication tautologique de la raison pour laquelle les modèles génératifs se dégradent lorsqu'ils sont entraînés sur leurs propres sorties synthétiques (effondrement du modèle / Model Collapse), en présentant cela comme une conséquence inévitable de l'oubli lors de la marginalisation simulée.
5. Validation Empirique : Expériences exhaustives à travers la classification, la régression, la modélisation générative, le CL et le RL, démontrant que l'oubli est omniprésent et joue un rôle significatif dans l'efficacité de l'apprentissage.

Résultats

• Ubiquité de l'Oubli : Les expériences confirment que l'oubli est présent dans tous les contextes de deep learning, y compris dans les scénarios i.i.d. Il n'est pas seulement le résultat de changements de tâches, mais une propriété fondamentale des mises à jour basées sur le gradient.
• Apprenants Bayésiens : Les apprenants bayésiens exacts présentent une propension à l'oubli nulle, car leurs distributions prédictives postérieures forment une martingale. En revanche, les apprenants approximatifs (par exemple, l'inférence variationnelle, les estimations ponctuelles via la descente de gradient) violent l'auto-cohérence et présentent de l'oubli.
• Efficacité Non-Monotone : La relation entre l'oubli et l'efficacité de l'entraînement est non monotone. La courbe « oubli-efficacité » présente un « coude », suggérant qu'une quantité modérée d'oubli est bénéfique pour l'adaptation (compromis stabilité-plasticité), tandis qu'un oubli excessif déstabilise l'apprentissage et un oubli insuffisant ralentit l'adaptation.
• Frontières de Tâches : Dans les contextes d'apprentissage continu, la propension à l'oubli augmente brusquement aux frontières des tâches, corrélant avec les changements dans la distribution des observations.
• Dynamique du RL : Dans les réseaux Deep Q (DQN), la courbe d'oubli suit la perte de l'erreur de différence temporelle (TD loss), indiquant que l'oubli est le mécanisme utilisé par les agents pour gérer le compromis entre l'acquisition de nouvelles informations et la consolidation des connaissances existantes.

Signification et Revendications

L'article affirme établir une compréhension fondée sur des principes de l'oubli qui est indépendante du transfert arrière et des domaines d'apprentissage spécifiques. En reformulant l'oubli comme un manque d'auto-cohérence des distributions prédictives, les auteurs fournissent une base pour :

• Analyser les capacités de rétention d'information des algorithmes d'apprentissage généraux.
• Expliquer des phénomènes tels que l'effondrement des modèles génératifs et le compromis stabilité-plasticité sans recourir à des hypothèses ad hoc.
• Concevoir de futurs algorithmes qui gèrent explicitement l'oubli comme un mécanisme d'adaptation efficace.

Les auteurs soulignent que leur travail ne propose pas un nouvel algorithme spécifique pour prévenir l'oubli, mais offre plutôt un prisme théorique pour comprendre pourquoi l'oubli se produit et comment il impacte la dynamique de l'apprentissage. Ils postulent que « l'oubli est partout » car il est une conséquence inhérente de la manière dont les systèmes adaptatifs mettent à jour leurs croyances en l'absence d'inférence bayésienne exacte.