Résumé technique : MoRe : Représentations modulaires pour l'apprentissage continu principé de représentations sur des données séquentielles

1. Définition du problème

L'article aborde le défi de l'apprentissage continu (CL), spécifiquement le problème de l'oubli catastrophique lorsque les modèles s'adaptent à de nouvelles données de manière séquentielle. Les auteurs soutiennent que les méthodes CL existantes (supervisées et non supervisées) reposent largement sur des stratégies heuristiques — telles que des contraintes de paramètres, la répétition, la distillation ou l'isolement architectural — pour décider quoi préserver et quoi mettre à jour. Ces approches traitent souvent la décision de « quoi mettre à jour » comme un problème au niveau de la tâche ou du paramètre plutôt que comme un problème représentationnel.

Le problème central identifié est que les tâches nécessitent des représentations distinctes mais structurées, qui peuvent être mises à jour de manière sélective sans perturber les connaissances existantes. Cependant, les méthodes actuelles manquent d'un critère principé ancré dans la structure intrinsèque des données pour déterminer quelles parties d'une représentation doivent être réutilisées ou remplacées. L'article postule que pour les données séquentielles, les dépendances à retard temporel fournissent un signal naturel pour révéler l'organisation intrinsèque des données, montrant comment des représentations fondamentales donnent naissance à des représentations spécifiques.

2. Méthodologie : Cadre MoRe

Les auteurs proposent MoRe (Modular Representations), un cadre pour l'apprentissage continu principé de représentations. Contrairement aux méthodes qui allouent la modularité au niveau architectural (par exemple, des réseaux séparés par tâche), MoRe identifie la modularité au sein de la représentation elle-même.

2.1 Modèle génératif et hypothèses

MoRe suppose que les données sont générées par un processus hiérarchique où des variables latentes $Z_t$ sont organisées en $d$ couches ($Z^1_t, \dots, Z^d_t$) :

• Hiérarchie : Les couches supérieures encodent des connaissances fondamentales et agnostiques au domaine (par exemple, des principes physiques), tandis que les couches inférieures capturent des informations spécialisées et spécifiques au domaine.
• Dépendances unidirectionnelles à retard temporel : Les effets inter-couches s'écoulent de manière unidirectionnelle des couches fondamentales vers les couches spécifiques avec un retard temporel (par exemple, $Z^i_t$ dépend de $Z^j_{t-\tau}$ où $j < i$). Les dépendances inter-couches instantanées sont interdites.
• Dépendances intra-couches : Les dépendances au sein d'une même couche sont illimitées.

2.2 Garanties théoriques (Identifiabilité)

Une contribution centrale est la preuve que cette structure générative spécifique permet l'identifiabilité du processus latent :

• Théorème 1 (Identifiabilité des variables latentes) : Sous des conditions de densité lisse et de variabilité suffisante, les relations instantanées garantissent que les variables latentes ne peuvent être mélangées qu'au sein d'une même couche, et non entre couches.
• Théorème 2 (Identifiabilité de l'ordre hiérarchique) : Les effets inter-couches unidirectionnels à retard temporel contraignent les permutations admissibles des couches. La hiérarchie est identifiable jusqu'à un « ordre compatible » (un ordre qui ne renverse pas les véritables effets à retard temporel).
• Corollaire 1 : En combinant ces éléments, le processus latent complet est identifiable jusqu'à des indéterminations intra-couches et un ordre hiérarchique compatible. Cela transforme les modules de constructions heuristiques en objets bien définis, permettant des décisions principées sur la réutilisation et l'expansion.

2.3 Algorithme d'adaptation

MoRe emploie une procédure d'adaptation en deux phases pour les nouveaux ensembles de données $D_k$ :

1. Ajustement et évaluation (Inférence uniquement) :

   • Les nouvelles données sont projetées dans le système de coordonnées existant en utilisant l'encodeur précédent $f_{k-1}$.
   • Score d'auto-cohérence : Chaque module existant est noté ($a_j$) en fonction de la préservation de sa structure générative supposée (autocorrélation temporelle et indépendance conditionnelle par rapport aux résidus des autres modules) dans les nouvelles données.
   • Analyse des résidus : Le résidu de reconstruction dans l'espace d'observation est analysé pour identifier de nouvelles coordonnées candidates ($V_{new}$) orthogonales à la base existante, mettant en évidence une structure manquante.

2. Mise à jour sélective :

   • Mécanisme de porte : Chaque module (existant et nouveau candidat) est associé à une porte Hard Concrete ($g_j$). Le score d'auto-cohérence $a_j$ initialise l'a priori de la porte (un $a_j$ élevé $\rightarrow$ logit positif ; un $a_j$ faible $\rightarrow$ logit négatif).
   • Alignement : Une matrice d'alignement apprenable $T$ (initialisée à l'identité) permet de petits ajustements de coordonnées pour les modules réutilisés sans réentraînement complet.
   • Fonction objectif : La perte combine l'ajustement aux données (vraisemblance du changement de variables), un régularisateur d'alignement ($\|T - I\|_F^2$) et des pénalités de parcimonie sur les portes ($L_0$) et les nouveaux blocs de transition ($J_{new}$).
   • Engagement : À la fin de l'entraînement, les portes sont binarisées. Les modules avec $g_j=0$ sont désactivés (mais conservés dans la bibliothèque), et les nouveaux modules avec $g_j=1$ sont ajoutés.

3. Contributions clés

1. Cadre MoRe : Une méthode pour décomposer les représentations en une hiérarchie de modules fondamentaux et spécifiques qui reflète le processus de génération de données plutôt que les frontières de tâches.
2. Garanties d'identifiabilité : Des preuves théoriques montrant que, sous des dépendances inter-couches à retard temporel, la structure modulaire hiérarchique est identifiable, fournissant une base principée pour décider quels modules réutiliser ou étendre.
3. Procédure d'adaptation : Un algorithme en deux phases qui interprète les nouvelles données à travers les modules existants, les note pour leur cohérence, et les aligne, conserve ou étend de manière sélective en utilisant des portes apprenables.
4. Validation empirique : Des démonstrations sur des benchmarks synthétiques et des données d'activation de modèles de langage à grande échelle (LLM) réels montrant une structure hiérarchique interprétable et une amélioration des compromis plasticité-stabilité.

4. Résultats expérimentaux

4.1 Benchmarks synthétiques

• Identifiabilité (S-RQ1) : MoRe a récupéré avec succès des facteurs latents à travers des dimensions variables (jusqu'à 128) et des profondeurs (jusqu'à 4 couches) dans des contextes linéaires et non linéaires, atteignant de hauts coefficients de corrélation moyenne (MCC > 0,9).
• Plasticité-Stabilité (S-RQ2) : Dans des scénarios de transition impliquant de nouveaux facteurs ou des facteurs manquants, MoRe a atteint un oubli proche de zéro ou négatif (améliorant la récupération des anciens facteurs) tout en maintenant une plasticité comparable au fine-tuning. Des études d'ablation ont confirmé que la matrice d'alignement $T$ est cruciale pour protéger les anciennes représentations.
• Allocation des facteurs (S-RQ3) : MoRe a correctement acheminé les facteurs vers des modules réutilisés ou nouveaux. Dans les cas sélectifs « difficiles » où les anciens et nouveaux facteurs se chevauchaient partiellement, la précision des portes est tombée à 0,5, reflétant une ambiguïté inhérente, mais cela a nécessité des pénalités de parcimonie à la fois sur les anciennes et les nouvelles portes pour fonctionner correctement.

4.2 Activations LLM réelles

• Émergence hiérarchique (RW-RQ1) : Appliqué aux activations de Pythia-1.4B et Gemma-2-9B sur des ensembles de données comme ArXiv, AMPS et Wikipedia, MoRe a révélé une structure « du large au spécifique ».
  • Concentration conceptuelle : Sur l'ensemble de données AMPS (programme de mathématiques), les couches inférieures ($L_0$) ont montré une concentration conceptuelle plus élevée (spécificité aux niveaux de difficulté) que les couches supérieures, s'alignant sur la hiérarchie du programme.
  • Liens inter-couches : Les liens extraits de la matrice B ont montré des transitions de concepts fondamentaux (par exemple, l'arithmétique) vers des concepts spécifiques (par exemple, l'algèbre linéaire) dans AMPS, et des mathématiques abstraites vers des domaines appliqués dans ArXiv.
• Efficacité des étiquettes (RW-RQ2) : Des sondes linéaires entraînées sur des représentations MoRe figées ont surpassé les bases PCA dans des configurations few-shot. Par exemple, MoRe a atteint des performances équivalentes à PCA avec 256 dimensions en utilisant uniquement 64 dimensions d'une seule couche et la moitié des données étiquetées.

5. Signification et revendications

L'article affirme que le défi central de l'apprentissage continu est représentationnel. En ancrant le processus d'adaptation dans la structure identifiable des données (spécifiquement, les dépendances inter-couches à retard temporel), MoRe offre une alternative principée à l'isolement heuristique basé sur les tâches ou les paramètres.

• Fondement principé : Le cadre suggère que l'adaptation continue ne devrait pas être pilotée par les étiquettes de tâches, mais par l'organisation intrinsèque des données, permettant la réutilisation de blocs de construction fondamentaux tout en étendant les composants spécifiques.
• Interprétabilité : La hiérarchie apprise est interprétable, reflétant la transition des principes généraux vers les applications spécifiques, comme en témoigne l'alignement avec des hiérarchies définies par l'humain dans des ensembles de données réels.
• Efficacité : La méthode démontre que des représentations riches, une fois apprises, permettent une adaptation en aval efficace en termes d'étiquettes, ne nécessitant que quelques échantillons pour assembler des représentations pour de nouvelles tâches.

Les auteurs restent modestes concernant les limites, notant que l'implémentation actuelle utilise des instantiations linéaires et que les hypothèses théoriques (retards unidirectionnels, parcimonie) ne peuvent être satisfaites que de manière approximative en pratique. Ils considèrent ce travail comme une étape fondamentale vers un système complet d'apprentissage continu, laissant la stabilité à long horizon et la mise à l'échelle non linéaire pour des recherches futures.