🤖 machine learning

TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning

Ce papier propose TSN-Affinity, une nouvelle méthode d'apprentissage par renforcement hors ligne continu qui exploite des TinySubNetworks et un Decision Transformer pour permettre une paramétrisation spécifique à la tâche et un partage de connaissances piloté par la similarité, offrant ainsi une alternative économe en mémoire aux stratégies basées sur la répétition qui atténue efficacement l'oubli catastrophique dans des tâches de contrôle discrètes et continues.

Auteurs originaux : Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment jouer à des jeux vidéo et déplacer un bras robotique. Le hic ? Vous ne pouvez pas laisser le robot s'entraîner dans le monde réel car c'est trop coûteux ou dangereux. À la place, vous devez lui apprendre à l'aide d'une bibliothèque d'anciennes vidéos (ensembles de données) montrant des humains accomplissant ces tâches.

Maintenant, imaginez que vous devez enseigner à ce robot un nouveau jeu chaque semaine. Le grand problème dans l'« Apprentissage par Renforcement Offline Continu » (CORL) est l'oubli. Si vous enseignez au robot à jouer à Breakout, il pourrait devenir si bon à cela qu'il oublie comment jouer à Pong. Si vous essayez de lui enseigner Pong sans supprimer les anciennes données, le robot se confond et gâche les deux jeux.

Ce papier présente une nouvelle méthode appelée TSN-Affinity pour résoudre ce problème. Voici comment elle fonctionne, en utilisant des analogies simples :

1. L'Ancienne Méthode : Le Problème du « Un Seul Grand Cerveau »

La plupart des méthodes précédentes tentaient d'enseigner au robot en utilisant un seul cerveau géant et partagé. Pour prévenir l'oubli, elles sauvegardaient de petits extraits d'anciennes vidéos (rejeu) et les mélangeaient avec de nouvelles.

Le Défaut : C'est comme essayer d'apprendre le français tout en parlant anglais, puis d'apprendre l'espagnol tout en parlant les deux. Finalement, les langues se mélangent, ou vous avez besoin d'une immense bibliothèque de vieilles bandes pour tout garder clair, ce qui prend trop de place.

2. La Nouvelle Méthode : TSN-Affinity (La « Boîte à Outils Modulaire »)

Les auteurs proposent une approche plus intelligente utilisant des TinySubNetworks (Sous-Réseaux Miniatures). Imaginez que le cerveau du robot n'est pas un gros bloc unique, mais une boîte à outils avec de nombreux petits tiroirs spécialisés.

Tiroirs Spécialisés (Sous-Réseaux) : Lorsque le robot apprend une nouvelle tâche (comme Breakout), il ne réécrit pas tout son cerveau. Au lieu de cela, il ouvre un tiroir spécifique et minuscule et le remplit des outils exacts nécessaires pour ce jeu. Une fois ce tiroir refermé, il reste exactement tel quel. Si vous apprenez un nouveau jeu plus tard, vous ouvrez un autre tiroir. Cela signifie que le robot n'oublie jamais les anciens jeux car les anciens outils sont verrouillés et intouchés.

3. L'Ingrédient Secret : Le « Routage d'Affinité » (Le Bibliothécaire Intelligent)

Si chaque nouvelle tâche obtenait son propre tiroir tout neuf, la boîte à outils deviendrait énorme et désordonnée. L'innovation du papier est un Bibliothécaire Intelligent (appelé Mécanisme de Routage) qui décide quel tiroir utiliser.

Avant que le robot ne commence à apprendre une nouvelle tâche, le Bibliothécaire demande : « Cette nouvelle tâche ressemble-t-elle à l'une des anciennes tâches pour lesquelles nous avons déjà des outils ? »

Le Bibliothécaire vérifie deux choses :

Affinité des Actions (Les Mouvements) : « Les mouvements requis pour ce nouveau jeu ressemblent-ils aux mouvements que nous connaissons déjà ? » (Par exemple : Si le nouveau jeu nécessite de sauter, et que nous avons déjà un tiroir « Saut », peut-être pouvons-nous utiliser celui-ci).
Affinité Latente (Le Ressenti) : « La nouvelle tâche « ressemble-t-elle » aux anciennes à l'intérieur de l'esprit du robot ? » (Par exemple : Les motifs du jeu ressemblent-ils, même si les graphismes sont différents ?)

La Décision :

Si elles sont similaires : Le Bibliothécaire dit : « Super ! Réutilisons le tiroir existant. » Le robot utilise les anciens outils (qui sont figés et sûrs) et ajoute simplement quelques nouveaux outils minuscules par-dessus. Cela économise de l'espace et améliore les performances.
Si elles sont différentes : Le Bibliothécaire dit : « Non, c'est trop différent. » Il ouvre un tiroir entièrement neuf et vide pour la nouvelle tâche.

4. Les Résultats : Jeux Vidéo vs Bras Robotiques

Les auteurs ont testé cela sur deux défis très différents :

Les Jeux Vidéo (Atari) : Ce sont des jeux rapides, basés sur des pixels, avec des boutons simples (actions discrètes).
- Résultat : La méthode a été un énorme succès. L'approche « Tiroirs Spécialisés » a complètement empêché le robot d'oublier les anciens jeux. Le « Bibliothécaire Intelligent » a aidé le robot à performer encore mieux en réutilisant les bons outils, correspondant souvent aux performances d'un robot entraîné sur un seul jeu à la fois.
Le Bras Robotique (Panda) : Cela implique de déplacer un bras physique dans un espace 3D avec des mouvements lisses et continus (comme ramasser une tasse).
- Résultat : C'était beaucoup plus difficile. Le « Bibliothécaire Intelligent » avait plus de mal à décider quels outils réutiliser car les mouvements étaient si complexes et variés. Bien que la méthode ait encore mieux fonctionné que les anciennes méthodes de « Un Seul Grand Cerveau », elle a montré que réutiliser des outils dans des tâches physiques complexes est délicat. Le robot devait équilibrer le maintien des anciennes compétences en sécurité tout en apprenant de nouveaux mouvements physiques difficiles.

Résumé

TSN-Affinity revient à donner à un étudiant un ensemble de cahiers séparés et étiquetés plutôt qu'un seul manuel géant.

Lorsqu'ils apprennent une nouvelle matière, ils ouvrent un nouveau cahier.
Si la nouvelle matière est similaire à une ancienne, ils vérifient s'ils peuvent utiliser les anciennes notes comme base (en les réutilisant) plutôt que de repartir de zéro.
Cela garantit qu'ils n'oublient jamais ce qu'ils ont appris dans le passé, et qu'ils ne se confondent pas en mélangeant différentes matières.

Le papier prouve que pour apprendre à partir d'anciennes données sans gâcher le passé, avoir un système qui sait quand réutiliser d'anciennes connaissances et quand repartir de zéro est bien meilleur que d'essayer simplement de mémoriser tout dans un seul gros tas.

1. Énoncé du problème

L'article aborde l'Apprentissage par Renforcement Off-line Continu (CORL), un cadre où un agent doit apprendre une séquence de tâches à partir de jeux de données statiques et pré-collectés, sans interagir avec l'environnement. Ce scénario se présente dans des domaines où l'interaction en direct est trop coûteuse, risquée ou impossible (par exemple, la robotique, la santé).

Le CORL fait face à une « double difficulté » :

Défis du RL Off-line : Gérer les décalages de distribution entre les données d'entraînement et l'évaluation, et éviter les actions hors distribution (Out-of-Distribution, OOD).
Défis de l'Apprentissage Continu : Empêcher l'oubli catastrophique des tâches précédemment apprises tout en acquérant de nouvelles tâches, sans accès aux données passées sauf si elles sont explicitement stockées.

Les solutions existantes reposent fortement sur les méthodes basées sur la répétition (stockage et réutilisation d'échantillons passés), ce qui entraîne une surcharge mémoire et souffre de décalages de distribution. À l'inverse, les méthodes architecturales (qui allouent des paramètres spécifiques aux tâches) ont montré des promesses dans l'apprentissage supervisé mais restent sous-explorées en CORL en raison des complexités de la prise de décision séquentielle et des décalages de distribution induits par la politique.

2. Méthodologie : TSN-Affinity

Les auteurs proposent TSN-Affinity, une nouvelle approche architecturale qui combine les TinySubNetworks (TSN) avec une colonne vertébrale de Decision Transformer (DT). L'innovation centrale est une stratégie de réutilisation des paramètres pilotée par la similarité qui achemine les tâches vers des copies spécifiques du modèle en fonction de l'« affinité ».

Composants principaux :

Colonne vertébrale Decision Transformer : La méthode utilise un DT pour reformuler le RL comme un problème de modélisation de séquences supervisé. Cela contraint naturellement les prédictions à la distribution empirique du jeu de données, atténuant les problèmes OOD.
- Atari (Discrète) : Entraîné avec une perte d'entropie croisée sur les logits d'action.
- Panda (Continue) : Entraîné avec une erreur quadratique moyenne masquée sur les actions continues.
Sous-réseaux spécifiques aux tâches et épars : Au lieu d'entraîner un modèle dense unique, le système maintient plusieurs copies de modèle. Pour chaque tâche, un masque binaire épars est appris sur les poids d'une copie spécifique.
- Protection des poids : Une fois qu'un poids est alloué à une tâche, il est « gelé » et protégé contre les gradients lors de l'entraînement des tâches ultérieures.
- Réutilisation : Les nouvelles tâches peuvent « réactiver » des poids gelés de tâches précédentes si elles sont jugées similaires, en les utilisant comme composants fonctionnels fixes plutôt que de les réentraîner.
Acheminement par affinité (La nouveauté) : Avant d'entraîner une nouvelle tâche $T_t$ $T_{t}$ , le système décide s'il doit réutiliser une copie de modèle existante ou en créer une nouvelle. Cette décision est basée sur trois modes d'acheminement :
1. Affinité d'action ( $d_A$ ) : Mesure dans quelle mesure la politique (sous-réseau) d'une tâche source prédit les actions des trajectoires de la nouvelle tâche (en utilisant l'entropie croisée pour Atari, MSE pour Panda).
2. Affinité latente ( $d_L$ ) : Mesure la similarité des représentations internes. Elle compare les statistiques latentes (moyenne et variance des encodages d'observation) de la nouvelle tâche avec les statistiques stockées des tâches sources en utilisant la divergence KL symétrique.
3. Affinité hybride ( $d_H$ ) : Une combinaison pondérée des affinités d'action et latente.

Si le score d'affinité entre la nouvelle tâche et une tâche source est inférieur à un seuil $\tau$ , la nouvelle tâche est assignée à la copie de cette source. Sinon, une nouvelle copie est créée.

Variantes étudiées :

TSN-Affinity : La méthode complète avec acheminement basé sur l'affinité.
TSN-ReplayKL : Remplace l'acheminement par affinité par une heuristique basée sur la similarité au niveau de l'observation (divergence KL entre les mémoires de répétition).
TSN-Core : Supprime l'acheminement entièrement ; utilise une seule copie de modèle évolutive avec des sous-réseaux épars (pas de sélection de copie).

3. Contributions clés

Cadre TSN-Affinity : Une nouvelle méthode CORL qui formule le transfert de connaissances comme un problème d'acheminement sur des sous-réseaux épars et spécifiques aux tâches, sélectionnant et réutilisant dynamiquement les paramètres basés sur une similarité consciente du RL.
Mécanisme d'acheminement par affinité : Un mécanisme spécifique qui exploite des métriques au niveau de l'action (compatibilité de la politique) et au niveau de la représentation (similarité latente) pour décider de la réutilisation des paramètres, allant au-delà de la simple répétition ou de l'allocation aléatoire.
Benchmarks complets : L'introduction de deux benchmarks d'apprentissage par renforcement off-line continu couvrant :
- Contrôle discret visuel : Une suite de jeux Atari (Breakout, Alien, Atlantis, Boxing, Centipede).
- Manipulation robotique continue : Environnements Panda-gym (Reach, Push, Pick-and-Place) utilisant un bras Franka Emika Panda.
Validation empirique : Des expériences extensives démontrant que les approches architecturales peuvent complètement atténuer l'oubli et que la réutilisation pilotée par la similarité surpasse significativement les bases de référence par répétition, en particulier dans des paramètres de contrôle continu hétérogènes.

4. Résultats

Benchmark Atari (Contrôle discret)

Oubli : Les sous-réseaux épars (TSN-Core) ont atteint un oubli nul sur toutes les tâches. Les bases de référence denses (Naive, EWC, SI) ont souffert d'un oubli catastrophique sévère (rendements normalisés ~15-18%).
Performance : Bien que les sous-réseaux épars seuls aient éliminé l'oubli, l'acheminement par affinité a encore amélioré la performance multi-tâches.
- TSN-Affinity-A (affinité d'action) et TSN-Affinity-L (affinité latente) ont atteint ~89,7 % et ~89,6 % de performance normalisée, respectivement.
- Cela a surpassé la meilleure base de référence dense (Cumulative Replay à 76,2 %) et s'est approché de la performance des modèles entraînés sur une seule tâche.
Conclusion : Dans les paramètres discrets, les sous-réseaux épars suffisent à prévenir l'oubli, et l'acheminement par affinité optimise l'utilisation de la capacité pour booster la performance.

Benchmark Panda (Contrôle continu)

Défi : Ce paramètre est significativement plus difficile en raison des espaces d'action hétérogènes et des dynamiques de contrôle continu. L'oubli nul n'était pas universel sur toutes les variantes TSN.
Efficacité de l'acheminement :
- TSN-ReplayKL (acheminement basé sur l'observation) a mal performé, pire que TSN-Core, indiquant que la similarité d'observation est insuffisante pour l'acheminement dans le contrôle continu.
- TSN-Affinity-L (affinité latente) a obtenu les meilleurs résultats avec un oubli nul et le plus faible écart moyen par rapport aux rendements cibles (0,670), surpassant Cumulative Replay (0,729).
Compromis : La meilleure performance a nécessité la création de plusieurs copies de modèle (3 copies), mettant en évidence un compromis performance-capacité. Cependant, les résultats confirment que l'affinité consciente du RL est un signal fiable pour l'acheminement dans des domaines continus complexes où les heuristiques de répétition échouent.

5. Importance et conclusion

L'article démontre que l'apprentissage continu architectural est une alternative viable et souvent supérieure aux stratégies basées sur la répétition dans le cadre du RL off-line.

Atténuation de l'oubli catastrophique : En isolant les paramètres spécifiques aux tâches dans des sous-réseaux épars, la méthode empêche efficacement les interférences destructrices.
Efficacité par rapport à la répétition : TSN-Affinity évite la surcharge mémoire et les problèmes de décalage de distribution inhérents aux mémoires tampon de répétition.
Acheminement supérieur : L'étude prouve que les scores d'affinité pertinents pour le contrôle (similarité d'action et latente) sont bien plus efficaces pour les décisions d'acheminement que la simple similarité basée sur l'observation ou les heuristiques de répétition, en particulier dans les tâches de contrôle continu.
Impact futur : Ce travail ouvre la voie à un apprentissage continu évolutif et économe en mémoire dans des domaines critiques pour la sécurité (comme la robotique) où la re-collecte de données ou l'interaction avec l'environnement n'est pas réalisable.

Les auteurs concluent que la réutilisation architecturale guidée par la similarité est une stratégie robuste pour le CORL, offrant un équilibre solide entre la rétention des connaissances passées et leur transfert vers de nouvelles tâches connexes.