Résumé Technique : Résolution Préemptive de Problèmes Futurs via la Préjouissance Multitâche

Énoncé du Problème

Les humains possèdent la capacité de poursuivre une vaste variété de tâches mais sont généralement contraints à n'en exécuter que quelques-unes simultanément. Un défi central tant en sciences cognitives qu'en intelligence artificielle consiste à expliquer comment les agents généralisent à des tâches nouvelles sans nécessiter une expérience extensive nouvelle sur la tâche. Les approches traditionnelles tombent dans deux extrêmes :

1. Planification basée sur un modèle : Offre une flexibilité maximale en utilisant un modèle interne pour planifier des chemins vers des objectifs arbitraires, mais souffre de coûts computationnels prohibitifs au moment de la décision.
2. Apprentissage sans modèle : Met en cache efficacement les prédictions (par exemple via l'apprentissage Q) mais manque de flexibilité ; changer une tâche nécessite souvent de réapprendre les poids à partir de zéro.

Les approches intermédiaires, telles que la « planification en arrière-plan » hors ligne (par exemple Dyna), compilent les connaissances basées sur un modèle en prédictions mises en cache. Cependant, ces méthodes mettent généralement en cache des prédictions pour une seule tâche. Par conséquent, elles restent bloquées par la nécessité de relancer la planification ou d'accumuler une nouvelle expérience pour chaque nouvelle tâche, échouant à exploiter les informations structurelles partagées entre des objectifs co-occurrents mais non poursuivis. L'article postule que les humains surmontent cela en apprenant de manière préemptive des solutions à des tâches accessibles mais non poursuivies, une capacité absente des algorithmes standards actuels.

Méthodologie : Préjouissance Multitâche

Les auteurs formalisent la Préjouissance Multitâche, un algorithme qui intègre la simulation contrefactuelle dans le processus d'apprentissage pour construire une représentation prédictive soutenant une performance de tâche rapide et adaptative.

Mécanisme Central

La Préjouissance Multitâche opère sur l'hypothèse que les agents peuvent exploiter l'expérience d'une tâche ($g$) pour « préjouer » (simuler contrefactuellement) la poursuite d'autres objectifs accessibles ($g'$). Ce processus implique :

1. Collecte d'Expérience : Un agent expérimente une trajectoire $\tau$ tout en poursuivant un objectif spécifique $g$.
2. Simulation Contrefactuelle (Préjouissance) : Lors d'une rejoue hors ligne (par exemple, une pensée spontanée), l'agent simule des trajectoires pour des objectifs alternatifs accessibles $g'$ en partant d'états situés dans la trajectoire originale.
3. Apprentissage Conservateur Tous-Objectifs : L'algorithme met à jour la fonction de valeur non seulement pour l'objectif poursuivi $g$, mais aussi pour les objectifs simulés $g'$.
   • Q($\lambda$ Hors-Tâche : Pour gérer la divergence entre les actions prises pour $g$ et les actions optimales pour $g'$, les auteurs adaptent le Q($\lambda$) de Peng. Ils introduisent un mécanisme de coupure de trace où la trace d'éligibilité est modulée en fonction de ce que l'action collectée s'aligne ou non avec l'action gourmande pour l'objectif hors-tâche $g'$. Si elles divergent, la trace est coupée, empêchant la propagation d'estimations de valeur incorrectes.
   • Régularisation Conservatrice : Pour prévenir la surestimation des valeurs Q pour les actions absentes des données collectées (un problème courant dans l'apprentissage hors-politique), un régularisateur conservateur (similaire au Conservative Q-Learning) est appliqué. Cela pénalise les valeurs Q pour les actions non vues dans la trajectoire, assurant que l'agent ne se repose pas sur des estimations gonflées pour des chemins hors-tâche inexplorés.

Implémentation

La méthode est implémentée au sein de l'apprentissage par renforcement profond utilisant des réseaux de neurones conditionnés par l'objectif. Le réseau prend l'état et un paramètre d'objectif comme entrée, lui permettant d'apprendre une structure partagée à travers plusieurs tâches. L'algorithme utilise un modèle de monde oracle pour la simulation (dans les expériences d'IA) et est testé par rapport à des bases de référence incluant l'apprentissage Q, les Fonctions Successeurs (SF), la Rejoue d'Expérience à Rebours (HER) et Dyna.

Contributions Clés

1. Formalisation Théorique : L'article définit la Préjouissance Multitâche comme une théorie évolutive de l'apprentissage contrefactuel humain, comblant le fossé entre l'efficacité sans modèle et la flexibilité basée sur un modèle.
2. Innovation Algorithmique : Il introduit un mécanisme spécifique pour l'apprentissage « hors-tâche » qui combine la simulation contrefactuelle avec une estimation de valeur conservatrice, permettant aux agents d'apprendre sur des objectifs non poursuivis sans expérience directe.
3. Preuves Comportementales Humaines : Les auteurs présentent une série d'expériences comportementales démontrant que les humains exhibent des comportements cohérents avec la Préjouissance Multitâche, spécifiquement la simulation préemptive d'objectifs hors-tâche.
4. Performance en IA : L'algorithme s'avère surpasser significativement les bases de référence de l'état de l'art dans la généralisation à de nouveaux environnements et tâches, en particulier dans des domaines complexes et partiellement observables.

Résultats Expérimentaux

Expériences Comportementales Humaines

Cinq expériences ont été menées dans un monde en grille (JaxMaze) et un domaine Minecraft 2D (Craftax) pour tester quatre prédictions spécifiques :

1. Réutilisation Partielle de Chemins : Les humains réutilisaient partiellement des chemins d'entraînement pour de nouvelles tâches même lorsqu'ils étaient sous-optimaux en longueur, mais le faisaient significativement plus vite (temps de réponse plus faibles) que lorsqu'ils planifiaient de nouveaux chemins. Cela suggère une connaissance mise en cache plutôt qu'une planification en temps réel.
2. Résistance aux Raccourcis : Même lorsqu'un chemin « raccourci » plus court devenait disponible, les humains continuaient fréquemment à réutiliser le chemin d'entraînement plus long et pré-joué, indiquant un biais vers les solutions mises en cache.
3. Nouvelles Positions de Départ : Les humains étaient plus rapides à résoudre des tâches à partir de nouvelles positions de départ si ces positions étaient des points intermédiaires sur un chemin précédemment expérimenté, suggérant la propagation de connaissances contrefactuelles vers de nouveaux états.
4. Sélection Rapide de Comportements Nouveaux : Les humains étaient plus rapides à initier des actions pour de nouveaux objectifs en partant d'un « point de jonction » sur un chemin d'entraînement par rapport au départ d'un emplacement complètement nouveau, même lorsque l'objectif était inconnu pendant l'entraînement.

Dans toutes les expériences, les algorithmes standards (apprentissage Q, SF, HER) ont échoué à égaler les taux de réussite humains ou les schémas de réutilisation de chemins. Seule la Préjouissance Multitâche a réussi à reproduire le schéma humain de taux de réussite élevés combinés à une forte préférence pour la réutilisation de chemins antérieurs.

Simulations en IA

Dans le domaine Craftax, des agents ont été entraînés sur un ensemble d'environnements et évalués sur 10 000 environnements uniques et invisibles.

• Généralisation : La Préjouissance Multitâche a démontré des performances de généralisation supérieures par rapport à Dyna et aux bases de référence sans modèle (QL+1-step, QL+SF).
• Évolutivité : À mesure que le nombre d'environnements d'entraînement augmentait, les performances de généralisation de la Préjouissance Multitâche continuaient de s'améliorer, tandis que celles de Dyna et des méthodes sans modèle atteignaient un plateau.
• Co-occurrence de Sous-tâches : L'algorithme exploitait efficacement la structure de la co-occurrence des sous-tâches (par exemple, avoir besoin d'une pioche avant de miner de la pierre), apprenant une fonction Q « a priori » qui généralisait bien à de nouveaux environnements partageant ces régularités structurelles.

Signification et Revendications

L'article revendique que la Préjouissance Multitâche fournit une explication parcimonieuse de la généralisation humaine : les gens n'apprennent pas seulement des tâches spécifiques mais simulent et mettent en cache de manière préemptive des solutions pour des objectifs hors-tâche accessibles. Ce mécanisme permet un comportement flexible sans le coût computationnel de la planification au moment de la décision.

Pour l'intelligence artificielle, ce travail démontre que doter les agents de la capacité de simulation contrefactuelle préemptive améliore considérablement leur aptitude à généraliser à de nouveaux environnements multitâches complexes. Les auteurs soutiennent que cette approche offre une voie viable vers une adaptabilité plus humaine en IA, en particulier dans des domaines où les tâches partagent une co-occurrence structurelle (par exemple, robotique, navigation).

L'article reste modeste quant à sa portée, notant que :

• La preuve de la préjouissance humaine est indirecte, dérivée de corrélations de temps de réponse et de schémas comportementaux.
• Les simulations en IA reposaient sur des modèles de monde oracles, alors que les agents du monde réel doivent apprendre ces modèles.
• Les expériences actuelles sont limitées à des environnements de jeux vidéo, bien que les auteurs suggèrent une applicabilité à des tâches d'interaction avec des objets dans le monde réel (par exemple, dans le domaine Habitat).

En fin de compte, ce travail positionne la Préjouissance Multitâche comme un concept unificateur qui explique l'apprentissage contrefactuel humain et offre une stratégie algorithmique puissante pour améliorer la généralisation chez les agents artificiels.