🤖 machine learning

Distributional Active Inference

Cet article présente une abstraction formelle qui intègre l'inférence active dans le cadre de l'apprentissage par renforcement distributionnel, permettant un contrôle optimal à haute efficacité d'échantillonnage pour les systèmes robotiques sans nécessiter de modélisation explicite de la dynamique de transition.

Auteurs originaux : Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

Publié 2026-08-06

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à naviguer dans un monde chaotique et imprévisible. Pour y parvenir, le robot a besoin de deux superpouvoirs : il doit être capable d'organiser un déluge de données sensorielles (comme ce qu'il voit et entend) en quelque chose d'utile, et il doit être capable de planifier loin dans l'avenir pour prendre des décisions intelligentes. Pendant des décennies, le domaine de l'Apprentissage par Renforcement (RL) a été la méthode de référence pour apprendre aux machines comment planifier. Voyez le RL comme un étudiant qui apprend par essais et erreurs, tentant de maximiser un score en devinant quelles actions mènent aux meilleures récompenses. Cependant, cet étudiant est souvent inefficace ; il doit essayer les choses des millions de fois pour apprendre, et il éprouve des difficultés lorsque le monde est trop complexe pour être simulé parfaitement dans sa tête.

Entrez dans l'Inférence Active, une théorie inspirée par le fonctionnement des cerveaux biologiques. Au lieu de simplement deviner, le cerveau est perçu comme une machine à prédiction qui cherche constamment à minimiser la surprise de ce qu'elle expérimente. Il planifie en imaginant différents futurs et en choisissant celui qui semble le plus « certain » ou le moins surprenant. Bien que cela semble puissant, l'Inférence Active traditionnelle est restée coincée dans un coin : elle nécessite généralement que le robot construise une carte parfaite et détaillée du fonctionnement du monde (un « modèle du monde ») avant de pouvoir planifier. Construire ces cartes est coûteux en termes de calcul et souvent impossible pour des tâches complexes. La grande question que les scientifiques se posent est la suivante : peut-on obtenir les bénéfices d'une planification intelligente de l'Inférence Active sans le fardeau lourd de la construction d'une carte parfaite du monde ?

Cet article introduit une nouvelle méthode appelée Inférence Active Distributionnelle (DAIF) qui répond par l'« oui ». Les chercheurs proposent un raccourci ingénieux. Au lieu d'essayer de prédire exactement ce qui va se passer ensuite (comme une température ou une position spécifique), la DAIF se concentre sur la prédiction de l'ensemble de la gamme des futurs possibles et de leurs probabilités, tout à la fois. Ils appellent cela l'apprentissage « distributionnel ». Imaginez qu'au lieu de deviner s'il pleuvra demain, vous appreniez les prévisions météorologiques complètes : 20 % de chances de bruine, 50 % de chances de soleil et 30 % de chances d'orage. En apprenant cette image complète des possibilités, le robot peut planifier efficacement sans avoir besoin de connaître les lois exactes de la physique régissant la pluie.

L'article suggère qu'en combinant l'approche de l'« image complète » de l'apprentissage distributionnel avec la logique de « minimisation de la surprise » de l'Inférence Active, les robots peuvent apprendre beaucoup plus vite et plus efficacement. Les auteurs ont testé cette idée dans des simulations informatiques. Dans des jeux simples de type « monde de grille » (grid-world), ils ont constaté que leur nouvelle méthode, la DAIF, pouvait résoudre des problèmes que d'autres méthodes ne parvenaient pas à résoudre, surtout lorsque les problèmes devenaient plus difficiles et nécessitaient de regarder plus loin dans l'avenir. Dans des simulations plus complexes, proches du monde réel, impliquant des robots mous et un contrôle par vidéo, la DAIF a systématiquement surpassé les meilleures méthodes actuelles, apprenant à contrôler ces systèmes avec moins de tentatives. Les résultats suggèrent que cette approche permet aux agents de gérer des environnements complexes avec une puissance de calcul limitée, tout comme le fait un cerveau humain, en organisant l'information efficacement plutôt qu'en tentant par force brute une simulation parfaite de la réalité.

Résumé Technique : Inférence Active Distributionnelle

Énoncé du Problème

Le contrôle optimal dans les environnements robotiques complexes fait face à deux défis entrelacés : l'organisation efficace de l'information sur l'état sensoriel et la planification d'actions à long terme. Si l'Apprentissage par Renforcement (RL) traite la planification, il souffre souvent d'une inefficacité d'échantillonnage car il se concentre généralement uniquement sur cette dernière. L'Inférence Active (AIF), une théorie des processus expliquant l'intelligence biologique, traite les deux en minimisant l'Énergie Libre Attendue (EFE) via un cycle perception-action. Cependant, les applications actuelles de l'AIF en intelligence artificielle sont largement restreintes aux approches basées sur des modèles qui nécessitent l'apprentissage de dynamiques de transition explicites, ce qui est coûteux en termes de calcul et souvent irréalisable pour une simulation directe de haute fidélité.

Le problème central que cet article traite est la manière d'intégrer les avantages de performance de l'Inférence Active dans un cadre qui ne nécessite pas l'apprentissage d'un modèle de transition explicite, rendant ainsi l'AIF accessible aux contextes sans modèle (model-free) et distributionnels.

Méthodologie

Les auteurs proposent un cadre théorique et algorithmique en trois étapes pour jeter un pont entre l'Inférence Active et le RL Distributionnel :

1. Formulation Rigoureuse de l'Inférence Active

Les auteurs redérivent l'objectif de l'AIF à partir des principes fondamentaux de l'inférence bayésienne et causale. En appliquant le calcul de "do-calculus" à la configuration standard de l'inférence variationnelle, ils démontrent que l'objectif standard de l'AIF admet une forme équivalente plus simple.

Ils montrent qu'intervenir sur l'état observable $X$ avec une distribution désirée $P_R(X)$ (faisant office de récompense) déconnecte l'observable des variables latentes $(Y, S)$ sous la règle du produit.
Cela conduit à un ELBO (Borne Inférieure de l'Évidence) simplifié où l'objectif se compose d'un terme de reconstruction, d'un terme d'entropie de politique, et d'un terme maximisant la log-probabilité de la distribution d'état désirée sous la trajectoire prédite.
Crucialement, cette formulation révèle que l'AIF peut être vue comme une forme de codage prédictif où l'agent optimise un modèle de monde pour s'ajuster aux résultats désirés, sans nécessairement nécessiter une inférence complexe des latents a posteriori pour chaque étape.

2. Apprentissage par Renforcement de Type "Push-Forward"

Pour intégrer l'AIF sans modélisation de transition explicite, les auteurs introduisent le Push-Forward Reinforcement Learning, un cadre théorique qui généralise le RL Distributionnel.

Mesures de Trajectoire : Ils définissent la distribution de rendement non pas seulement comme une espérance, mais comme un "push-forward" de la mesure de trajectoire induite par une politique à travers un fonctionnel de rendement.
Abstraction d'État : Ils formalisent la relation entre les abstractions d'état (espaces latents) et le RL distributionnel. En définissant un encodeur $S$ et un décodeur $P_D$ , ils montrent que réaliser un RL distributionnel sur un espace latent est équivalent à appliquer un opérateur de noyau composite.
Module de Contraction : Un résultat théorique clé (Théorème 3.5) établit que le module de contraction de l'opérateur de Bellman distributionnel dans un espace latent est mis à l'échelle par le produit des constantes de Lipschitz de l'encodeur ( $L_E$ ) et du décodeur ( $L_D$ ). Si l'espace latent offre une compression efficace (petit $L_E$ ) et capture une structure pertinente pour la récompense (petit $L_D$ ), la convergence des mises à jour de Bellman est accélérée.
Template Algorithmique : Ils proposent l'Itération de Politique Push-Forward (PPI), qui minimise le résidu de Bellman sur l'espace des mesures d'encodage plutôt que sur les états bruts, unifiant ainsi les vues basées sur le modèle et sans modèle.

3. Inférence Active Distributionnelle (DAIF)

Les auteurs instancient la théorie ci-dessus dans un algorithme pratique appelé Inférence Active Distributionnelle (DAIF).

Mécanisme : DAIF apprend une distribution paramétrique amortie état-action (un encodeur) qui mappe les observations vers un espace latent. Il effectue ensuite une mise en correspondance de quantiles par différence temporelle sur cet espace latent.
Détails d'Implémentation :
- Le problème de régression des quantiles est formulé comme une Estimation du Maximum de Vraisemblance (MLE) d'une Distribution de Laplace Asymétrique (ALD).
- L'incertitude autour des estimations de quantiles est modélisée à l'aide d'un a priori Gamma Inverse sur le paramètre d'échelle ( $\sigma_\tau$ ). Cette variance a posteriori agit comme une incertitude épistémique implicite, induisant l'exploration de manière similaire à l'échantillonnage de Thompson sans bonus d'exploration explicite.
- L'algorithme utilise une architecture acteur-critique profonde avec des critiques doubles, le "min-clipping" pour les cibles de Bellman, et des mises à jour d'acteur retardées (similaire à TD3), mais remplace les cibles de valeur standard par les rendements distributionnels dérivés de l'objectif AIF.
Distinction Clé : Contrairement à l'AIF traditionnelle, la DAIF n'apprend pas de modèle de transition direct ( $P(X'|X, A)$ ). Au lieu de cela, elle apprend la distribution de rendement directement à partir des transitions échantillonnées dans l'espace latent, héritant des avantages de l'abstraction d'état de l'AIF tout en évitant le coût de la modélisation de la dynamique de transition.

Contributions Clés

Unification Théorique : L'article fournit une abstraction formelle englobant le RL basé sur le modèle, le RL distributionnel et le RL sans modèle, démontrant comment l'AIF peut être intégrée de manière fluide dans le cadre distributionnel.
Objectif AIF Simplifié : En utilisant le do-calculus, les auteurs dérivent un objectif AIF simplifié qui élimine le besoin d'une inférence complexe des latents a posteriori de la formulation standard, l'alignant plus étroitement avec les mécanismes d'inférence variationnelle utilisés dans le RL moderne.
Cadre "Push-Forward" : L'introduction du cadre "Push-Forward RL" fournit un lien mathématique rigoureux entre les abstractions d'état et les opérateurs de Bellman distributionnels, montrant comment la compression de l'espace latent affecte les taux de convergence.
Algorithme DAIF : La proposition de la DAIF, un algorithme pratique qui atteint des gains de performance de type AIF (planification efficace via l'abstraction d'état) sans la surcharge de calcul de l'apprentissage de modèles de transition explicites.

Résultats Expérimentaux

Les auteurs évaluent la DAIF à travers des tâches de contrôle tabulaire et continu :

Expériences Tabulaires (Latent RiverSwim) : Dans un monde de grille où les dynamiques pertinentes pour la récompense résident sur un manifold latent 1D, la DAIF surpasse significativement les bases de comparaison basées sur le modèle (PSRL-PI) et distributionnelles (IQQL) à mesure que l'horizon de planification augmente. Lorsque l'abstraction d'état n'offre aucun avantage (RiverSwim classique), la DAIF est comparable au RL distributionnel.
Contrôle Continu : La DAIF a été testée sur trois suites de référence :
- EvoGym : Locomotion et manipulation de robots mous.
- DeepMind Control Suite (DMC) : Contrôle continu avec morphologie variable.
- DMC Vision : Contrôle à partir d'observations de pixels bruts.
Performance : La DAIF a systématiquement atteint des performances de pointe sur toutes les suites, particulièrement dans les environnements avec des dynamiques complexes ou des espaces d'états de haute dimension (ex: "Catcher-v0", "Dog Run", "Quadruped Run").
Efficacité : Bien que la DAIF nécessite environ 12 % de temps de calcul (wall-clock time) supplémentaire par rapport aux acteurs-critiques distributionnels standards, cette surcharge est inférieure à celle d'autres méthodes basées sur le modèle ou lourdes en exploration comme DSAC (26 %) et DRND (37 %).

Signification et Revendications

L'article affirme que l'Inférence Active est particulièrement puissante lorsque l'agent dispose de capacités de calcul limitées, reflétant les conditions des cerveaux biologiques. En présentant l'AIF comme une extension simple du RL distributionnel, les auteurs soutiennent que les gains de performance de l'AIF (organisation efficace de l'information sensorielle pour la planification) peuvent être réalisés sans le coût prohibitif de l'apprentissage de modèles de transition directs.

Le travail suggère que le "problème dual" de l'organisation sensorielle et de la planification est mieux résolu en apprenant une représentation latente où la distribution de rendement est compressée et structurée, plutôt qu'en modélisant la dynamique complète de l'environnement. Les auteurs positionnent la DAIF non pas comme un remplacement de tout le RL, mais comme une méthode robuste pour contrôler des environnements difficiles où l'efficacité d'échantillonnage et les contraintes de calcul sont critiques. Ils reconnaissent des limites, notant que la DAIF ne sépare pas explicitement les termes de valeur épistémique et instrumentale (s'appuyant sur l'incertitude implicite) et que la taille du goulot d'étranglement latent est actuellement dépendante de l'architecture plutôt qu'apprise de manière adaptative.