Résumé Technique : Ada-Diffuser : Diffusion Adaptative Consciente des Latents pour la Prise de Décision

1. Énoncé du Problème

Les récents progrès en matière de prise de décision ont formulé le problème comme une modélisation de séquences utilisant des modèles génératifs, en particulier les modèles de diffusion et les transformateurs. Bien que efficaces, ces approches échouent souvent à prendre en compte les variables latentes cachées et leurs dynamiques temporelles. Dans des contextes réels tels que la robotique, la conduite autonome et la santé, les transitions de l'environnement et les structures de récompense sont fréquemment influencées par des facteurs non observés (par exemple, des forces externes comme le vent, des demandes utilisateurs variables ou des paramètres de tâche cachés). Ignorer ces processus latents conduit à une prise de décision sous-optimale, en particulier lorsque les données d'observation ne couvrent pas entièrement l'espace latent sous-jacent.

Les méthodes existantes pour gérer l'observabilité partielle (par exemple, l'encodage de l'historique dans des états de croyance) nécessitent souvent l'accès à des trajectoires historiques diversifiées ou à des données multi-environnements, ce qui est coûteux en calcul et difficile à mettre à l'échelle. Le défi central abordé par cet article est le suivant : Pouvons-nous identifier les facteurs latents régissant les dynamiques de l'environnement et les récompenses à partir d'observations minimales et les intégrer dans des modèles génératifs de prise de décision évolutifs pour permettre une planification adaptative et un apprentissage de politiques ?

2. Méthodologie : Ada-Diffuser

Les auteurs proposent Ada-Diffuser, un cadre unifié de diffusion causale qui intègre explicitement l'inférence dynamique latente dans la prise de décision générative. Le cadre fonctionne en deux étapes principales :

A. Fondement Théorique : Identifiabilité Latente

Avant de concevoir le modèle, les auteurs établissent les conditions théoriques sous lesquelles les facteurs latents peuvent être identifiés à partir de données d'observation.

• Modèle : Ils définissent un MDP Contextuel à Temps Variable Latent, où un contexte latent $c_t$ évolue de manière stochastique au fil du temps et influence les dynamiques de transition et les récompenses.
• Théorème d'Identifiabilité (Théorème 1) : Sous des hypothèses légères (MDP d'ordre 1, Variabilité Distributionnelle et Unicité de la Décomposition Spectrale), les auteurs prouvent que la distribution a posteriori du facteur latent $c_t$ est identifiable (à une transformation inversible près) en utilisant uniquement une petite fenêtre temporelle d'observations. Plus précisément, un bloc de quatre étapes temporelles consécutives (impliquant $t-2, t-1, t, t+1$) suffit pour récupérer l'état latent de manière en ligne, sans avoir besoin d'un accès complet à la trajectoire ou de données multi-environnements.

B. Architecture du Modèle

Ada-Diffuser intègre cette insight théorique dans un cadre basé sur la diffusion avec une conception modulaire supportant à la fois la planification (génération de trajectoires) et l'apprentissage de politiques (génération d'actions).

1. Étape 1 : Identification des Facteurs Latents Hors Ligne

   • Utilise un cadre de Autoencodeur Variationnel (VAE) pour estimer les variables latentes par blocs.
   • Prior : $p_\phi(c_t | c_{t-1})$ conditionné par l'état latent précédent.
   • Postérieur : $q_\psi(c_t | x_{t-T_x:t+1})$ conditionné par un bloc temporel d'observations (incluant les étapes futures disponibles pendant l'entraînement hors ligne).
   • Le modèle optimise la Limite Inférieure de la Preuve (ELBO) pour apprendre une représentation structurée des variables latentes et la distribution d'observation correspondante.

2. Étape 2 : Modèle de Diffusion Causal

   • Dénouage Autoregressif : Pour respecter la structure causale de la prise de décision séquentielle, le modèle emploie un calendrier de débruitage causal. Les niveaux de bruit augmentent de manière monotone à travers les étapes temporelles au sein d'un bloc, reflétant une incertitude plus élevée dans les prédictions futures.
   • Mécanisme de Dénouage et de Raffinement : Pour résoudre le décalage entre l'entraînement hors ligne (où les observations futures sont disponibles) et l'inférence en ligne (où elles ne le sont pas), les auteurs introduisent une procédure novatrice de dénouage et de raffinement.
     • Entraînement : Le modèle alterne entre le débruitage des observations en utilisant un latent échantillonné à partir du prior et le raffinement de l'estimation latente en utilisant un réseau postérieur qui intègre les observations futures. Une perte contrastive encourage le postérieur à produire de meilleures reconstructions que le prior.
     • Inférence : Puisque les observations futures ne sont pas disponibles, le modèle emploie un schéma d'échantillonnage en zig-zag. Il débruite itérativement l'état actuel en utilisant une estimation prior, met à jour la variable latente en utilisant un réseau postérieur conditionné par l'historique partiellement débruité et le futur prédit, puis débruite davantage l'état. Ce processus « zig-zag » assure la cohérence entre la séquence générée et les dynamiques latentes inférées.

3. Contributions Clés

1. Théorie de l'Identifiabilité : L'article établit des conditions suffisantes sous lesquelles les facteurs latents influençant les dynamiques et les récompenses peuvent être identifiés à partir de courts fenêtres temporelles de trajectoires d'RL, éliminant le besoin d'un accès complet à la trajectoire ou de données multi-environnements diversifiées.
2. Cadre Ada-Diffuser : Un modèle de diffusion causal novateur qui effectue une inférence latente par blocs pour modéliser conjointement les contextes latents et les trajectoires observables. Les innovations clés incluent :
   • Une conception de bloc minimal-suffisant avec raffinement rétroactif pour des latents identifiables.
   • Un dénouage entièrement autoregressif couplé à un échantillonnage en zig-zag pour combler l'inférence et la génération.
3. Applicabilité Unifiée : Le cadre s'adapte à diverses tâches de prise de décision (planification vs apprentissage de politiques) et types de latents (dynamiques, récompenses ou actions latentes) en se conditionnant sur différentes modalités d'observation.

4. Résultats Expérimentaux

Les auteurs ont évalué Ada-Diffuser sur 8 environnements couvrant 23 configurations différentes, incluant la locomotion (Cheetah, Ant, Walker), la navigation (Maze2D) et la manipulation robotique (Franka-Kitchen, LIBERO, RoboMimic).

• Identification Latente : Les expériences sur l'environnement Cheetah avec un vent variable dans le temps ont démontré que le modèle peut identifier avec précision les facteurs latents. Les performances (mesurées par l'erreur quadratique moyenne du sondage linéaire et $R^2$) se sont améliorées avec des tailles de blocs temporels suffisantes (5–20 étapes) et se sont dégradées lorsque les observations futures n'étaient pas disponibles, validant ainsi les exigences théoriques.
• Performances de Prise de Décision :
  • Groupe I (Dynamiques/Récompenses Latentes) : Dans des environnements avec des facteurs latents explicites (par exemple, le vent affectant les dynamiques, des objectifs changeants), Ada-Diffuser a constamment surpassé les méthodes de référence, y compris les planificateurs de diffusion classiques (Diffuser, DD), les politiques de diffusion (DP, IDQL) et les méthodes augmentées par des latents (MetaDiffuser, LILAC, DynaMITE).
  • Groupe II (Actions Latentes) : Dans des configurations de démonstration sans actions (RoboMimic), Ada-Diffuser a réussi à inférer des actions latentes et a surpassé l'état de l'art LDP (Latent Diffusion Planning).
  • Groupe III (Sans Latents Explicites) : Même dans des environnements sans variables latentes explicitement conçues, l'intégration d'une modélisation latente a permis à Ada-Diffuser de capturer la stochasticité inhérente et la non-stationnarité, atteignant des performances comparables ou supérieures aux méthodes de référence.
• Études d'Ablation : La suppression de l'étape de raffinement ou de l'échantillonnage en zig-zag a considérablement dégradé les performances, confirmant la nécessité du raffinement rétroactif et du conditionnement alterné pour réduire le décalage postérieur.

5. Signification et Revendications

L'article revendique que l'identification des facteurs latents à partir d'observations séquentielles est cruciale pour une prise de décision efficace. En fournissant des garanties théoriques pour l'identifiabilité latente en utilisant de petits blocs temporels, les auteurs permettent une intégration principée de l'inférence latente dans les modèles de diffusion.

La signification d'Ada-Diffuser réside dans sa capacité à :

• Capturer la Structure Causale : Il modélise le processus causal sous-jacent des trajectoires d'RL influencées par des facteurs latents, plutôt que de simplement ajuster des corrélations de surface.
• Assurer l'Évolutivité : Il y parvient sans nécessiter de données multi-environnements coûteuses ou d'un accès complet à la trajectoire, s'appuyant plutôt sur des observations minimales et suffisantes.
• Généraliser : Il est largement applicable aux tâches avec ou sans structures latentes explicites, y compris les démonstrations sans actions, démontrant que les processus latents implicites (capturant la stochasticité ou une structure non observée) sont bénéfiques même dans des environnements « propres ».

Les auteurs concluent que leur méthode valide l'efficacité de la modélisation explicite des dynamiques latentes pour la planification et le contrôle, offrant une solution robuste pour les environnements partiellement observables et dynamiquement changeants.