Adaptive Linear Path Model-Based Diffusion

Résumé Technique : Modèle de Diffusion à Trajectoire Linéaire Adaptative

Énoncé du Problème
L'intégration des modèles de diffusion avec le contrôle basé sur un modèle a montré des promesses pour la résolution de problèmes complexes d'optimisation de trajectoire impliquant des dynamiques non linéaires et des contraintes non convexes. Cependant, les performances des approches existantes de Diffusion Basée sur un Modèle (MBD - Model-Based Diffusion) sont fortement sensibles à la conception des paramètres de planification du bruit (noise scheduling). Dans les schémas standards de préservation de la variance (VP - variance-preserving), les paramètres tels que les points de terminaison du bruit et le nombre total d'étapes de diffusion sont étroitement couplés. Ce couplage rend difficile l'isolement de l'effet des paramètres individuels sur le compromis exploration-raffinement, menant souvent à des choix excessivement conservateurs ou nécessitant un réglage par essais et erreurs intensif. De plus, les paramètres optimaux varient fréquemment en fonction de l'état du système et de la complexité de la tâche, pourtant les cadres MBD traditionnels utilisent des schémas fixes qui ne peuvent pas s'adapter à ces conditions changeantes.

Méthodologie
Les auteurs proposent un cadre à deux étapes pour répondre à ces limitations : la Diffusion à Trajectoire Linéaire Basée sur un Modèle (LP-MBD - Linear Path Model-Based Diffusion) et la LP-MBD Adaptative (ALP-MBD).

1. Diffusion à Trajectoire Linéaire Basée sur un Modèle (LP-MBD) :
   La LP-MBD remplace le schéma de bruit standard de préservation de la variance par une trajectoire de probabilité linéaire inspirée du Flow Matching. Au lieu de l'interpolation complexe utilisée dans la VP-MBD, la LP-MBD définit une interpolation linéaire entre une trajectoire propre $Y^{(0)}$ et un bruit gaussien standard $\epsilon$ :
   $$Y_t = (1 - t)Y^{(0)} + t\epsilon, \quad t \in [0, 1]$$
   Cette formulation offre une paramétrisation géométriquement interprétable et découplée. Contrairement à la VP-MBD, qui nécessite de régler trois paramètres couplés ($\beta_0, \beta_1, T$), la LP-MBD repose sur seulement deux paramètres indépendants : l'échelle de bruit maximale ($\sigma_{max}$) et le nombre d'étapes de diffusion ($T$). L'échelle de bruit maximale est déterminée par la plage admissible des entrées de commande, fournissant un moyen direct et interprétable de fixer les limites d'exploration. Pour garantir l'efficacité, le schéma est tronqué à une valeur maximale $t_{max} < 1$ afin d'éviter que la variance de la proposition gaussienne ne diverge.

2. LP-MBD Adaptative (ALP-MBD) :
   S'appuyant sur la nature découplée de la LP-MBD, les auteurs introduisent un planificateur adaptatif qui exploite l'apprentissage par renforcement (RL) pour ajuster dynamiquement les étapes de diffusion ($T$) et les niveaux de bruit ($\sigma_{max}$) en fonction de l'état de l'environnement.

• Formulation : Le planificateur adaptatif est traité comme une politique $\pi_\phi$ au sein d'un processus de décision de Markov (MDP). L'espace d'état inclut les variables environnementales (ex: distances aux obstacles, erreurs de trajectoire), et l'espace d'action consiste en les paramètres de planification $(T, \sigma_{max})$.
• Entraînement : Le système est entraîné à l'aide de l'Optimisation de Politique Proche (PPO - Proximal Policy Optimization). La fonction de récompense combine la performance de la tâche avec une pénalité pour les étapes de diffusion importantes afin d'encourager l'efficacité computationnelle.
• Mécanisme : Dans des scénarios complexes (ex: évitement d'obstacles), l'agent apprend à augmenter $T$ et $\sigma_{max}$ pour élargir l'exploration et affiner les solutions. Dans des conditions simples ou bien structurées, il réduit ces paramètres pour accélérer l'échantillonnage sans sacrifier la qualité de la solution.

Contributions Clés

1. LP-MBD : L'introduction d'un planificateur de trajectoire linéaire inspiré du flow matching qui fournit une paramétrisation géométriquement interprétable et découplée. Cela réduit considérablement la charge de réglage des hyperparamètres par rapport aux schémas de préservation de la variance.
2. ALP-MBD : Le développement d'une extension adaptative utilisant l'apprentissage par renforcement pour optimiser les paramètres de planification en ligne. Cela permet au système d'équilibrer robustesse et efficacité en s'adaptant à la complexité de la tâche et aux conditions environnementales.
3. Évaluation Complète : Une validation rigoureuse des deux méthodes à travers des études numériques, des benchmarks Brax (incluant des tâches de locomotion comme Hopper et HalfCheetah) et une tâche de suivi de trajectoire pour robot mobile.

Résultats

• Études Numériques : Dans des tâches d'optimisation 1D et 2D, la LP-MBD a démontré une stabilité de convergence supérieure à la VP-MBD, particulièrement lorsque les étapes de diffusion variaient. Alors que la VP-MBD échouait souvent à converger ou nécessitait un réajustement extensif des paramètres $\beta$ lorsque $T$ changeait, la LP-MBD a maintenu des performances constantes grâce à ses paramètres découplés. Dans les expériences adaptatives, l'ALP-MBD a convergé plus rapidement et a trouvé des solutions de meilleure qualité que la base de référence VP-MBD adaptative (AVP-MBD), qui peinait avec l'espace de paramètres couplés.
• Benchmarks Brax : La LP-MBD a obtenu des récompenses par étape compétitives ou supérieures dans la plupart des tâches de contrôle continu (Ant, Hopper, HalfCheetah, Walker2D, Reacher) par rapport à CEM, MPPI et VP-MBD. Dans la tâche "Pusher", la VP-MBD a légèrement surpassé la LP-MBD, ce que les auteurs attribuent à la dimensionnalité plus élevée qui pourrait favoriser la capacité d'expression des schémas de préservation de la variance.
• Suivi de Trajectoire de Robot Mobile : Dans un environnement personnalisé avec obstacles et des trajectoires en forme de S ou ovales, l'ALP-MBD a obtenu la récompense moyenne la plus élevée parmi toutes les variantes. Le système a réussi à adapter ses paramètres en temps réel : augmentant les étapes de diffusion et la variance du bruit lors de la navigation à proximité d'obstacles ou de virages serrés, et les réduisant lors de la navigation en ligne droite sans obstacle. Malgré le surcoût du passage direct de la politique RL, l'ALP-MBD a maintenu une efficacité en temps réel adaptée aux applications de contrôle.

Signification
L'article affirme que la LP-MBD fournit une base stable et géométriquement interprétable pour le contrôle basé sur la diffusion, simplifiant le processus notoirement difficile de réglage des schémas de bruit. En découplant l'échelle de bruit de l'horizon de discrétisation, la LP-MBD permet l'application efficace de l'apprentissage par renforcement pour l'adaptation. Le cadre ALP-MBD proposé démontre qu'un ajustement dynamique des paramètres de diffusion peut améliorer à la fois la robustesse dans des environnements complexes et l'efficacité computationnelle dans des environnements plus simples, offrant une solution pratique pour le contrôle robotique en temps réel où les conditions de tâche varient considérablement.