Résumé technique : Affinement de la diffusion compositionnelle pour une planification fiable à long horizon

1. Énoncé du problème

Les modèles de diffusion probabilistes sont devenus un cadre puissant pour la planification de trajectoires, apprenant à échantillonner directement à partir de la distribution des plans réalisables. Cependant, leur efficacité est intrinsèquement limitée par l'horizon des données d'entraînement disponibles. La collecte de démonstrations à long horizon couvrant toutes les combinaisons de départ à objectif est prohibitivement coûteuse. Pour y remédier, les approches compositionnelles décomposent les trajectoires longues en segments courts à horizon chevauchant, modélisés par des modèles de diffusion courts uniques, et composent leurs fonctions de score lors de l'inférence.

Le mode d'échec principal des méthodes compositionnelles existantes (par exemple, GSC, CompDiffuser) est le moyennage de modes. Lorsque les distributions de plans locaux sont multimodales (par exemple, un robot peut passer une intersection de couloir à gauche ou à droite), des segments adjacents peuvent s'engager indépendamment vers des modes incompatibles. La stratégie de composition standard, qui moyenne les prédictions de bruit (scores) des segments adjacents dans les régions de chevauchement, fusionne ces modes incompatibles. Cela se traduit par des trajectoires composées situées dans des régions de faible densité de la distribution réelle — des plans qui ne sont ni localement réalisables ni globalement cohérents. Bien que les méthodes de recherche basées sur la population (par exemple, CDGS) tentent d'atténuer ce problème par élagage et rééchantillonnage, elles entraînent une surcharge substantielle au moment de l'inférence et reposent sur une sélection a posteriori de candidats plutôt que sur l'orientation du processus de débruitage lui-même.

2. Méthodologie : Affinement de la diffusion compositionnelle (RCD)

Les auteurs proposent l'Affinement de la diffusion compositionnelle (RCD), une méthode de guidage sans entraînement qui oriente l'échantillonnage compositionnel vers des plans à haute densité et globalement cohérents, sans nécessiter d'entraînement supplémentaire ni de modifications architecturales du modèle de diffusion local. RCD fonctionne en combinant deux signaux de guidage dérivés exclusivement des modèles locaux préentraînés :

A. Erreur de reconstruction auto-comme proxy de densité

RCD exploite l'observation que les échantillons situés dans les régions de haute densité de la variété des données sont fidèlement reconstruits à travers un cycle bruit-débruitage, tandis que les échantillons hors variété (y compris les artefacts de moyennage de modes) présentent de grandes erreurs de reconstruction.

• Mécanisme : Étant donné une trajectoire propre candidate $\hat{\tau}_0$ (obtenue via l'estimation de Tweedie), la méthode la perturbe avec du bruit à un pas de temps de sonde $s$ et la reconstruit en utilisant les modèles de diffusion locaux.
• Base théorique : L'erreur de reconstruction auto ($E_{recon}$) est démontrée comme étant un proxy différentiable de la log-densité locale. Formellement, une somme pondérée des erreurs de reconstruction sur les pas de temps de sonde fournit une borne supérieure sur le négatif de la borne inférieure de la vraisemblance (ELBO) de la distribution composée. La minimisation de cette erreur oriente l'échantillonnage vers des régions de haute densité.

B. Terme de cohérence de chevauchement

Bien que l'erreur de reconstruction capture la fidélité globale, elle peut manquer les incohérences locales aux limites des segments.

• Mécanisme : RCD introduit un terme de cohérence de chevauchement ($E_{ov}$) qui pénalise le désaccord de score entre les segments adjacents à leurs variables de frontière partagées.
• Base théorique : Dans le cadre d'approximation de Bethe utilisé pour la diffusion compositionnelle, la cohérence marginale exige que les segments adjacents produisent des scores identiques dans leurs régions de chevauchement. $E_{ov}$ mesure la différence au carré entre les estimations de Tweedie des segments adjacents restreintes au chevauchement. La minimisation de ce terme impose la cohérence marginale requise pour un plan global cohérent.

C. L'objectif de guidage

L'objectif de guidage combiné est défini comme suit :
$$E_{RCD}(\hat{\tau}_0; s) := E_{recon}(\hat{\tau}_0; s) + \lambda_{ov} E_{ov}(\hat{y}_{1:M})$$
où $\lambda_{ov}$ pondère la cohérence de chevauchement. Au cours du processus de diffusion inverse, le gradient de cet objectif par rapport à l'échantillon bruité est calculé et appliqué comme correction à l'étape inverse standard. Cela oriente l'échantillonnage vers une distribution inclinée qui se concentre sur des plans à haute densité et globalement cohérents.

3. Contributions clés

1. Analyse théorique : L'article établit un lien formel entre l'erreur de reconstruction auto d'une trajectoire composée et la borne inférieure de la vraisemblance (ELBO) de la diffusion, fournissant une justification rationnelle pour l'utilisation de l'erreur de reconstruction comme proxy de densité. Il démontre également que le terme de cohérence de chevauchement mesure le désaccord de score, une violation directe de la cohérence marginale de Bethe.
2. Proposition d'algorithme : Les auteurs introduisent RCD, une méthode de guidage plug-and-play sans entraînement. Elle utilise uniquement le modèle de diffusion local préentraîné pour générer un signal combiné (erreur de reconstruction + cohérence de chevauchement) qui oriente l'échantillonnage compositionnel, atténuant efficacement le moyennage de modes sans la surcharge de la recherche basée sur la population.
3. Validation empirique : RCD est évalué sur le benchmark OGBench, couvrant diverses tâches à long horizon incluant la locomotion (PointMaze, AntMaze, HumanoidMaze), la manipulation d'objets (Cube, AntSoccer) et les observations basées sur les pixels (Visual AntMaze).

4. Résultats expérimentaux

• Faisabilité du plan : Dans les analyses visuelles de l'environnement AntMaze-Giant-Stitch, RCD surpasse nettement CompDiffuser et CDGS dans la production de plans physiquement réalisables (évitant la pénétration des murs). Alors que CompDiffuser souffre de moyennage de modes conduisant à des taux de validité aussi bas que 15 %, RCD maintient des taux de validité supérieurs à 85-100 % sur toutes les tâches.
• Taux de réussite : RCD atteint systématiquement les taux de réussite les plus élevés sur toutes les tâches OGBench. Notamment, sur les tâches de labyrinthe « Giant » les plus difficiles où l'horizon de planification dépasse largement les données d'entraînement, RCD atteint un succès quasi parfait (par exemple, 100 % sur PointMaze-Giant, 89 % sur AntMaze-Giant), surpassant à la fois les méthodes compositionnelles standard et les alternatives basées sur la recherche comme CDGS.
• Efficacité : RCD est significativement plus rapide que les bases de référence basées sur la recherche. Il fonctionne un ordre de grandeur plus vite que CDGS (qui nécessite un rééchantillonnage et un élagage répétés) et est plus rapide que la conditionnement bidirectionnel autorégressif de CompDiffuser, car RCD évalue tous les segments dans un seul appel par lot par étape de débruitage.
• Études d'ablation : Les expériences confirment que l'erreur de reconstruction auto et les termes de cohérence de chevauchement sont complémentaires. L'erreur de reconstruction auto seule apporte une amélioration significative, tandis que l'ajout de la cohérence de chevauchement améliore encore les performances, en particulier dans des environnements complexes comme AntMaze-Giant.

5. Importance et affirmations

L'article affirme que RCD adresse le mode d'échec dominant de la planification par diffusion compositionnelle — le moyennage de modes — en affinant directement le processus de débruitage plutôt qu'en filtrant les candidats a posteriori. En exploitant le signal de densité intrinsèque du modèle préentraîné (via la reconstruction auto) et en imposant la cohérence des frontières, RCD permet une planification fiable à long horizon sans données d'entraînement supplémentaires ni réentraînement du modèle.

Les auteurs positionnent RCD comme un composant universel, plug-and-play pour les modèles de diffusion. La méthode est particulièrement significative pour sa capacité à maintenir des taux de réussite élevés et une faisabilité physique dans des scénarios où l'horizon de planification est arbitrairement long et où les distributions locales sont multimodales, tout en maintenant une efficacité computationnelle supérieure aux méthodes de recherche basées sur la population. Ce travail suggère que l'affinement de la trajectoire d'échantillonnage via des signaux de modèle intrinsèques est une stratégie plus efficace pour la planification compositionnelle que de compter sur une recherche externe ou un post-traitement.