🤖 machine learning

DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising

DiRect est un algorithme sans entraînement qui garantit une planification sûre dans les modèles de diffusion en imposant des contraintes uniquement sur la trajectoire finale propre via un débruitage à horizon fuyant, évitant ainsi la sur-contrainte des étapes intermédiaires qui dégrade typiquement la qualité des échantillons dans les approches existantes.

Auteurs originaux : Paolo Giaretta, Zeyang Li, Navid Azizan

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paolo Giaretta, Zeyang Li, Navid Azizan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un robot à marcher à travers une pièce bondée pour aller chercher une tasse de café. Vous avez un robot très intelligent qui a regardé des milliers de vidéos de personnes faisant cela. Il sait comment se déplacer de manière générale, mais il ne connaît pas les chaises ou les tables spécifiques présentes dans la pièce en ce moment même.

Si vous demandez simplement au robot d'« aller chercher le café », il pourrait foncer dans une table parce qu'il essaie d'être créatif. Si vous essayez de l'empêcher de heurter la table à chaque étape de sa planification, vous risquez de vous retrouver avec un robot qui se fige, qui bégaye ou qui prend un chemin étrange et saccadé, parce que vous micro-gérez chacune de ses pensées.

C'est le problème que l'article DiRecT résout.

Le Problème : Le Piège de la « Sur-Correction »

Les auteurs expliquent que les méthodes existantes pour rendre les planificateurs d'IA sûrs sont comme un parent anxieux qui tient la main de son enfant trop fermement.

L'ancienne méthode : Pendant que le robot planifie son chemin (étape par étape), l'ordinateur vérifie : « Cette étape est-elle sûre ? » Si ce n'est pas le cas, il force le robot à modifier cette étape spécifique immédiatement.
La faille : Le processus de planification du robot comporte beaucoup de « bruit » ou de brouillons. Vérifier la sécurité sur ces brouillons, c'est comme dire à un peintre : « Ne faites pas un seul coup de pinceau qui ressemble à un arbre », alors qu'il est encore en train de mélanger les couleurs sur sa palette. Cela restreint la créativité du robot et conduit souvent à un résultat final laid, saccadé ou qui échoue à atteindre l'objectif.

La Solution : DiRecT (Le Coach à « Horizon Fuyant »)

Les auteurs introduisent DiRecT, qui agit plus comme un coach sage que comme un parent anxieux.

1. La Vision de la « Trajectoire Propre »
Au lieu de vérifier la sécurité sur chaque brouillon, DiRect attend que le robot ait une planification finale et propre en tête. Il demande : « Si tu suis ce plan exactement, vas-tu heurter une table ? »

L'analogie : Imaginez que le robot dessine un chemin sur une feuille de papier. Les anciennes méthodes essayaient d'effacer une ligne dès que le crayon touchait le papier si elle semblait légèrement de travers. DiRecT laisse le crayon dessiner librement, puis regarde le dessin terminé. Si le dessin terminé heurte une table, alors il déplace doucement l'ensemble du dessin pour l'éloigner.

2. L'Astuce de l'« Horizon Fuyant »
L'article utilise un concept appelé « Horizon Fuyant » (inspiré du contrôle prédictif basé sur le modèle).

L'analogie : Pensez à conduire une voiture de nuit avec des phares embrumés. Vous ne pouvez voir que quelques mètres devant vous.
- L'ancienne méthode : Vous essayez de conduire parfaitement pour l'intégralité du voyage de 100 miles dès maintenant, même si vous ne voyez pas la route.
- DiRecT : Vous regardez la route immédiatement devant vous, vous planifiez un chemin sûr pour les quelques secondes à venir, vous le suivez, puis vous re-planifiez pour les quelques secondes suivantes. Vous mettez constamment à jour votre plan en fonction de ce que vous voyez maintenant, garantissant que vous ne frapperez jamais un mur, mais sans forcer la voiture à rouler en ligne droite si la route tourne.

3. Le Superpouvoir « Sans Réentraînement »
Le meilleur dans tout ça ? DiRecT n'a pas besoin de réapprendre au robot. Il fonctionne avec les connaissances existantes du robot (le « modèle pré-entraîné »). Il ajoute simplement une couche de sécurité sur le processus de planification.

L'analogie : C'est comme donner à un conducteur expérimenté un GPS qui l'avertit des obstacles. Vous n'avez pas besoin de réapprendre au conducteur comment conduire ; vous lui donnez simplement un outil pour éviter les nids-de-poule spécifiques de cette ville.

Comment cela fonctionne en pratique

Les auteurs ont testé cela sur plusieurs tâches robotiques :

Navigation dans un labyrinthe : Une balle roulant dans un labyrinthe avec de nouveaux murs inattendus. DiRecT a navigué avec succès dans le labyrinthe sans heurter de murs, tandis que d'autres méthodes restaient bloquées ou s'écrasaient.
Bras robotiques : Un bras se déplaçant pour saisir un objet tout en évitant des piliers. DiRecT a permis au bras de ne jamais toucher les piliers, même lorsque ceux-ci étaient placés à des endroits délicats.
Essaims multi-robots : Un groupe de robots se déplaçant ensemble sans se cogner les uns les autres. DiRecT les a maintenus en sécurité et efficaces, même lorsque le nombre de robots augmentait.

L'essentiel

DiRecT est une nouvelle façon de rendre les planificateurs d'IA sûrs. Au lieu d'interrompre constamment le processus de pensée de l'IA pour vérifier la sécurité (ce qui rend l'IA maladroite), il laisse l'IA penser librement, puis corrige doucement le plan final pour garantir qu'il est sûr. C'est comme laisser un étudiant écrire un brouillon sans crainte, puis l'aider à éditer la version finale pour s'assurer qu'elle est parfaite, plutôt que de l'arrêter après chaque phrase.

Le résultat est un robot qui est à la fois sûr (il ne s'écrase pas) et compétent (il se déplace avec fluidité et accomplit sa tâche).

Résumé Technique : DiRecT – Planification par Diffusion Sécurisée via un Débruitage à Horizon Réduit

Énoncé du Problème

Les modèles de diffusion sont devenus des cadres puissants pour la planification et le contrôle en apprenant des distributions multimodales sur les actions et les trajectoires. Cependant, le déploiement de ces modèles dans des tâches critiques pour la sécurité se heurte à un obstacle majeur : l'application fiable de la sécurité lors de l'inférence. Les approches existantes pour l'échantillonnage de diffusion contraint imposent généralement la faisabilité en projetant chaque itération intermédiaire de débruitage bruyante sur l'ensemble faisable. Cela crée un décalage fondamental : les contraintes de planification sont définies sur la trajectoire finale propre, tandis que les échantillons intermédiaires sont intrinsèquement bruités et n'ont pas besoin d'être réalisables. Imposer des contraintes tout au long du processus d'échantillonnage surcontraint la dynamique inverse apprise, déformant le processus génératif et dégradant considérablement la qualité de l'échantillon. De plus, les méthodes basées sur la projection manquent souvent d'un mécanisme unifié pour gérer les contraintes strictes aux côtés de récompenses ou de coûts mous supplémentaires.

Méthodologie : DiRecT

Pour répondre à ces limitations, les auteurs introduisent DiRecT (Diffusion-based planning via Receding-horizon denoising with Terminal constraints), un algorithme sans entraînement pour l'échantillonnage contraint.

Formulation Centrale

DiRecT reformule l'application des contraintes lors de l'inférence à travers le prisme du Contrôle Optimal Stochastique (SOC). Le processus de diffusion inverse appris sert de dynamique stochastique nominale, tandis que les entrées de contrôle orientent l'échantillonneur vers la faisabilité de la trajectoire propre finale. Crucialement, les contraintes sont imposées uniquement sur l'échantillon propre terminal, évitant ainsi des restrictions inutiles sur les itérations intermédiaires bruitées. L'objectif est de trouver un contrôle optimal de dérive $u^*$ qui minimise une fonction de coût (équilibrant le coût terminal et l'énergie de contrôle) sous la contrainte que l'état final $X_0$ se situe dans un ensemble faisable $S$ .

Dérivation Algorithmique

La résolution du problème complet de SOC à contrainte terminale est informatiquement intraitable en raison de la nature de haute dimension et non convexe des dynamiques neuronales et de l'espérance sur tous les chemins stochastiques. DiRecT dérive un substitut scalable et traitable utilisant deux approximations clés inspirées du Contrôle Prédictif Modèle (MPC) :

Substitut à Horizon Réduit (Receding-Horizon Surrogate) : Au lieu de résoudre un problème d'optimisation à horizon complet, DiRecT divise le problème en une séquence de sous-problèmes à une étape. À chaque étape de débruitage $i$ , il prédit la trajectoire propre finale impliquée par l'itération bruitée actuelle en utilisant la formule de Tweedie ( $\hat{x}^\theta_0(X_i, t_i)$ ).
Optimisation dans le Domaine des Données : Pour éviter de résoudre de manière répétée des problèmes d'optimisation contraints à travers la carte de débruitage neuronale, l'algorithme inverse approximativement la formule de Tweedie via un argument de point fixe. Cela permet de déplacer l'optimisation de l'espace latent vers le domaine des données. Plus précisément, le déplacement latent est approximé par une différence mise à l'échelle entre les échantillons propres prédits.

L'algorithme résultant (Algorithme 1) fonctionne comme suit :

Échantillonner un vecteur de bruit a priori.
Itérer vers l'arrière de $t_N$ $t_{N}$ à $t_0$ $t_{0}$ :
- Calculer une proposition de débruitage non contrôlée.
- Estimer l'échantillon propre correspondant à l'aide du modèle de score.
- Résoudre un problème d'optimisation contraint dans le domaine des données pour trouver un échantillon propre raffiné qui satisfait les contraintes strictes $S$ et minimise le coût $C$ , tout en restant proche de la prédiction non contrôlée.
- Traduire ce raffinement en une mise à jour contrôlée de l'itération bruitée actuelle.
Retourner l'échantillon faisable final.

Cette conception sépare proprement le débruitage stochastique de la satisfaction des contraintes, orientant progressivement les échantillons vers des trajectoires finales réalisables sans déformer les dynamiques de diffusion apprises.

Contributions Clés

Identification d'une Limitation Clé : Le papier identifie que l'imposition de la faisabilité sur les itères de débruitage intermédiaires bruitées surcontraint la dynamique d'échantillonnage et dégrade la qualité de l'échantillon. Il propose de formuler la planification par diffusion contrainte comme un problème de SOC à contrainte terminale.
Algorithme DiRecT : Un échantillonneur de diffusion contraint sans entraînement qui réduit le problème de SOC à contrainte terminale en une séquence de sous-problèmes d'optimisation de trajectoire propre traitable. Il oriente les échantillons vers la satisfaction des contraintes sans déformer le processus de débruitage appris.
Flexibilité : La méthode supporte des optimiseurs pré-entraînés ou spécifiques au domaine, gère les contraintes d'égalité et d'inégalité, incorpore des priors de dynamique spécifiques à l'environnement, et optimise des récompenses ou coûts mous additionnels lors de l'inférence.
Validation Empirique : Des expériences approfondies démontrent que DiRecT améliore considérablement la sécurité du déploiement et la performance des tâches par rapport aux bases de comparaison de planification par diffusion existantes.

Résultats Expérimentaux

Les auteurs ont évalué DiRecT à travers quatre benchmarks de planification robotique diversifiés :

Navigation en Labyrinthe Sécurisée (Maze2D) : Dans des variantes de labyrinthes "larges" et "étroits" avec des obstacles testés, DiRecment a atteint un Taux de Sécurité (SR) de 0,970 et 0,940 respectivement, avec des violations quasi nulles (0,45 et 0,23). En revanche, les bases comme Diffuser, Gradient Guidance et Projected Diffusion ont atteint des SR allant de 0,00 à 0,78, avec un nombre de violations nettement plus élevé. DiRecT a maintenu des scores de tâche élevés tout en garantissant la sécurité.
Manipulation Robotique Sécurisée (D3IL) : Dans une tâche exigeant qu'un bras robotique atteigne une cible tout en évitant des piliers et des contraintes additionnelles, DiRecT a atteint un Taux de Sécurité de 100 % et un Succès de Tâche de 100 %, surpassant toutes les bases qui montraient des chutes significatives de sécurité (ex: Gradient Guidance à 0,88 SR).
Planification de Mouvement Multi-Agents (MRMP) : Testé sur des environnements avec jusqu'à 20 agents, DiRecT a systématiquement surpassé les bases (incluant MMD-CBS et Projected Coupled Diffusion) en termes de Sécurité des Contraintes et de Taux de Succès, particulièrement à mesure que le nombre d'agents augmentait. Il a maintenu une forte adhérence aux modèles de mouvement attendus tout en satisfaisant des contraintes complexes de collision et de vitesse.
Manipulation à Contact Riche (PushT) : Dans une tâche de génération couplée impliquant diverses trajectoires non intersectantes, les variantes de DiRecT (DiRecT-LB et DiRecT-DPP) ont atteint une Satisfaction de Contrainte de 100 % tout en améliorant la diversité (mesurée par DTW et DFD) et les scores de complétion de tâche par rapport aux autres échantillonneurs contraints.

Signification et Revendications

Le papier affirme que DiRecT offre une approche fondée sur des principes pour la planification par diffusion sécurisée en découplant le processus de débruitage stochastique de la satisfaction des contraintes. En imposant les contraintes uniquement sur l'échantillon propre final, il évite la surcontrainte des dynamiques intermédiaires qui handicape les méthodes de projection existantes.

Les auteurs soulignent que DiRecT est sans entraînement (training-free), ce qui le rend largement applicable aux modèles de diffusion pré-entraînés sans nécessiter de réentraînement ou de fine-tuning. Bien que cette flexibilité introduise un calcul supplémentaire lors de l'inférence (résolution de sous-problèmes d'optimisation), la méthode fournit des garanties plus fortes pour la planification critique où même une seule violation de contrainte peut mener à un échec catastrophique. Le travail met en évidence le potentiel d'un déploiement fiable des modèles de diffusion dans des tâches de planification où la sécurité est primordiale.