RAY-TOLD: Ray-Based Latent Dynamics for Dense Dynamic Obstacle Avoidance with TDMPC

1. Énoncé du Problème

Les robots mobiles autonomes font face à des défis majeurs lors de la navigation dans des foules denses et dynamiques. Les approches existantes souffrent de limitations spécifiques :

• Méthodes Purement Réactives (ex. MPPI) : Le contrôle par Intégrale de Trajectoire Prédictive de Modèle (MPPI) est robuste pour la faisabilité cinématique à court terme et l'évitement de collisions. Cependant, il repose sur un horizon de prédiction limité. Dans des scénarios complexes (ex. obstacles en forme de U ou foules convergentes), le MPPI reste souvent piégé dans des minima locaux car il manque de conscience spatiale à long terme et ne peut anticiper les comportements futurs des obstacles au-delà de sa fenêtre de déroulement courte.
• Apprentissage par Renforcement (RL) Pur : Bien que le RL excelle dans le raisonnement à long horizon, les approches sans modèle de bout en bout peinent souvent à imposer des contraintes de sécurité strictes et souffrent d'une exploration inefficace dans des systèmes physiques critiques pour la sécurité.
• Le Vide : Il existe un besoin d'une architecture hybride combinant les contraintes de sécurité et cinématiques des MPC basés sur la physique avec la prévision à long horizon des modèles appris pour naviguer dans des environnements stochastiques à haute densité.

2. Méthodologie : RAY-TOLD

Les auteurs proposent RAY-TOLD (Dynamiques Latentes Orientées Tâche Basées sur les Rayons), un cadre de contrôle hybride intégrant des dynamiques latentes centrées sur le LiDAR avec un MPPI basé sur l'échantillonnage.

A. Architecture Principale

Le système fonctionne selon deux modalités parallèles :

1. Planificateur Basé sur la Physique (MPPI) : Gère les déroulements de trajectoire à court horizon ($H$) en utilisant un modèle de vélo cinématique différentiable pour assurer la faisabilité cinématique immédiate et l'évitement de collisions.
2. Modèle de Dynamiques Latentes (TOLD) : Un modèle de monde appris qui encode des données de capteurs de haute dimension dans un espace latent compact pour fournir une guidance à long horizon.

B. Composants Clés

• Représentation de l'État : Le vecteur d'état d'entrée $x_t$ comprend la cinématique du véhicule ($s_t$), la position relative de l'objectif ($s_{goal}$) et les mesures LiDAR ($s_{ray}$). Les données LiDAR sont "conscientes de l'occlusion", ce qui signifie que les rayons sont tronqués au premier obstacle rencontré, simulant les contraintes réelles de ligne de vue.
• Encodeur Latent et Dynamiques :
  • Un encodeur $h_\theta$ compresse les entrées de haute dimension en un état latent de basse dimension $z_t$.
  • Un modèle de dynamiques latentes $d_\phi$ prédit les transitions d'état dans l'espace latent.
  • Un prédicteur de récompense $R_\psi$ et une Fonction de Valeur Terminale $C_\omega$ sont entraînés pour estimer respectivement les récompenses immédiates et les retours à l'horizon infini.
• Prior de Politique ($\pi_\xi$) : Un réseau de politique entraîné pour proposer des actions orientées vers l'objectif dans l'espace latent.

C. Stratégie d'Échantillonnage par Mélange de Politiques

L'innovation centrale réside dans la manière dont RAY-TOLD modifie le processus d'échantillonnage MPPI pour surmonter les minima locaux :

• MPPI Standard : Échantillonne les actions purement à partir d'une distribution gaussienne centrée sur la solution précédente (bruit non biaisé).
• RAY-TOLD : Utilise une stratégie d'échantillonnage par mélange. Une fraction $\alpha$ des $K$ trajectoires candidates est amorcée avec des actions dérivées du prior de politique appris $\pi_\xi$ (déroulé dans l'espace latent), tandis que les $(1-\alpha)$ restants sont échantillonnés via le bruit MPPI standard.
  • Formule : $a^{(k)} \sim \mathcal{N}(a^\pi, \Sigma)$ si $k < \alpha K$, sinon $\mathcal{N}(a^{MPPI}, \Sigma)$.
• Évaluation : Le coût de chaque trajectoire est calculé comme la somme des récompenses à court horizon plus une valeur terminale apprise $C_\omega(z_{t+H})$, qui estime le coût à venir au-delà de l'horizon de planification.

3. Contributions Clés

1. Architecture Hybride : Intégration transparente des dynamiques latentes centrées sur le LiDAR avec le MPPI, permettant au robot de naviguer dans des foules denses et dynamiques en exploitant à la fois les contraintes basées sur la physique et l'intention apprise.
2. Échantillonnage par Mélange de Politiques : Une technique novatrice qui enrichit la population de candidats MPPI avec des trajectoires de politique apprises. Cela élimine la vulnérabilité du MPPI aux minima locaux sans nécessiter d'heuristiques manuelles.
3. Intégration de la Valeur Terminale : L'utilisation d'une fonction de valeur terminale apprise permet au planificateur de "regarder au-delà" de l'horizon de déroulement physique, guidant efficacement le robot hors des impasses.
4. Validation Empirique : Tests extensifs dans des environnements hautement stochastiques démontrant des réductions significatives des taux de collision par rapport aux bases de référence standard.

4. Résultats Expérimentaux

La méthode a été évaluée dans un environnement de 20 m $\times$ 10 m avec 40 à 60 obstacles dynamiques se déplaçant selon un modèle de force sociale modifié (SFM).

• Performance de Référence : Le MPPI standard a atteint un taux de réussite de 89,0 % avec un taux de collision de 11,0 %. Il échouait fréquemment dans des scénarios impliquant des obstacles convergents ou des réflexions sur les murs en raison de la rareté des échantillons.
• Performance de RAY-TOLD :
  • RAY-TOLD ($\alpha=0$) : (Fonction de valeur uniquement, sans guidance de politique) A atteint le même taux de réussite que le MPPI mais a amélioré la marge de sécurité, validant la capacité de la fonction de valeur à évaluer les états terminaux.
  • RAY-TOLD ($\alpha=0,1$) : (Mélange Optimal) A atteint le taux de réussite le plus élevé de 94,0 % et a réduit le taux de collision à 6,0 % (une amélioration d'environ 45 % par rapport à la référence). Cette configuration a équilibré la guidance à long horizon avec la réactivité à court horizon.
  • RAY-TOLD ($\alpha=0,2$) : (Guidage Fort) Le taux de réussite a légèrement baissé à 91,0 %, suggérant qu'une dépendance excessive au prior de politique peut introduire un biais dans des cas limites hautement stochastiques.
• Analyse Qualitative :
  • Fig. 3 : Les visualisations montrent RAY-TOLD naviguant avec succès à travers des obstacles convergents et anticipant les réflexions sur les murs (là où le MPPI échouait).
  • Fig. 4 (t-SNE) : La visualisation de l'espace latent révèle une transition topologique fluide des états "dangereux" (rouge) aux états "sûrs" (bleu), prouvant que le modèle apprend des représentations physiquement significatives du risque de collision plutôt que de mémoriser les données brutes des capteurs.

5. Importance

RAY-TOLD représente une avancée significative en matière de navigation robotique en résolvant le problème des "minima locaux" inhérent aux planificateurs réactifs sans sacrifier la sécurité.

• Sécurité et Fiabilité : En ancrant la recherche dans des déroulements basés sur la physique tout en injectant une intention à long terme apprise, le système assure la faisabilité cinématique tout en évitant des décisions myopes.
• Généralisation : L'utilisation d'un modèle de monde latent permet au robot de généraliser à des configurations d'obstacles non vues et à des comportements dynamiques (ex. réflexions) plutôt que de mémoriser des trajectoires spécifiques.
• Praticité : La méthode fonctionne à 50 Hz dans une simulation parallélisée, démontrant sa faisabilité pour un déploiement en temps réel dans des environnements centrés sur l'humain.

En conclusion, RAY-TOLD comble efficacement le fossé entre la robustesse du Contrôle Prédictif de Modèle et la prévision de l'Apprentissage par Renforcement, offrant une solution robuste pour la navigation autonome dans les environnements les plus difficiles, denses et dynamiques.