💻 computer science

CST-WM: A Causally Structured World Model for Embodied Visual Tracking

Cet article introduit CST-WM, un modèle de monde à structure causale qui empêche les hallucinations induites par l'action en découplant explicitement le mouvement du robot des preuves de la cible dans son état latent, permettant ainsi aux robots de planifier efficacement tant le suivi visuel stable que la réacquisition de la cible dans des conditions difficiles telles que l'occlusion et l'ego-mouvement.

Auteurs originaux : Junyi Hu, Shuaihang Yuan, Yi Fang

Publié 2026-09-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junyi Hu, Shuaihang Yuan, Yi Fang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot marchant dans une pièce bondée, chargé de suivre une personne spécifique. L'objectif semble simple : garder la personne en vue et maintenir une distance constante. Pourtant, pour une machine, c'est un défi profond. Le robot ne se contente pas de réagir à ce qu'il voit dans l'instant présent ; il doit anticiper l'avenir. Il doit prédire comment ses propres mouvements modifieront ce qu'il verra ensuite. Si la personne passe derrière un pilier, le robot ne peut pas simplement s'arrêter ; il doit décider s'il doit tourner à gauche ou à droite pour la retrouver. Cela nécessite une forme de prévoyance, une simulation mentale de type « et si je tourne à gauche ? » par rapport à « et si je tourne à droite ? » pour voir quel chemin permet de garder la personne visible. La difficulté fondamentale réside dans l'apprentissage pour le robot que ses actions modifient le monde, et que le monde modifie ce qu'il voit, mais que l'action elle-même ne fait pas apparaître la personne par magie.

Des chercheurs de l'Université de New York à Abu Dhabi ont développé un nouveau système pour résoudre ce problème, en s'attaquant à une faille spécifique où les robots se trompent souvent en pensant qu'ils peuvent contrôler directement la cible. Dans leurs travaux, ils ont identifié un phénomène qu'ils appellent « hallucination causale ». Cela se produit lorsqu'un modèle prédictif de robot apprend un raccourci : il remarque que lorsqu'il tourne à gauche, la cible apparaît souvent sur le côté droit de l'écran dans l'image suivante. Au lieu de comprendre que le mouvement du robot a provoqué le décalage de la caméra, qui a ensuite révélé la cible, le modèle apprend incorrectement que l'action de tourner provoque directement l'apparition de la cible. C'est une erreur de logique subtile qui fonctionne bien pour les prédictions à court terme, mais qui échoue de manière catastrophique lorsque la cible est cachée. Le robot, croyant pouvoir invoquer la cible avec une simple commande, cesse d'essayer de contourner les obstacles et attend simplement que la cible réapparaisse, ne la retrouvant souvent jamais.

Pour corriger cela, l'équipe a créé un système appelé CST-WM, qui signifie Causally Structured World Model (Modèle de Monde à Structure Causale). Les chercheurs ont construit ce système en décomposant la compréhension du monde par le robot en trois parties distinctes, ou branches, qui communiquent entre elles selon un ordre strict. La première branche suit le propre mouvement et la position du robot. La deuxième branche se concentre entièrement sur les preuves visuelles de la cible, comme sa visibilité et la taille qu'elle occupe sur l'écran. La troisième branche gère la scène visuelle générale. L'innovation cruciale réside dans la manière dont ces branches interagissent. Le système est conçu de telle sorte que les commandes de contrôle du robot ne puissent influencer la visibilité de la cible que de manière indirecte. La commande doit d'abord mettre à jour la position du robot, et seulement ensuite cette nouvelle position peut mettre à jour la vue de la cible. Le modèle est physiquement empêché de laisser la commande de contrôle sauter directement à l'état de visibilité de la cible. Cela force le robot à apprendre la véritable chaîne de cause à effet : je bouge, la caméra bouge, et ensuite je vois la cible.

Les chercheurs ont testé cette approche dans des environnements virtuels complexes où des robots devaient suivre des personnes en mouvement à travers des pièces encombrées. Ils ont comparé leur nouveau système à des méthodes existantes reposant sur une simple réaction ou des modèles prédictifs standards. Les résultats ont montré que le nouveau système était nettement meilleur pour garder la cible en vue, en particulier lorsque la personne disparaissait derrière des obstacles ou sortait du cadre de la caméra. Lorsque la cible était perdue, le nouveau système était beaucoup plus rapide pour la retrouver et maintenait une distance plus sûre et plus constante. Dans les tests où le robot devait se rétablir après avoir été complètement bloqué, le nouveau système a réussi à réacquérir la cible environ 84 % du temps, contre environ 71 % pour la méthode la plus performante suivante. Il a également réduit le temps nécessaire pour retrouver la cible de plusieurs étapes, un avantage critique dans un environnement en mouvement rapide.

Au-delà d'un simple meilleur suivi, le système s'est avéré plus honnête quant à ses propres prédictions. Lorsque les chercheurs ont examiné les « pensées » internes du robot sur l'avenir, ils ont constaté que le nouveau système ne commettait pas les mêmes erreurs logiques que les anciens modèles. Il ne supposait pas qu'un tour de roue rendrait instantanément visible une personne cachée. Au lieu de cela, il simulait correctement que le robot devait physément se déplacer vers un nouvel endroit pour voir la personne. Cette honnêteté structurelle signifiait que lorsque le robot planifiait un trajet, il choisissait des actions basées sur une compréhension réaliste du monde, et non sur une compréhension magique. Le système a également appris à estimer la distance efficacement en utilisant uniquement la taille de la personne sur l'écran, sans avoir besoin de capteurs spéciaux pour mesurer la distance exacte en mètres. Cela lui a permis de maintenir une distance de suivi sûre comprise entre un et trois mètres, en ajustant sa vitesse pour rester dans cette plage même lorsque la personne se déplaçait.

L'étude suggère que pour que les robots comprennent réellement comment suivre une cible mobile, ils ont besoin de plus qu'un simple moteur de prédiction puissant ; ils ont besoin d'une structure qui correspond à la réalité du fonctionnement du monde. En séparant le mouvement du robot de la visibilité de la cible et en forçant l'information à circuler par le bon chemin, les chercheurs ont créé un système plus robuste et plus fiable. Bien que le système repose toujours sur un détecteur pour repérer initialement la personne, et bien qu'il ait été testé principalement en simulation, les résultats indiquent que cette structure causale est une étape cruciale vers l'avenir. Elle montre que la manière dont un robot est enseigné à imaginer l'avenir est tout aussi importante que l'avenir qu'il imagine. En empêchant le robot de prendre des raccourcis mentaux, les chercheurs lui ont donné une meilleure chance de naviguer dans la réalité désordonnée et imprévisible d'un monde partagé.

Résumé Technique : CST-WM : Un modèle de monde à structure causale pour le suivi visuel incarné

1. Définition du Problème

Le suivi visuel incarné exige qu'un robot suive une cible en mouvement à partir d'observations égocentrées tout en maintenant la visibilité, en régulant la distance de suivi et en assurant la sécurité dans des environnements encombrés et partiellement observables. Le défi central ne survient pas lorsque la cible est clairement visible, mais lors d'occlusions temporaires, de dérives du champ de vision ou lorsque la cible devient confondable avec des distracteurs. Dans ces scénarios, le robot doit prendre des décisions prédictives concernant l'observabilité future de la cible et l'échelle apparente avant que des preuves fiables ne soient de nouveau disponibles.

Les auteurs identent un mode de défaillance spécifique dans les modèles de prédiction séquentielle conditionnés par l'action, nommé hallucination causale. Dans les modèles de monde standards, la forte corrélation entre les actions de contrôle du robot et les observations liées à la cible peut amener le modèle à halluciner un effet causal direct de l'action actuelle sur l'évidence de la cible. Au lieu de permettre aux actions d'influencer l'évidence future de la cible uniquement via le mécanisme physique du mouvement du robot changeant l'observation, le modèle peut utiliser un « raccourci » en injectant directement l'information de l'action dans l'état de la cible. Cela produit des déroulés futurs plausibles qui possèdent une sémantique incorrecte pour la planification orientée vers le suivi, échouant à distinguer les séquences d'actions qui préservent la visibilité de celles qui ne le font pas.

2. Méthodologie : CST-WM

Pour remédier à l'hallucination causale, les auteurs proposent le CST-WM (Modèle de Monde à Structure Causale), qui impose une contrainte structurelle sur la représentation de la planification.

2.1 Décomposition Causale et Représentation d'État

Le modèle décompose l'état latent $S_\ell$ en trois branches distinctes :

Branche de l'Évidence de la Cible ( $H_\ell$ ) : Une représentation compacte dérivée de l'observation actuelle, composée d'un score de confiance de détection (provenant de GroundingDINO) et d'une aire de cible normalisée (servant de proxy pour l'échelle apparente/distance). Crucialement, cette branche n'est pas une estimation complète de l'état externe, mais un résumé de l'observabilité et de l'échelle.
Branche du Robot ( $x_\ell$ ) : Représente l'état cinématique du robot, intégré à partir de l'historique des actions.
Branche de l'Observation ( $Z_\ell$ ) : Une représentation latente visuelle encodée via un VAE pré-entraîné.

2.2 Transition à Structure Causale

L'innovation centrale est la factorisation de la dynamique de transition pour empêcher l'injection directe d'action dans la branche de l'évidence de la cible. La transition est définie comme :
$p(H_{\ell+1}, x_{\ell+1}, Z_{\ell+1} | H_\ell, Z_\ell, x_\ell, a_\ell) = p(H_{\ell+1} | H_\ell, Z_\ell, x_\ell) \cdot p(x_{\ell+1} | x_\ell, a_\ell) \cdot p(Z_{\ell+1} | Z_\ell, H_{\ell+1}, x_{\ell+1})$

Les contraintes architecturales clés incluent :

Contrainte de Non-Fuite : La mise à jour de la branche de l'évidence de la cible $H_{\ell+1}$ est conditionnée par l'état précédent et l'état du robot, mais exclut explicitement l'action actuelle $a_\ell$ . Mathématiquement, $\frac{\partial \hat{H}_{\ell+1}}{\partial a_\ell} = 0$ .
Chemin de l'Action : Les actions influencent l'évidence future de la cible uniquement indirectement : $a_\ell \to x_{\ell+1} \to Z_{\ell+1}$ (et par la suite $H_{\ell+1}$ via l'observation).
Architecture à Couche Unique : Les branches sont mises à jour dans un ordre fixe (Évidence de la Cible $\to$ Robot $\to$ Observation) avec un masquage strict pour garantir qu'aucune représentation transportant l'information de l'action n'entre dans la mise à jour de l'évidence de la cible.

2.3 Entraînement et Planification

Entraînement : Le modèle est entraîné à l'aide d'un Modèle de Diffusion Probabiliste (DDPM) sur des tuples de transition $(O_\ell, a_\ell, O_{\ell+1})$ . Une perte auxiliaire sensible à la distance est introduite, supervisée par des étiquettes de distance relative provenant uniquement du simulateur, afin d'améliorer la corrélation entre le proxy de l'évidence de la cible et la distance réelle. Cette supervision n'est utilisée que pendant l'entraînement ; aucun signal géométrique privilégié n'est disponible au moment du test.
Planification : Le système utilise le Contrôle Prédictif par Modèle (MPC) via la Méthode de l'Entropie Croissante (CEM). Le planificateur déroule des séquences d'actions candidates en utilisant la dynamique apprise, en les évaluant selon une fonction de valeur qui récompense la visibilité de la cible ( $H_{vis}$ ), l'échelle apparente appropriée ( $H_{area}$ ), la validité de l'action et la sécurité. La première action de la meilleure séquence est exécutée selon un horizon fuyant.

3. Contributions Clés

Formalisation de l'Hallucination Causale : L'article identifie et formalise l'« hallucination causale » comme un échec structurel spécifique des modèles de monde conditionnés par l'action pour le suivi, où les modèles confondent les signaux de contrôle avec l'évidence de la cible.
Architecture CST-WM : La proposition d'un modèle de monde à structure causale qui bloque explicitement l'injection directe d'action dans la branche de l'évidence de la cible, garantissant que l'évidence de la cible n'évolue qu'à travers les conséquences du mouvement propre sur les observations.
Représentation Compacte Orientée à la Planification : L'introduction d'un proxy d'évidence de la cible (confiance de détection + aire normalisée) qui résume l'observabilité et l'échelle sans nécessiter la récupération complète d'un état géométrique ou une supervision privilégiée lors de l'inférence.
Évaluation Complète : Une évaluation rigoureuse sur EVT-Bench et Habitat 3.0, incluant le suivi standard, la récupération de perte de cible, le transfert entre jeux de données et les diagnostics hors ligne (fidélité du déroulé, cohérence de la valeur de planification et analyse de fuite).

4. Résultats Expérimentaux

Les auteurs ont évalué CST-WM par rapport à des bases réactives (ex: TrackVLA, Uni-NaVid) et des modèles de monde adaptés (ex: Navigation World Models) à travers trois configurations :

Suivi Standard : Sur EVT-Bench, CST-WM a atteint le taux de succès le plus élevé (88,7 %), le taux de suivi le plus élevé (83,4 %) et le taux de collision le plus bas (1,41 %). Sur Habitat 3.0, il a amélioré le taux de suivi (0,53), le succès de la plage de distance (0,70) et le succès de l'épisode (0,61) par rapport aux bases.
Récupération de Perte de Cible : Dans des scénarios impliquant des occlusions courtes/longues, des dérives hors champ de vision et des passages de distracteurs, CST-WM a démontré une supériorité dans le succès de réacquisition (ex: 0,84 contre 0,71 pour l'occlusion courte) et des temps de récupération plus rapides.
Diagnostics Hors Ligne :
- Fidélité du Déroulé : CST-WM présente une erreur de prédiction latente plus faible et une AUROC de visibilité de la cible plus élevée sur de longs horizons par rapport aux bases, l'écart de performance s'élargissant à mesure que l'horizon augmente.
- Cohérence de la Valeur de Planification : Le modèle atteint une corrélation de rang plus élevée (Spearman $\rho$ = 0,68) avec les classements induits par le simulateur des séquences candidates, indiquant une meilleure évaluation comparative des comportements futurs.
- Analyse de Fuite : Les diagnostics basés sur le Jacobien ont confirmé que la fuite directe de l'action dans la branche de l'évidence de la cible était réduite à un niveau quasi nul ( $\approx 0,001$ ), alors que les bases présentaient des fuites significatives.

5. Signification et Revendications

L'article soutient que pour le suivi visuel incarné, la prédiction future seule est insuffisante ; la structure prédictive elle-même doit s'aligner sur la manière dont l'évidence de la cible entre dans la planification.

Les auteurs affirment qu'en imposant une structure causale où l'évidence de la cible est mise à jour sans injection directe d'action, le modèle évite les erreurs sémantiques associées à l'hallucination causale. Cet alignement structurel permet un suivi plus stable, un meilleur contrôle de la distance et une réacquisition de cible plus fiable sous occlusion. Les résultats suggèrent que la factorisation proposée améliore à la fois les performances de contrôle en aval et la qualité interne des futurs imaginés.

Les auteurs restent modestes quant à leurs affirmations, notant que :

La méthode repose sur un détecteur (GroundingDINO), et les performances se dégradent si le détecteur échoue (ex: flou important, points de vue extrêmes).
Le proxy d'évidence de la cible n'est pas un estimateur de distance métrique mais un proxy basé sur l'échelle efficace dans une plage spécifique (1–3 m).
L'évidence principale provient de la simulation (EVT-Bench, Habitat 3.0), et bien que des résultats qualitatifs en monde réel soient présentés, des statistiques de robotique physique à grande échelle ne sont pas rapportées.
La contrainte de non-fuite est une exigence structurelle pour la représentation de la planification, et non une revendication de récupération causale complète de la dynamique humanoïde externe.