Active World-Model with 4D-informed Retrieval for Exploration and Awareness

1. Problématique : La Conscience Physique sous Observabilité Partielle

Le papier aborde le défi de la conscience physique (physical awareness), définie comme la capacité à comprendre un environnement dynamique réel à travers l'espace et le temps. Contrairement à la perception classique qui infère des sémantiques depuis un seul point de vue, la conscience physique doit intégrer des observations partielles, distribuées et asynchrones.

• Le défi fondamental : La conscience physique est un problème de décision sous observabilité partielle (POMDP). Les décisions de capteurs (position, orientation, zoom de la caméra) déterminent ce qui est observable. Inversement, les observations obtenues influencent la qualité des décisions futures.
• Limites des approches actuelles :
  • L'apprentissage par renforcement (RL) fonctionne bien en observabilité totale, mais échoue souvent en POMDP car l'exploration réelle est coûteuse et les mauvaises décisions peuvent masquer définitivement des preuves.
  • Les pipelines Sim-to-Real souffrent de points aveugles dus aux vues non observées.
  • Les modèles du monde génératifs récents (ex: V-JEPA, Genie, Cosmos) privilégient la vraisemblance visuelle et la cohérence à court terme. Ils tendent à halluciner du contenu lorsque les requêtes impliquent des changements importants de point de vue, d'échelle ou des lacunes temporelles, car ils ne distinguent pas ce qui est contraint par des preuves existantes de ce qui est incertain.

L'objectif est donc de créer un environnement substitut natif aux capteurs capable de raisonner de manière contre-factuelle : « Que verrait-on si nous avions agi différemment ? », tout en respectant les contraintes géométriques et temporelles des preuves disponibles.

2. Méthodologie : AW4RE

Les auteurs proposent AW4RE (Active World-model with 4D-informed Retrieval for Exploration), un modèle du monde centré sur la conscience qui estime le processus d'observation conditionné à l'action. Au lieu de maintenir une reconstruction 4D globale coûteuse, AW4RE opère localement au niveau de chaque trame de requête en trois modules couplés :

A. Estimateur d'État Informé par la 4D ($\hat{Z}_1$)

Ce module agrège les preuves spatio-temporelles passées pour estimer l'état latent.

• Récupération de preuves 4D : Pour chaque action de caméra requise à un instant $t$, le modèle sélectionne un sous-ensemble compact de trames passées pertinentes ($I_t$) basées sur une métrique de contribution conditionnée à l'action.
• Distinction Dynamique/Statique : Il utilise les trames de la même heure pour capturer le contenu dynamique et les trames d'autres heures (masquées dynamiquement) pour fournir un échafaudage géométrique stable.
• Sortie : Un nuage de points 3D local servant de proxy géométrique pour la vue requise.

B. Module d'Observation Basé sur les Preuves ($\hat{Z}_2$)

Ce module projette le proxy 3D local dans le plan image de la caméra requise.

• Projection et Densification : Il projette les régions contraintes par les preuves. Si le support géométrique est faible (ex: zoom important), il applique une densification conditionnée à l'action pour générer un signal de guidage basse fréquence.
• Sortie : Une vidéo partiellement remplie ($\tilde{o}^{(k)}$) où les régions supportées par les preuves sont réalistes et contraintes, tandis que les zones non supportées restent explicitement non contraintes (masquées).

C. Module d'Observation Génératif Conditionnel ($\hat{Z}_3$)

• Complétion Vidéo : Un modèle de diffusion vidéo conditionnel complète les régions non supportées de la vidéo partiellement remplie.
• Contrainte : La génération est guidée par la séparation explicite entre le contenu soutenu par les preuves et le contenu incertain, assurant une cohérence temporelle et évitant les hallucinations dans les zones critiques.

3. Contributions Clés

1. Modélisation POMDP pour la Conscience Physique : Formalisation de la conscience physique comme un POMDP spatio-temporel où l'agent optimise des politiques de caméra pour réduire l'incertitude.
2. Architecture AW4RE : Introduction d'un modèle du monde actif qui combine la récupération de preuves 4D, le support géométrique local et la complétion générative conditionnelle.
3. Raisonnement Contre-Factuel : Capacité à prédire ce qui serait observé sous des configurations de caméra jamais vues (changement de point de vue, d'échelle, ou de temps) en s'appuyant uniquement sur des preuves partielles passées.
4. Généralisation Sans Réentraînement : Le modèle s'adapte à de nouveaux environnements en changeant simplement l'ensemble de conditionnement (les preuves), sans nécessiter de reconstruction manuelle ou de réentraînement.

4. Résultats Expérimentaux

Le modèle a été évalué sur le Waymo Open Dataset et comparé à l'état de l'art GEN3C (une approche générative consciente de la géométrie).

• Scénarios de test :
  • Requêtes temporelles partielles : Prédiction de trames futures ou passées avec des données manquantes.
  • Changement d'échelle (Zoom) : Requêtes avec un chevauchement de vue mais un support géométrique sparse.
  • Vue contre-factuelle : Angles de caméra obliques jamais vus auparavant.
• Métriques : PSNR, SSIM, LPIPS (qualité d'image) et T-LPIPS (cohérence temporelle).
• Performances :
  • AW4RE surpasse significativement GEN3C sur toutes les métriques, en particulier dans les régions soutenues par des preuves (Evidence-backed regions).
  • Réduction des hallucinations : Là où GEN3C invente des structures et des détails fins dans les zones mal contraintes, AW4RE maintient la structure géométrique et limite la génération aux zones incertaines de manière cohérente.
  • Stabilité temporelle : AW4RE présente un T-LPIPS nettement inférieur, indiquant une meilleure stabilité des objets et de la scène dans le temps.

5. Signification et Conclusion

Ce travail marque une avancée significative vers des modèles du monde adaptés à la prise de décision robotique et autonome.

• Au-delà de la génération visuelle : Contrairement aux modèles génératifs classiques optimisés pour le réalisme visuel, AW4RE est optimisé pour la fidélité aux preuves. Il distingue clairement ce qui est connu (contraint par les capteurs) de ce qui est inconnu.
• Sécurité et Échelle : En fournissant un environnement substitut fiable pour l'évaluation de politiques de capteurs, AW4RE permet d'entraîner des agents à naviguer et à observer des environnements complexes sans les risques et les coûts associés à l'exploration réelle.
• Futur : Les auteurs envisagent un entraînement end-to-end intégrant l'estimateur d'état et le module d'observation pour améliorer encore la cohérence du système.

En résumé, AW4RE transforme la perception passive en un processus actif et inférentiel, permettant aux systèmes autonomes de « imaginer » des scénarios d'observation plausibles et géométriquement cohérents avant même de les exécuter.