Résumé Technique : Uni-Plan – Planification avec des Modèles Multimodaux Unifiés

Énoncé du Problème

Les progrès récents des grands modèles de langage (LLM) et des modèles vision-langage (VLM) ont suscité un intérêt pour leur utilisation dans la prise de décision et la planification. Cependant, les approches existantes reposent principalement sur un raisonnement textuel, où les entrées visuelles ne sont souvent traitées qu'au stade initial. Cette limitation unimodale restreint la capacité du modèle à représenter fidèlement l'état actuel et à raisonner sur la dynamique spatiale ou visuelle tout au long du processus de planification. Bien que certains travaux tentent d'intégrer des images en invoquant des outils externes (par exemple, l'exécution de code pour la création de graphiques ou des modèles de vision distincts pour la segmentation), ces méthodes manquent d'adaptabilité et de généralisation. De plus, les Modèles Multimodaux Unifiés (UMM), qui supportent nativement des entrées et des sorties multimodales, ont montré des promesses mais souffrent d'une « malédiction de l'horizon ». Plus précisément, ils peinent à agir comme des modèles de dynamique fidèles, échouant souvent à prédire des observations d'états suivants précises, particulièrement dans des environaux stochastiques ou lorsque des effets causaux précis sont requis.

Méthodologie

Les auteurs proposent Uni-Plan, un cadre de planification qui exploite un seul Modèle Multimodal Unifié (UMM) pour servir simultanément quatre rôles distincts : (i) une politique, (ii) un modèle de dynamique, (iii) un auto-discriminateur, et (iv) une fonction de valeur. Le cadre est construit sur le modèle BAGEL, un UMM open-source de pointe.

Composants Clés

1. L'UMM comme Modèle de Dynamique : Le système exige que le modèle prédise l'observation visuelle suivante ($o_{h+1}$) conditionnée par l'observation actuelle ($o_h$) et une action textuelle ($a_h$). Bien que les UMM standards puissent effectuer de l'édition d'image de base, ils échouent souvent à maintenir une cohérence causale dans des scénarios complexes ou stochastiques (par exemple, le réarrangement d'objets avec plusieurs issues valides).
2. Filtrage par Auto-Discrimination : Pour remédier à l'inexactitude des prédictions de la dynamique, les auteurs introduisent un nouveau mécanisme de filtrage. L'UMM est entraîné conjointement pour l'inférence de la dynamique inverse ($P^{-1}_{UMM}(o_h, o_{h+1}) \to a_h$). Lors de la planification, le modèle génère plusieurs observations suivantes candidates. Il opère ensuite en mode de dynamique inverse pour inférer l'action qui mènerait de l'état actuel à chaque candidat. Les candidats ne sont conservés que si l'action inférée correspond à l'action réellement exécutée. Ce processus, combiné à des vérifications de cohérence du nombre d'objets, filtre efficacement les transitions hallucinées ou invalides.
3. Algorithmes de Planification :
   • Planification en Boucle Ouverte (Open-Loop) : Utilisée pour les environnements entièrement observables. La politique (un UMM avec prompt) propose des actions candidates, et le modèle de dynamique les déroule. Une recherche en faisceau (beam search) est effectuée dans l'espace d'états imaginés, où les états successeurs sont filtrés via le filtrage par auto-discrimination et scorés par une fonction de valeur (un UMM affiné prédisant les étapes restantes jusqu'à l'objectif).
   • Planification en Boucle Fermée (Closed-Loop) : Utilisée pour les environnements partiellement observables. Inspirée par le paradigme « proposition, simulation et révision », la politique génère plusieurs séquences d'actions candidates. Le modèle de dynamique simule ces séquences jusqu'à leur horizon, et la fonction de valeur sélectionne la séquence la plus prometteuse. L'agent n'exécute que les $L$ premières actions, observe le nouvel état, et replanifie, permettant une correction continue par rétroaction.

Stratégie d'Entraînement

Contra-irement à de nombreux planificateurs basés sur les VLM qui nécessitent des démonstrations d'experts pour l'ajustement fin (fine-tuning), Uni-Plan est entraîné sur des trajectoires de non-experts. Les modèles de dynamique directe et inverse sont affinés sur des données de transition, tandis que la composante de politique ne nécessite aucun affinement. La fonction de valeur est entraînée sur des données étiquetées pour estimer le nombre d'étapes vers un objectif.

Contributions Clés

1. Filtrage par Auto-Discrimination : Une technique novatrice où le modèle génératif agit comme son propre discriminateur pour filtrer les prédictions de dynamique invalides, améliorant considérablement la fiabilité du modèle de dynamique sans nécessiter d'outils de vérification externes.
2. Cadre de Planification Unifié (Uni-Plan) : Un système où un seul UMM intègre les rôles de politique, de modèle de dynamique, d'auto-discriminateur et de fonction de valeur, permettant une planification intégrée via du contenu visuel généré.
3. Performance Supérieure et Scalabilité : Le cadre démontre des améliorations substantielles par rapport aux méthodes de planification basées sur les VLM dans des tâches de décision incarnées. Il atteint des taux de réussite élevés sans démonstrations d'experts et présente une forte scalabilité des données, surpassant les VLM même lorsqu'ils sont entraînés sur la même quantité de données de non-experts.

Résultats Expérimentaux

Les auteurs ont évalué Uni-Plan sur six tâches de décision incarnée couvrant la navigation 2D, la manipulation et la navigation 3D (incluant FrozenLake, Mini-BEHAVIOR, Language Table, Real World, Active Recognition, et Image-Goal Navigation).

• Performance : Uni-Plan a obtenu des taux de réussite près de 30 % plus élevés que les méthodes de planification basées sur les VLM open-source (incluant les variantes CoT) sur toutes les tâches. Il a également égalé la performance du puissant modèle fermé GPT-5-Thinking.
• Études d'Ablation :
  • Modèle de Dynamique : Le modèle BAGEL affiné a servi de modèle de dynamique hautement généralisable, surpassant de manière significative les modèles entraînés à partir de zéro sur des configurations hors distribution (OOD).
  • Filtrage : Le filtrage par auto-discrimination s'est avéré critique ; le supprimer entraînait une chute significative des taux de réussite de la planification, confirmant que de meilleurs algorithmes de recherche ne peuvent compenser un mauvais modèle de transition.
  • Efficacité des Données : Uni-Plan a atteint une performance solide avec seulement 500 trajectoires, alors que les bases de comparaison VLM n'ont pas réussi à obtenir des résultats compétitifs même avec quatre fois plus de données.
• Efficacité : En utilisant un seul modèle pour générer des images plutôt que des vidéos (comme dans la planification par langage vidéo), Uni-Plan a atteint une accélération d'environ 10× du temps d'inférence par rapport aux bases de comparaison de planification par vidéo.

Signification et Revendications

L'article pose que Uni-Plan représente un changement de paradigme : passer de l'utilisation d'images générées simplement pour la visualisation des traces de raisonnement à l'utilisation de celles-ci comme intermédiaires pour le raisonnement contrefactuel. En simulant plusieurs futurs possibles sous différentes actions, le modèle évalue activement des trajectoires alternatives plutôt que de simplement exposer son processus de pensée.

Les auteurs affirment que ce travail pose les jalons de la recherche future sur le raisonnement et la prise de décision avec les UMM. Ils soulignent que la capacité d'unifier la politique, la dynamique et les fonctions de valeur au sein d'un seul modèle, renforcée par le filtrage par auto-discrimination, offre une approche plus robuste et plus efficace en termes de données pour l'IA incarnée que les paradigmes actuels centrés sur le texte ou dépendants d'outils. Le travail suggère que les capacités de génération multimodale inhérentes aux UMM, lorsqu'elles sont correctement exploitées, peuvent considérablement renforcer la performance du raisonnement visuel et de la planification.