Résumé technique : Modèles de monde physiquement viables : plaidoyer pour une IA incarnée conditionnée par requête

1. Énoncé du problème

Les modèles de monde actuels pour l'IA incarnée sont principalement optimisés pour prédire les observations futures à partir de données passées. Bien que ces modèles produisent souvent des déroulements visuellement plausibles, ils échouent fréquemment à représenter la structure physique sous-jacente nécessaire pour répondre à des requêtes d'intervention. Le problème est fondamentalement structurel : des systèmes physiques distincts peuvent générer des observations identiques tout en se comportant différemment sous l'effet d'une intervention (par exemple, des variations de masse, de friction, de viscosité ou de restitution).

Par conséquent, les modèles prédictifs d'observation peuvent recommander des actions irréalisables, mal prédire les résultats d'interactions ou certifier des comportements comme sûrs alors qu'ils seraient dangereux dans la réalité. Cet échec n'est pas simplement une question de manque de données ou d'échelle architecturale ; il découle de l'incapacité des régimes d'entraînement actuels à identifier de manière unique les variables physiques latentes (telles que la densité ou l'état de contact) qui déterminent le résultat d'une action lorsque ces variables ne sont pas directement observables. L'article soutient que l'IA incarnée nécessite des modèles de monde qui sont physiquement viables : construits pour répondre à des requêtes d'intervention spécifiques en représentant l'abstraction physique minimale suffisante pour préserver les distinctions pertinentes pour cette requête.

2. Méthodologie

2.1 Suite d'évaluation contrôlée

Pour exposer les limites des modèles actuels prédictifs d'observation, les auteurs ont construit une suite de bancs d'essai contrôlés où la scène visuelle reste fixe tandis que les paramètres physiques latents varient. L'évaluation cible trois familles de modèles :

1. Modèles de langage et de vision (VLM) : Testés sur la prédiction d'images statiques de résultats physiques.
2. Modèles de diffusion vidéo : Testés sur la génération de continuations vidéo à partir de images clés.
3. Prédicteurs latents conditionnés par l'action : Testés sur des tâches de planification et de contrôle (en utilisant V-JEPA 2).

Les scénarios de test incluent :

• Interactions de corps rigides : Une balle roulant sur une rampe pour frapper des tours de blocs de densités variables (bois vs acier) ou de restitution variables (rebondissant vs rigide).
• Interactions déformables : Collisions avec des murs de gelée de rigidité et de configuration variables.
• Couplage rigide-fluide : Une balle frappant une tasse remplie de niveaux de liquides variables (eau vs viscosité type miel).
• Poussée dépendante du contact : Un bras robotique poussant un mur à différentes hauteurs ou avec différents coefficients de friction au sol.
• Versage dépendant de la viscosité : Un robot versant des liquides de viscosités variables, nécessant des durées de maintien et des profils de mouvement différents pour atteindre un volume cible.

2.2 Cadre proposé : Construction conditionnée par requête

L'article propose de passer d'une « extrapolation d'observation » à une construction de modèle de monde conditionnée par requête qui soit physiquement viable. Cette approche repose sur un orchestrateur autonome qui assemble dynamiquement un modèle de monde pour une requête spécifique. Le processus de construction comprend :

1. Analyse de la requête : L'orchestrateur identifie les distinctions physiques requises pour répondre à la requête (ex: la tâche dépend-elle de la masse, de la friction ou de l'inertie du fluide ?).
2. Sélection de l'abstraction : Il sélectionne l'ensemble le plus simple de variables, de paramètres et de contraintes suffisant pour préserver ces distinctions. Cela évite le besoin d'un simulateur universel à haute fidélité.
3. Composition de composants : Le modèle est composé de composants modulaires et compatibles :
   • Perception et représentation : Mappe les données capteurs (images, LiDAR, force-couple) vers des variables physiques (pose, vélocité, propriétés de matériaux).
   • Estimation de l'état et des paramètres : Estime les quantités latentes (ex: viscosité, masse) ou maintient des bornes d'incertitude si elles ne peuvent être identifiées.
   • Spécification de l'action : Définit les interventions admissibles dans l'espace de variables sélectionné.
   • Dynamique et contraintes : Fait évoluer l'état sous intervention en utilisant des équations analytiques, des solveurs numériques (ex: MPM pour les fluides), des substituts appris ou des modèles hybrides, garantissant que la structure physique déterminant le résultat est préservée.
   • Réponse au niveau de la requête : Retourne la réponse spécifique requise (ex: une trajectoire, un ensemble de reachabilité, une estimation de paramètre ou un certificat de sécurité).

L'orchestrateur agit comme un processus de sélection en boucle fermée, acheminant entre des modèles analytiques, numériques et appris, et révisant la construction si les composants échouent aux tests de compatibilité ou si la requête change.

3. Contributions clés

1. Argument structurel : L'article soutient que les modèles de monde prédictifs d'observation sont structurellement inadéquats pour l'intervention incarnée car ils confondent les régularités perceptuelles et la dynamique physique. Il postule que les modèles de monde incarnés doivent être construits par requête, centrés sur les distinctions physiques dont dépend l'intervention.
2. Démonstration empirique de l'échec : À travers des expériences contrôlées, les auteurs démontrent que les VLM, les modèles de diffusion vidéo et les modèles prédictifs latents échouent à répondre correctement aux requêtes lorsque les variables physiques latentes (densité, restitution, viscosité, hauteur de contact) changent alors que l'apparence visuelle reste constante.
   • Les VLM manquent souvent les résultats seuillés ou construisent des scénarios qualitativement incorrects sous un faible contexte.
   • Les modèles de diffusion produisent des vidéos visuellement cohérentes qui violent les dynamiques de contact, de fluide ou de déformation.
   • Les prédicteurs latents génèrent des trajectoires visuellement plausibles mais physiquement irréalisables (ex: ignorant la friction ou les limites de couple).
3. Cadre de conception modulaire : L'article définit un cadre modulaire pour construire des modèles de monde physiquement viables. Il spécifie les opérations qu'un orchestrateur doit effectuer pour composer ces modèles, en soulignant que la « bonne » abstraction n'est pas le modèle le plus détaillé, mais le plus simple capable de préserver les distinctions pertinentes pour la requête.

4. Résultats

Les résultats expérimentaux mettent en évidence des modes d'échec systématiques à travers différentes familles de modèles :

• Plausibilité visuelle vs validité physique : Les modèles génèrent souvent des déroulements qui semblent réalistes mais qui ne respectent pas les lois physiques (ex: une balle passant à travers une tasse, ou un mur de gelée se comportant comme un bloc rigide).
• Sensibilité aux variables latentes : Lorsque les paramètres physiques comme la densité du matériau ou la viscosité du fluide sont modifiés, les modèles prédictifs d'observation ne parviennent pas à ajuster leurs prédictions en conséquence, revenant souvent à la distribution d'entraînement visuellement la plus similaire.
• Échecs de contrôle : Dans les tâches de planification, les modèles conditionnés par l'action optimisent la similitude visuelle latente plutôt que la faisabilité physique, menant à des trajectoires qui échouent lors de l'exécution dans un simulateur physique (ex: un bras robotique poussant un mur à une hauteur provoquant un basculement plutôt qu'un glissement, ou ne tenant pas compte des propriétés du matériau du mur).

En revanche, l'approche proposée par conditionnement par requête traite avec succès ces échecs en représentant et estimant explicitement les variables latentes pertinentes (ex: inférer la viscosité par un versage de test avant de planifier le versage principal) et en utilisant une dynamique appropriée (ex: simulation MPM pour l'interaction de fluide).

5. Signification et affirmations

L'article affirme que la viabilité physique est une propriété nécessaire pour les modèles de monde utilisés dans la planification, le contrôle, le raisonnement contrefactuel et l'analyse de sécurité. Sa signification réside dans :

• Redéfinition de l'objectif : Passer de l'objectif de « prédire l'observation suivante » à celui de « répondre à des requêtes d'intervention avec une cohérence physique ».
• Principe de conception : Établir que le bon modèle de monde est l'abstraction la plus simple suffisante pour la requête, plutôt qu'une simulation maximalement détaillée.
• Interprétabilité et vérifiabilité : La décomposition modulaire rend les modèles interprétables, leurs composants vérifiables et leurs sorties auditables par rapport à la requête.
• Test de faisabilité : Fournir un critère pour évaluer les modèles existants : préservent-ils les distinctions physiques pertinentes pour l'intervention ?

Les auteurs reconnaissent que la création d'un orchestrateur autonome capable d'identifier la bonne abstraction et de composer des composants reste un problème de recherche ouvert. Ils notent également que la viabilité physique ne surmonte pas les limites fondamentales d'identifiabilité ; les quantités latentes peuvent toujours nécessiter une interaction active ou des réponses conditionnelles si elles ne peuvent être résolues par une observation passive. Cependant, l'article affirme que cette approche identifie une classe d'échecs qui ne peuvent être résolus par la seule augmentation de l'échelle (scaling) et motive des architectures qui représentent explicitement les actions, l'état, la dynamique et les contraintes.