💻 informatique

Decoupled Entropic-Geometric Planning (DEGP): Verified Conditioning and a Measured Contact-Prediction Boundary in Latent World Models

Cet article introduit le DEGP (Decoupled Entropic-Geometric Planning), un cadre qui traite le compromis entre la perception robuste et l'optimisation de trajectoire stable dans la planification en espace latent en combinant une séparation architecturale avec des bornes spectrales analytiques et une télémétrie d'exécution pour définir les limites opérationnelles de la prédiction conditionnelle au contact.

Auteurs originaux : Mohsen Mostafa

Publié 2026-10-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohsen Mostafa

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots capables de manipuler des objets dans le monde réel sont confrontés à une contradiction fondamentale. Pour voir et comprendre un environnement changeant, un robot a besoin d'une compréhension du monde flexible et de haut niveau, capable de gérer les variations imprévues de l'éclairage ou de la texture. Ce type de perception s'épanouit grâce à des données riches et complexes qui capturent chaque détail possible. Cependant, pour réellement se déplacer et planifier un chemin à travers ce monde, un robot a besoin d'une structure mathématique rigide et prévisible. Les équations qui guident le bras d'un robot doivent être stables et bien comportées, sous peine de voir le robot perdre son équilibre et échouer. Pendant des années, des chercheurs ont tenté de construire un système unique capable de faire les deux : un réseau de neurones qui apprend à voir le monde et qui apprend simultanément la physique de ses mouvements. L'espoir était qu'un seul modèle puisse gérer la réalité désordonnée de la perception et les exigences strictes du contrôle en même la même chose.

Un chercheur s'est proposé de tester si cette approche à modèle unique pouvait fonctionner, et de voir s'il pouvait prouver mathématiquement que son système resterait stable. Il a développé un nouveau cadre appelé « Decoupled Entropic-Geometric Planning » (Planification Géométrique-Entropique Découplée). Au lieu de forcer un seul réseau à tout faire, il a divisé la tâche en deux parties distinctes. La première partie, le moteur de « perception », a été entraînée uniquement à organiser l'information visuelle en un format propre et structuré, en ignorant la manière dont le monde bouge. La seconde partie, le moteur de « contrôle », a été entraînée séparément pour prédire comment ces informations organisées évoluent dans le temps, avec des règles strictes pour garantir que ses prédictions mathématiques restent stables. Il a également construit un système de sécurité, une sorte de chien de garde numérique, qui vérifie constamment les calculs pour s'assurer que la carte interne du robot ne devienne pas trop déformée pour être utilisable.

Le chercheur a commencé par prouver que son approche de séparation fonctionnait exactement comme la mathématique le prédisait. Dans des simulations contrôlées, il a montré qu'en gardant les parties perception et contrôle séparées, il pouvait prévenir l'instabilité mathématique qui frappe habituellement ces systèmes. Il a mesuré une propriété spécifique de la carte interne du robot, connue sous le nom de nombre de condition, qui agit comme une mesure de la facilité avec laquelle le robot peut calculer un chemin. Dans son système, ce nombre restait bas et stable, quel que soit le degré de complexité de la carte ou la distance dans le futur vers laquelle le robot tentait de planifier. Cela a confirmé que sa séparation architecturale avait réussi à isoler le travail désordonné de la vision de la précision du mouvement. Il a également vérifié que ses contrôles de sécurité pouvaient détecter quand le système était sur le point de dériver hors des limites, prouvant que les garanties théoriques tenaient bon en pratique.

Cependant, lorsque le chercheur est passé des simulations à une tâche du monde réel impliquant un bras robotique manipulant un bloc en forme de T, les résultats ont été radicalement différents. Malgré une carte interne mathématiquement parfaite et stable, le robot a échoué à accomplir la tâche lors de chaque tentative. Ils ont effectué cinquante essais sous diverses conditions, et le robot n'a réussi à déplacer le bloc vers son objectif lors d'aucun d'entre eux. La carte interne du robot était stable, mais elle était inutile pour la tâche. Le chercheur a ensuite passé un temps considérable à enquêter sur la raison de cet échec, traitant l'échec non pas comme un bogue, mais comme la découverte d'une limite cachée. Il a systématiquement remplacé différentes parties du système, testant différents algorithmes de planification, différentes manières de transmettre les données au robot, et même différentes versions du moteur de contrôle.

L'enquête a révélé un écart spécifique entre ce que le robot pouvait voir et ce qu'il pouvait utiliser. Le moteur de perception du robot capturait avec succès des informations sur la position du bloc et son contact avec la table ; cette information était présente dans la carte interne du robot. Cependant, la partie du système responsable de la prédiction du futur était totalement aveugle à cette information. Elle n'a pas appris que lorsque le bloc touchait la table, son mouvement changerait. Le modèle interne du robot prédisait que le bloc glisserait de manière fluide indéfiniment, même lorsqu'il était physiquement bloqué. De plus, le chercheur a découvert que la manière dont ils traduisaient la carte interne du robot en un objectif physique était également défaillante. Même lorsqu'ils ont remplacé le modèle appris par un moteur de physique parfait et connu, le robot échouait toujours s'il utilisait la même méthode de traduction défectueuse. Cela a prouvé que l'échec ne concernait pas seulement la capacité du robot à prédire l'avenir, mais aussi la manière dont il interprétait son propre état interne. Plus précisément, l'étude a identifié une explication en deux parties pour l'échec : un écart dans la prédiction de la dynamique conditionnelle de contact, combiné à une limitation dans le « coût décodé par sonde » (probe-decoded cost) utilisé pour guider les actions du robot.

L'étude conclut que le simple fait de séparer les systèmes de perception et de contrôle ne suffit pas à résoudre le problème de la manipulation robotique. Bien que le chercheur ait réussi à construire un système mathématiquement stable et vérifiable, il a mis au jour un problème plus profond : l'information requise pour résoudre la tâche était présente dans la perception du robot, mais le processus d'apprentissage n'a pas réussi à enseigner au système de contrôle comment l'utiliser. Le robot savait où se trouvait le bloc, mais il ne savait pas comment le déplacer lorsqu'il heurtait un obstacle. Le chercheur n'a pas trouvé de solution à cet échec spécifique dans cette étude ; au contraire, il a cartographié les limites exactes de l'endroit où la technologie actuelle se brise. Il a démontré qu'un robot peut posséder une carte interne parfaite et stable, et pourtant échouer à agir parce que la carte ne contient pas les règles physiques spécifiques dont il doit obéir pour la tâche. Ce travail sert de diagnostic rigoureux, montrant que le chemin vers une manipulation robotique réussie nécessite non seulement une mathématique stable, mais aussi un moyen de garantir que la compréhension du monde par le robot inclut réellement les contraintes physiques auxquelles il doit se soumettre.

Résumé Technique : Planification Entropique-Géométrique Découplée (DEGP)

Énoncé du Problème

La perception et le contrôle robotiques imposent des exigences contradictoires sur les représentations apprises. Les architectures de vision déployées dans des environnements industriels nécessitent des caractéristiques à haute entropie et surcomplètes pour survivre aux décalages de domaine (souvent obtenues via des objectifs d'auto-supervision). À l'inverse, les planificateurs basés sur le gradient nécessitent des géométries strictement conditionnées pour permettre la rétropropagation à travers des modèles de dynamique appris sans que les nombres de conditionnement n'explosent sur de longs horizons. L'entraînement des deux au sein d'un même réseau crée une tension fondamentale : les pénalités géométriques déforment la représentation, tandis que la liberté représentationnelle déstabilise le conditionnement du planificateur. Cela se manifeste empiriquement soit par un effondrement représentationnel, soit par un échec de la planification.

Méthodologie : Planification Entropique-Géométrique Découplée (DEGP)

Le DEGP traite cette tension par un découplage architectural strict plutôt que par un compromis. Le cadre sépare le système en trois composantes distinctes :

L'Encodeur Entropique ( $f_\theta$ ) : Entraîné avec un objectif de « perception aveugle » utilisant uniquement une perte de variance-covariance (Éq. 1). Il impose une covariance sphérique pour prévenir l'effondrement mais ne contient aucun terme de reconstruction, de prédiction ou d'invariance. Par conséquent, il préserve l'information mais ne l'organise pas pour des structures pertinentes à la dynamique (ex: contact).
Le Prédicteur Géométrique ( $g_\phi$ ) : Entraîné sur des latents détachés (stop-gradient de l'encodeur) avec un objectif de « contrôle net ». Il utilise une paramétrisation résiduelle ( $g(z, a) = z + f(z, a)$ ) initialisée proche de l'identité, combinée à une pénalité de Jacobien ( $\lambda_2$ ) pour imposer $\|J_g - I\|_F \approx 0$ . Cela garantit que le prédicteur reste localement linéaire et bien conditionné.
Le Planificateur Asymétrique : Optimise un coût de quasi-métrique en laisse. La fonction de coût inclut une projection de différence ReLU pour créer de l'asymétrie et un terme de laisse $\mu$ ( $\mu \|z_T - z_{goal}\|^2$ ) pour garantir la stabilité et empêcher le planificateur d'entrer dans des « cônes aveugles » où le gradient du coût s'annule.

Contrat d'Exécution (Runtime Contract) : Le système emploie un contrat d'exécution basé sur la télémétrie impliquant des portes de pré-déploiement (vérification du nombre de conditionnement $\kappa$ , des bornes spectrales $\epsilon$ et de l'échelle latente), une surveillance continue des budgets de conditionnement, et un mécanisme de surveillance/repli (watchdog/fallback).

Contributions Clés

1. Architecture et Théorie

Pile Découplée : Une séparation formelle entre l'encodeur (préservation de la variance) et le prédicteur (imposition de la géométrie) avec isolation par stop-gradient.
Théorèmes de Conditionnement :
- Théorème 1 : Prouve que sous la condition $\|J_g - I\|_F \le \epsilon < 1$ , le nombre de conditionnement du Jacobien d'état déroulé est borné par $(\frac{1+\epsilon}{1-\epsilon})^{2T}$ , indépendamment de la dimension latente $K$ .
- Corollaire 2 : Établit un budget $\epsilon \cdot T$ , montrant que la stabilité de la planification est maintenue uniquement si le produit de la borne spectrale et de l'horizon reste sous un seuil (ex: $\epsilon \cdot T \lesssim 0.5$ ).
- Théorème 2 : Prouve que la laisse $\mu$ assure un minimiseur global unique et une contraction géométrique de l'erreur, empêissant les points stationnaires en dehors d'une boule de laisse définie.

2. Conditionnement Mesuré et Vérification

Platitude Statistique : Les résultats empiriques confirment que le nombre de conditionnement $\kappa$ reste statistiquement plat à travers les dimensions latentes $K \in \{64, 128, 256\}$ (vérifié via des tests d'équivalence TOST avec 30 graines appariées), alors que les bases non découplées présentent une croissance exponentielle.
Suite de Vérification Exécutable : Une suite de douze tests en ligne cartographie chaque résultat théorique vers un test de réussite/échec, vérifiant l'isolation du gradient, la géométrie de la laisse et les bornes du Jacobien avec des entrées et des tolérances documentées.

3. Limite de Déploiement Attribuée (Résultats Négatifs)

L'article rapporte une étude de déploiement pré-enregistrée dans l'environnement Push-T où toutes les hypothèses de succès ont été infirmées (0/50 succès sur toutes les conditions).

Batterie d'Attribution : Une batterie de diagnostic de 18 conditions a isolé les causes de l'échec.
Constatations : L'échec est attribué à un écart à deux composantes :
1. Écart de Prédiction Conditionnel au Contact : Les latents auto-supervisés (Éq. 1) retiennent l'information de contact (décodable via une sonde avec $R^2 \approx 0.65-0.70$ ), mais les prédicteurs appris ne parviennent pas à exploiter cette information de manière sélective (ratio de sélectivité $\approx 1.0$ , indiquant une cécité au contact).
2. Limitation du Coût Décodé par Sonde : Même avec des dynamiques oracle, l'utilisation d'un coût décodé par une sonde linéaire a supprimé le mouvement, suggérant que la formulation du coût est elle-même un facteur limitant.
Facteurs Non-Contraignants : L'étude a révélé que la famille/l'ordre du planificateur, l'entrée de perception et la laisse de conditionnement n'étaient pas les facteurs déterminants de l'échec dans ce régime.

Résumé des Résultats

Étape 1 (Synthétique/Certification) : Le prédicteur certifié présente un conditionnement invariant à la dimension et satisfait le budget $\epsilon \cdot T$ . La planification basée sur le gradient converge en 2 itérations sur des dynamiques synthétiques, tandis que les planificateurs par échantillonnage (CEM) échouent à des dimensions élevées (le « mur de la dimensionnalité »).
Étape 2 (Images Réelles/Transfert) : Appliqué à des images réelles (MimicGen), la configuration « encodeur gelé + prédicteur DEGP » occupe le « coin déployable » de la modularité et du conditionnement, bien qu'elle dépasse légèrement la directive du budget $\epsilon \cdot T$ ($0.54$ contre $0.5$).
Étape 3 (Déploiement/Attribution) :
- Taux de Succès : 0/50 épisodes réussis dans l'environnement Push-T pour toutes les conditions testées (CEM, PGD, diverses variantes de coût, et diverses versions de modèles).
- Mouvement : Le mouvement du bloc T était négligeable (0.0–1.1 px).
- Parcours du Modèle : L'itération du prédicteur (v1 à v4) a amélioré les ratios de capture de contact (passant de la sous-prédiction à la sur-amplification) mais n'a pas réussi à obtenir de sélectivité (la cécité au contact a persisté).
- Contrôles : Le retrait de la laisse (B1b) a violé le budget de conditionnement mais n'a pas changé le résultat du déploiement (0/10 succès), confirmant que la certification du conditionnement seule ne garantit pas la compétence de la tâche dans ce régime.

Signification et Revendications

L'article positionne sa contribution comme étant méthodologique et diagnostique plutôt que comme une démonstration de succès de tâche.

Conditionnement Vérifié : DEGP fournit un cadre où les affirmations de conditionnement peuvent être explicitement énoncées, vérifiées via des contrôles exécutables et surveillées lors de l'exécution.
Limite Mesurée : La principale contribution est la limite de déploiement expérimentale cartographiée. L'étude démontre que le découplage structurel et le conditionnement géométrique sont insuffisants pour combler l'écart entre l'« information présente » dans une représentation et l'« information utilisée » par un prédicteur de dynamique appris.
Résultats Négatifs comme Données : L'article traite le taux d'échec de 0/50 non pas comme une omission, mais comme une donnée mesurée, utilisant une batterie de diagnostic pré-enregistrée pour localiser l'échec dans l'interaction entre les erreurs de prédiction conditionnelles au contact et le signal de coût.
Questions Ouvertes : La nécessité de la métrique asymétrique et la nécessité de déploiement de la certification du conditionnement restent ouvertes. L'article identifie le prochain problème technique comme le développement d'objectifs rendant l'information de contact décodable apprenable par les prédicteurs sur des latents à haute entropie.

L'étude conclut que si le DEGP parvient à isoler l'interférence de gradient et à garantir des propriétés géométriques, il ne résout pas automatiquement le problème de l'apprentissage de dynamiques qui exploitent ces propriétés pour la manipulation riche en contacts.