🤖 AI

2.5-D Decomposition for LLM-Based Spatial Construction

Ce papier présente un pipeline neuro-symbolique exploitant une décomposition 2,5D pour améliorer considérablement la précision de la construction spatiale basée sur les LLM en restreignant le modèle à une planification 2D tandis qu'un exécutant déterministe gère les placements verticaux, atteignant des performances proches du plafond sur les benchmarks et démontrant un transfert réussi vers du matériel de pointe et des tâches collaboratives diverses.

Auteurs originaux : Paul Whitten, Li-Jen Chen, Sharath Baddam

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paul Whitten, Li-Jen Chen, Sharath Baddam

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot très intelligent, mais légèrement maladroit, comment construire une tour avec des blocs colorés à partir d'une instruction orale telle que : « Construisez une forme en T et ajoutez un bloc violet au sommet. »

Le problème est que, bien que le cerveau du robot (un modèle de langage de grande taille, ou LLM) soit excellent pour comprendre l'idée de la forme, il est terrible pour faire les calculs nécessaires afin de déterminer où placer les blocs dans l'espace 3D. Il oublie souvent que la gravité existe, empilant des blocs en plein air ou se trompant sur la hauteur d'une pile.

Ce papier présente une solution ingénieuse appelée Décomposition 2,5D. Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème : « L'Architecte Maladroit »

Considérez le LLM comme un architecte brillant capable de dessiner un plan 2D parfait sur une feuille de papier. Il sait exactement où les murs doivent se trouver sur le plan d'étage. Cependant, si vous demandez à cet architecte de calculer également la hauteur exacte de chaque brique individuelle d'une tour 3D, il commence à commettre des erreurs. Il pourrait dire : « Posez une brique ici », sans réaliser qu'il y a déjà une brique en dessous, ou il pourrait les empiler trop haut.

La Solution : « Le Contremaître Infaillible »

Les auteurs ont réalisé que, dans de nombreuses tâches de construction, la hauteur d'un bloc n'est pas un choix libre ; elle est déterminée par la physique. Si vous construisez sur un sol plat avec la gravité, un nouveau bloc doit reposer sur le bloc le plus haut déjà présent. La hauteur est automatique.

Ainsi, ils ont divisé le travail en deux parties :

L'Architecte (Le LLM) : Cette partie n'est autorisée à dessiner que le plan d'étage 2D. Il dit : « Posez un bloc rouge à la position X, et un bloc bleu à la position Z. » Il lui est interdit de parler de hauteur (Y). Il ne planifie que l'« empreinte » du bâtiment.
Le Contremaître (Le Code Déterministe) : Il s'agit d'un programme informatique simple et non réflexif. Sa seule tâche est d'examiner le plan d'étage et de dire : « D'accord, vous voulez un bloc à X et Z ? Eh bien, la gravité dit qu'il doit être posé sur ce qui se trouve déjà là. » Il calcule la hauteur automatiquement.

En retirant la décision de la « hauteur » à l'architecte maladroit et en la donnant au contremaître non réflexif, ils ont éliminé une vaste catégorie d'erreurs.

L'Astuce du « Trou de Serrure »

Le papier mentionne également une « Optimisation de Prompt par Trou de Serrure ». Imaginez que l'architecte soit enclin à des rêveries spécifiques et prévisibles. Par exemple, si vous dites « étendez l'extrémité », l'architecte pourrait accidentellement construire une tour au lieu d'étendre le sol.

Les chercheurs ont créé un système de « vérification rapide ». Avant que l'architecte ne dessine le plan, un scanner rapide examine les instructions. S'il repère une phrase connue pour causer des problèmes (comme « chaque extrémité »), il glisse une toute petite note spécifique à l'oreille de l'architecte : « Hé, quand tu vois « chaque extrémité », souviens-toi d'étendre sur le côté, pas vers le haut. » Cela agit comme un filet de sécurité pour les faiblesses connues de l'architecte.

Les Résultats

Lorsqu'ils ont testé ce système :

L'Ancienne Méthode : Utiliser uniquement le LLM pour tout faire (planification 3D) a donné une précision d'environ 76 % à 90 %.
La Nouvelle Méthode : Utiliser la séparation 2,5D (Architecte + Contremaître) a porté la précision à 94,6 %.
La Surprise : Un modèle d'IA plus petit et moins coûteux (GPT-4o-mini) utilisant cette nouvelle méthode a en fait surpassé un modèle beaucoup plus grand et plus cher (GPT-4o) qui n'utilisait pas la méthode.

Portabilité dans le Monde Réel

Le papier a également montré que cette astuce ne concerne pas un seul ordinateur spécifique. Ils ont fait fonctionner le même système sur une petite puce informatique puissante (un NVIDIA Jetson Thor) pouvant être montée sur la tête d'un robot, et cela a fonctionné aussi bien que les gigantesques ordinateurs dans le cloud.

L'Essentiel

La conclusion principale est simple : Ne demandez pas à un modèle de langage de faire des mathématiques dans lesquelles il est mauvais. Si une partie d'une tâche est fixée par les lois de la physique (comme la gravité déterminant la hauteur), laissez un programme informatique simple gérer cette partie. Laissez l'IA se concentrer uniquement sur les parties créatives et flexibles du plan. Cela rend l'ensemble du système beaucoup plus fiable, même si l'IA elle-même n'est pas parfaite.

Note : Le papier mentionne qu'environ 5 % des erreurs restantes provenaient d'un autre « Agent Architecte » qui répond aux questions de clarification, ce qui constitue une limitation séparée qu'ils n'ont pas pu corriger avec cette méthode spécifique.

Résumé technique : Décomposition 2,5D pour la construction spatiale basée sur les LLM

Énoncé du problème

Les systèmes autonomes chargés de construire des structures physiques à partir d'instructions en langage naturel font face à un écart critique de fiabilité : si les modèles de langage (LLM) excellent dans la compréhension des intentions de haut niveau, ils échouent systématiquement dans le raisonnement spatial précis, en particulier concernant la génération de coordonnées tridimensionnelles. Les benchmarks précédents indiquent que les LLM produisent fréquemment des erreurs de placement vertical, d'empilement décalé d'une unité et de positions dupliquées. Ces échecs découlent de l'absence de modèles internes du monde pour imposer des contraintes physiques, telles que la gravité, qui dictent que la position verticale d'un bloc est strictement déterminée par l'occupation de la colonne située en dessous.

Méthodologie

L'article propose un pipeline neuro-symbolique basé sur une décomposition 2,5D pour résoudre ces erreurs de coordonnées. L'idée centrale est que, dans les domaines de construction contraints par la gravité, l'axe vertical ( $y$ ) n'est pas une variable libre mais une fonction déterministe de la position horizontale ( $x, z$ ) et de l'état actuel de la grille.

Le pipeline de décomposition 2,5D

Le système sépare les tâches de planification et d'exécution en modules distincts :

Planificateur LLM (2D) : Le LLM est restreint à la génération d'un plan dans le plan horizontal bidimensionnel. Il spécifie uniquement les coordonnées $(x, z)$ , les couleurs des blocs, les types d'actions et les quantités. Il est explicitement empêché de produire des coordonnées verticales ( $y$ ).
Exécuteur déterministe (3D) : Un moteur symbolique calcule le placement vertical pour chaque bloc en fonction de l'occupation de la colonne. La coordonnée verticale $y^*$ pour un nouveau bloc à $(x, z)$ est calculée comme la hauteur minimale où la cellule est vide, garantissant que les contraintes de gravité sont strictement respectées :
$y^*(x, z, G) = \min\{y \in \{0, \dots, 4\} \mid (x, y, z) \notin \text{dom}(G)\}$
Cela élimine une classe entière d'erreurs de coordonnées en retirant la dimension $y$ de l'espace de sortie du LLM.

Composants de soutien

Le pipeline inclut quatre mécanismes supplémentaires pour gérer l'ambiguïté et les modes d'échec systématiques :

Analyseur de structure : Détecte les primitives géométriques (par exemple, formes en T, formes en L) dans la grille existante pour informer le planificateur.
Détecteur de sous-spécification : Utilise un cadre décisionnel pour déterminer quand poser des questions de clarification. Il calcule la valeur attendue de l'essai par rapport à la demande, priorisant les inquiries sur les couleurs par rapport aux inquiries sur les quantités en cas d'ambiguïté.
Optimiseur de prompt par fenêtre (Peephole) : Analyse les instructions à la recherche de phrases déclencheuses spécifiques (par exemple, « chaque extrémité », « devant ») connues pour provoquer des erreurs systématiques des LLM. Lorsqu'elles sont détectées, il injecte des corrections ciblées, correspondant à des motifs, et des exemples résolus dans le prompt avant l'appel au LLM.
Vérificateur de plan : Un module basé sur des règles qui valide le plan généré par rapport à l'instruction et à l'état de la grille, effectuant des corrections pour la cohérence de la direction et la plausibilité de l'empilement.

Contributions clés

Décomposition 2,5D : Un modèle architectural novateur qui restreint la planification LLM à un plan horizontal 2D tout en déléguant le placement vertical à un exécuteur déterministe, éliminant efficacement les erreurs de coordonnées verticales.
Optimisation de prompt par fenêtre : Une méthodologie pour identifier les modes d'échec systématiques des LLM déclenchés par des motifs d'entrée spécifiques et les corriger par injection dynamique de prompts, analogue à l'optimisation des compilateurs.
Validation empirique : Démonstration que ce pipeline permet à un modèle plus petit et rentable (GPT-4o-mini) de surpasser un modèle plus grand et plus coûteux (GPT-4o) en termes de précision structurelle.
Cadre décisionnel : Une approche formelle pour gérer les instructions sous-spécifiées (couleurs ou quantités manquantes) en pesant la probabilité d'une bonne hypothèse contre la pénalité de poser une question de clarification.

Résultats expérimentaux

Le système a été évalué sur le benchmark Build What I Mean (BWIM), composé de 160 tours de tâches de construction de blocs.

Précision : Le pipeline complet utilisant GPT-4o-mini a atteint une précision structurelle moyenne de 94,6 % sur 12 exécutions indépendantes.
Comparaison : Ce résultat surpasse le meilleur système concurrent (utilisant GPT-4o sans décomposition) à 76,3 % et la base de référence directe GPT-4o à 90,3 %.
Étude d'ablation : Le retrait de la décomposition 2,5D a causé la baisse de performance la plus significative, réduisant la précision de 50,7 points de pourcentage (à 43,8 %), confirmant qu'elle est le contributeur dominant au succès. La gestion de la sous-spécification et l'optimisation par fenêtre ont également contribué de manière significative (respectivement 17,9 points de pourcentage et 11,3 points de pourcentage).
Déploiement en périphérie : Le pipeline a été transféré avec succès vers du matériel de périphérie local. Nemotron-3 120B, s'exécutant localement sur un NVIDIA Jetson Thor AGX, a atteint une précision de 94,5 % sans modifications de prompt, correspondant aux résultats de GPT-4o-mini basé sur le cloud.
Généralisation : Une expérience de transfert sur 500 tâches issues du dataset de construction collaborative IGLU a montré que la décomposition 2,5D seule a amélioré les scores F1 au niveau des blocs de 0,723 à 0,798, confirmant l'applicabilité de l'approche au-delà du benchmark principal.

Signification et revendications

L'article soutient que la limitation principale dans la construction spatiale basée sur les LLM n'est pas un manque de capacité de raisonnement, mais l'inclusion de dimensions déterministes dans l'espace de sortie du modèle. En identifiant les dimensions calculables à partir de contraintes physiques (comme la gravité) et en les retirant de la responsabilité du LLM, le système atteint une fiabilité comparable au plafond théorique imposé par la qualité de l'agent de clarification (l'« architecte »).

Les auteurs affirment que cette structure 2,5D est un principe généralisable pour tout système autonome où les lois physiques contraignent l'assemblage ou le placement. Les exemples cités incluent la planification de trajectoire de drones (UAV) suivant le terrain (où l'altitude est une fonction de la position horizontale et des données du terrain) et la maintenance automatisée d'équipements (où les chemins d'insertion de pièces sont contraints par la géométrie de la machine). Le travail suggère qu'une opération fiable guidée par les LLM dans des environnements contraints physiquement est réalisable non pas en entraînant des modèles plus grands, mais en concevant des systèmes qui déchargent le raisonnement déterministe vers du code symbolique.

Les auteurs notent un plafond dur sur la précision atteignable : environ 97,6 %, limité par les erreurs de l'agent architecte (un LLM qui répond aux questions de clarification). La précision actuelle du système de 94,6 % ne laisse qu'une marge de 3,0 points de pourcentage pour les améliorations côté constructeur, indiquant que le pipeline proposé a presque maximisé le potentiel du composant constructeur.