Context Matters! Relaxing Goals with LLMs for Feasible 3D Scene Planning

Each language version is independently generated for its own context, not a direct translation.

🍽️ Imaginez que vous êtes un chef cuisinier...

Imaginez que vous êtes un robot cuisinier très intelligent, mais un peu rigide. Votre patron (l'utilisateur) vous donne une mission précise : "Préparez un plateau avec trois snacks et un café pour les enfants."

Dans un monde parfait, vous iriez chercher les snacks dans le tiroir et le café dans la machine. Mais en réalité, la cuisine est un peu chaotique :

Le tiroir des couverts est bloqué.
Il n'y a plus de café.
Par contre, il y a plein de jus de fruits et de bananes sur l'étagère.

Si vous êtes un robot "classique" (très logique mais sans imagination), vous allez dire : "Impossible ! Le tiroir est bloqué et il n'y a pas de café. Je ne peux pas faire la tâche." Et vous resterez planté là, les bras ballants.

Si vous êtes un robot basé uniquement sur une "intelligence artificielle générative" (comme un grand chatbot), vous risquez de faire un rêve éveillé : vous allez vous imaginer ouvrir le tiroir bloqué et verser du café qui n'existe pas. Vous allez essayer d'exécuter ce plan, et vous allez vous cogner contre le tiroir ou renverser de l'eau.

🤖 La solution : "Context Matters" (Le contexte est roi)

Les auteurs de cet article ont créé un nouveau système appelé ContextMatters. C'est comme donner à votre robot un assistant humain très pragmatique qui travaille avec lui.

Voici comment cela fonctionne, étape par étape, avec une analogie simple :

1. Le Dresseur de Carte (La Carte du Monde)

Avant de commencer, le robot regarde la pièce et crée une carte mentale précise (appelée "Graphique de Scène 3D"). Il sait exactement où sont les objets, ce qui est bloqué et ce qui est libre. C'est sa réalité, pas son imagination.

2. Le Duo de Génie : L'Imaginatif et le Logicien

Le système utilise deux cerveaux qui travaillent ensemble :

Le Cerveau "Imaginatif" (LLM) : C'est le grand rêveur. Il comprend le but de la mission ("Je veux nourrir les enfants"). Il a du bon sens.
Le Cerveau "Logicien" (Planificateur Classique) : C'est l'architecte strict. Il vérifie si ce que l'on propose est physiquement possible. "Peut-on vraiment ouvrir ce tiroir ? Non. Alors, plan annulé."

3. La Magie : "Relaxer" l'Objectif

C'est ici que tout change. Quand le Cerveau Logicien dit "Non, c'est impossible", le Cerveau Imaginatif ne panique pas. Au lieu de dire "Échec", il dit : "Attends, regardons autour de nous. On ne peut pas avoir de café, mais on a du jus. On ne peut pas prendre les snacks dans le tiroir, mais il y en a sur l'étagère."

Le système relâche légèrement les contraintes de la mission tout en gardant l'intention originale :

Mission originale : "3 snacks + café".
Nouvelle mission adaptée : "3 snacks + jus de fruit".

Le robot vérifie immédiatement : "Est-ce possible ?" -> Oui ! -> Il exécute le plan.

🧩 L'Analogie du Puzzle

Imaginez que vous essayez de résoudre un puzzle géant.

Les robots d'aujourd'hui essaient de forcer une pièce carrée dans un trou rond. Ça ne rentre pas. Ils s'arrêtent et disent "C'est fini, ça ne marche pas".
ContextMatters, lui, regarde la pièce carrée et se dit : "Tiens, ce trou rond est trop petit. Mais il y a un trou carré juste à côté, ou alors je peux utiliser une pièce triangulaire qui fait la même fonction." Il adapte le puzzle à la réalité de la pièce, pas l'inverse.

🏆 Pourquoi c'est important ?

Les chercheurs ont testé leur système sur un vrai robot (un TIAGo, un bras robotique) dans une vraie maison.

Résultat : Leur méthode a réussi 52% de plus que les meilleures méthodes actuelles.
Le secret : Ils ne se contentent pas de planifier, ils vérifient que le plan est possible dans la vraie vie, et s'ils bloquent, ils changent le but intelligemment pour qu'il reste réalisable.

En résumé

ContextMatters, c'est apprendre aux robots à faire preuve de débrouillardise. Au lieu de se briser les dents sur un obstacle ou de rêver des choses impossibles, ils apprennent à dire : "Je ne peux pas faire exactement ce que tu m'as demandé, mais je peux faire quelque chose d'utile et de très proche, en utilisant ce que j'ai sous la main."

C'est la différence entre un robot qui dit "Je ne peux pas" et un robot qui dit "Je vais faire de mon mieux avec ce que j'ai".

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article "Context Matters! Relaxing Goals with LLMs for Feasible 3D Scene Planning" en français.

1. Problématique

La planification pour les agents incarnés (robots) dans des environnements 3D réels et complexes se heurte à un dilemme fondamental entre deux approches existantes :

La planification classique (PDDL) : Elle offre des garanties de sécurité et de structure, mais échoue souvent face à la perception bruitée ou à une ancrage incorrect des prédicats. Si une condition préalable n'est pas satisfaite (ex: un tiroir est bloqué), le planificateur rejette la tâche sans proposer d'alternative.
Les planificateurs basés sur les LLM (Modèles de Langage) : Ils excellent dans le raisonnement de bon sens et l'interprétation des intentions, mais ont tendance à "halluciner" des préconditions ou des actions inexistantes, produisant des séquences optimistes qui échouent lors de l'exécution réelle.

Le défi central est de concevoir un système capable de ne pas échouer lorsque le but initial est inatteignable, mais d'analyser intelligemment l'environnement pour relâcher l'objectif vers une variante fonctionnellement équivalente et réalisable, tout en préservant l'intention de l'utilisateur.

2. Méthodologie : ContextMatters

Les auteurs proposent ContextMatters, un cadre d'architecture bidimensionnel qui fusionne le raisonnement des LLM et la planification classique pour effectuer une relâche hiérarchique des objectifs.

A. Représentation et Formalisme

Entrée : Un graphe de scène 3D (3DSG) représentant l'environnement et une tâche en langage naturel.
Opérateurs de Relâche : Le système explore deux axes simultanément :
1. Fonctionnalité (Quoi) : Que faut-il accomplir ? (Niveaux d'équivalence sémantique).
2. Faisabilité (Comment/Où) : Où et comment le faire sous contraintes physiques et symboliques ?
Opérateurs Mathématiques :
- Décalage Situationnel ( $\Gamma_{shift}$ ) : Adapte la compréhension du domaine (Objets, Prédicats, État initial) à la scène réelle sans changer l'intention.
- Opérateur de Relâche ( $\Delta_{rel}$ ) : Affaiblit l'objectif (ex: remplacer "fourchettes" par "couverts", ou "3 snacks" par "2 fruits") pour trouver un état satisfiable.

B. Architecture du Système

Le processus suit une boucle itérative (voir Fig. 2 de l'article) :

Génération de Domaine : Un LLM génère un domaine PDDL initial basé sur le 3DSG et la tâche.
Planification et Validation : Un planificateur symbolique tente de résoudre le problème.
- Si échec : Un validateur symbolique (VAL) et un vérificateur d'ancrage fournissent un retour d'information (feedback) sur les erreurs de syntaxe ou d'incohérence avec la scène.
- Le LLM utilise ce feedback pour affiner le problème (correction du domaine PDDL).
Décalage et Relâche de l'Objectif : Si la planification échoue malgré l'affinement, le système déclenche :
- Décalage de l'objectif ( $\Gamma_{goal}$ ) : Le LLM reformule la tâche en utilisant des objets alternatifs présents dans la scène.
- Relâche de l'objectif ( $\Delta_{rel}$ ) : Le LLM propose un objectif plus général (ex: remplacer un objet spécifique par une catégorie, ou réduire le nombre d'objets).
Boucle de Recherche : Le système parcourt un "graphe de relâche" (shifts horizontaux, relaxations verticales) jusqu'à trouver un plan exécutable et ancré dans la réalité.

C. Implémentation

Le système utilise des prompts LLM pour traduire l'architecture abstraite en instructions concrètes. Il intègre une étape de "Distillation de Contexte" pour optimiser la fenêtre de contexte du LLM en ne gardant que les données pertinentes du 3DSG.

3. Contributions Clés

Formalisme de Relâche Contextuel : Une nouvelle approche formelle qui raisonne sur deux axes (fonctionnalité et faisabilité) pour transformer les échecs en objectifs exécutables.
Framework ContextMatters : Une architecture couplant la capacité de proposition des LLM (pour les alternatives) avec la validation rigoureuse de la planification classique (PDDL).
Nouveau Dataset : Création d'un ensemble de données de 141 tâches conçues pour nécessiter un relâche (objets manquants, obstacles), compatible avec les environnements 3D populaires et les 3DSG.
Validation Empirique et Réelle : Évaluation sur des benchmarks de planification 3DSG et démonstration réussie sur un robot TIAGo dans un environnement réel.

4. Résultats Expérimentaux

Les expériences ont été menées sur un ensemble de 141 tâches dans 10 environnements différents, comparant ContextMatters à des états de l'art (LLMAsPlanner, SayPlan, DELTA).

Taux de Réussite (Success Rate - SR) :
- ContextMatters avec relâche atteint un SR de 91,73 % (Planification + Ancrage).
- Cela représente une amélioration de +52,45 % par rapport à la meilleure baseline (DELTA, qui obtient ~39,28 %).
- Sans la fonction de relâche, le SR de ContextMatters chute à 66,94 %, prouvant l'importance cruciale de l'adaptation de l'objectif.
Robustesse : Le système gère efficacement les erreurs d'ancrage et les hallucinations grâce à la boucle de validation symbolique.
Déploiement Réel : Sur le robot TIAGo, la tâche "Apporter 4 snacks pour enfants à la table 2" a été relâchée intelligemment en "Apporter une canette de cola, snack 5, snack 4, snack 3" (remplacement d'un snack manquant par une boisson acceptable pour un enfant, tout en respectant le contexte de sécurité). Le robot a exécuté le plan avec succès.

5. Signification et Impact

Ce travail marque une avancée significative vers une autonomie robotique robuste dans des environnements non structurés.

Changement de paradigme : Il passe d'une logique de "échec si condition non remplie" à une logique d'adaptation contextuelle.
Préservation de l'intention : Contrairement à une simple annulation de tâche, le système maintient le sens global de la demande de l'utilisateur (ex: "servir un repas" reste le but, même si les ustensiles exacts sont indisponibles).
Fusion Hybride : Il démontre que la combinaison du raisonnement sémantique des LLM et des garanties formelles de la planification classique est la voie la plus prometteuse pour le déploiement de robots dans le monde réel, où les conditions idéales sont rares.

En conclusion, ContextMatters transforme les obstacles environnementaux en opportunités de réajustement, rendant les agents incarnés plus résilients et véritablement utiles dans des scénarios domestiques ou industriels réels.