"Don't Do That!": Guiding Embodied Systems through Large Language Model-based Constraint Generation

Ce papier présente STPR, un cadre utilisant des modèles de langage pour transformer des contraintes spatiales et mathématiques complexes exprimées en langage naturel en fonctions Python exécutables, permettant ainsi aux systèmes robotiques de naviguer de manière fiable et efficace dans des environnements simulés.

L'essentiel

🤖 Le Robot et le "Non" Intelligent : Comment éviter les catastrophes sans être un génie

Imaginez que vous donnez des ordres à un robot de ménage. Vous lui dites : "Va nettoyer le salon, mais ne t'approche surtout pas de la cheminée, elle est très chaude !".

C'est simple pour un humain, mais pour un robot, c'est un cauchemar. Comment un robot sait-il ce qu'est une "cheminée" ? Comment sait-il à quelle distance la chaleur devient dangereuse ? Si on lui demande de "réfléchir" directement pour trouver un chemin, il risque de faire des erreurs, d'imaginer des choses qui n'existent pas (des hallucinations) ou de passer juste à côté du feu en se brûlant.

Les chercheurs de ce papier (STPR) ont trouvé une astuce géniale pour résoudre ce problème. Ils ne demandent pas au robot de réfléchir à la solution, mais de coder la règle.

🧠 L'Analogie du Chef Cuisinier et du Garde du Corps

Pour comprendre leur méthode, imaginons une équipe de deux personnes :

1. Le Chef Cuisinier (l'IA Génératrice de Code) : C'est un chef très doué qui parle couramment le langage humain. Il ne sait pas cuisiner lui-même, mais il sait écrire des recettes parfaites.
2. Le Garde du Corps (l'Algorithme de Navigation) : C'est un garde très strict, très logique, mais un peu bête. Il ne comprend pas le français, il ne comprend que des listes de règles mathématiques précises. Il ne fait jamais d'erreur de calcul, mais il ne peut pas inventer de nouvelles règles.

Le problème : Le propriétaire (vous) dit au Chef : "Ne va pas près du feu !".
L'erreur habituelle : Si on demande au Garde de comprendre cette phrase, il va se tromper. Il va peut-être penser que le feu est une fleur ou qu'il peut passer à 1 mètre.

La solution STPR :

1. Le Chef prend votre phrase "Ne va pas près du feu" et écrit une recette mathématique (un petit programme informatique) très précise. Cette recette dit exactement : "Si le robot est à moins de 50 cm du point X, Y, Z, alors c'est interdit."
2. Le Chef donne cette recette au Garde.
3. Le Garde lit la recette. Il ne réfléchit pas, il applique la règle à la lettre. Il trace un chemin qui respecte scrupuleusement l'interdiction.

🛠️ Comment ça marche en pratique ?

Dans le monde réel, c'est un peu plus technique, mais le principe reste le même :

• L'IA (le Chef) transforme votre phrase en langage de programmation (Python). Elle crée une fonction qui agit comme un "champ de force invisible". Si le robot essaie de passer à travers ce champ, la fonction lui dit "STOP !".
• Le Robot (le Garde) utilise des algorithmes classiques (comme ceux qui calculent l'itinéraire GPS le plus court) pour trouver un chemin. Mais avant de valider un point du chemin, il vérifie la "recette" écrite par l'IA. Si le point est dans la zone interdite, il l'efface de la carte et cherche un autre chemin.

🌟 Pourquoi c'est une révolution ?

Les chercheurs ont testé leur méthode dans un simulateur (un monde virtuel) avec quatre situations difficiles :

1. Éviter une caméra de sécurité : Le robot doit rester hors du champ de vision d'une caméra (comme un espion).
2. Éviter un trou caché : Il y a un trou sous un tapis. Le robot ne le voit pas, mais vous lui avez dit "Attention, il y a un trou ici".
3. L'animal dans la cuisine : Si un animal est dans la cuisine, le robot ne doit pas y entrer.
4. La cheminée chaude : Le robot doit calculer la chaleur et rester à une distance de sécurité, même si la cheminée n'est pas un mur physique.

Les résultats ?

• Les robots qui essayaient de "réfléchir" seuls (sans le Chef) tombaient dans les pièges, traversaient les murs ou ignoraient les règles.
• La méthode STPR a réussi 100 % du temps. Le robot a trouvé des chemins sûrs, ou a même su dire "C'est impossible, je ne peux pas passer sans violer la règle" (ce qui est aussi une réussite !).

💡 Le petit secret : Pas besoin d'une super-IA

Ce qui est génial, c'est que le "Chef" n'a pas besoin d'être un modèle d'intelligence artificielle géant et coûteux. Les chercheurs ont montré que même des modèles de taille moyenne, spécialisés dans le code, sont capables d'écrire ces recettes parfaites. C'est comme si un simple technicien informatique pouvait écrire une règle de sécurité que le robot suivra à la lettre, sans avoir besoin d'un super-ordinateur pour réfléchir.

En résumé

Au lieu de demander à un robot de "comprendre" le monde et de "décider" où aller (ce qui est risqué et source d'erreurs), cette méthode lui demande de traduire vos ordres en règles mathématiques strictes, puis de laisser un algorithme infaillible trouver le chemin.

C'est comme donner à un GPS une carte où les zones dangereuses sont déjà barrées en rouge. Le GPS n'a plus qu'à tracer la ligne, et il ne se trompera jamais. C'est simple, sûr, et ça fonctionne avec des robots qui n'ont pas besoin de capteurs miracles pour comprendre vos avertissements.

Résumé technique

1. Problématique

La navigation robotique dans des environnements réels ne se limite pas à atteindre un objectif ; elle doit respecter des contraintes complexes spécifiées par des opérateurs humains via le langage naturel. Ces contraintes sont souvent informelles, implicites, ou conditionnelles (ex: "ne pas s'approcher du feu", "éviter la cuisine si un animal est présent").

Les approches actuelles présentent des limites majeures :

• Planification purement basée sur les LLM : Les modèles de langage (LLM) tentant de générer directement un plan de trajectoire souffrent d'hallucinations (plans physiquement impossibles), d'un manque d'interprétabilité et d'une conformité partielle aux contraintes (ils peuvent ignorer des règles dynamiques).
• Planification traditionnelle (A, RRT) :** Bien que garantissant l'optimalité et la complétude, ces algorithmes ne peuvent pas interpréter nativement les instructions en langage naturel ni intégrer des contraintes sémantiques complexes sans une modélisation manuelle rigoureuse.

Le défi consiste donc à traduire des instructions naturelles complexes en contraintes formelles exécutables pour un algorithme de planification, sans sacrifier la fiabilité ni la sécurité.

2. Méthodologie : STPR (Safe Trajectory Planning with Restrictions)

Les auteurs proposent STPR, un cadre de navigation neuro-symbolique qui sépare la compréhension des contraintes de la prise de décision de trajectoire. Au lieu de demander au LLM de générer un chemin, celui-ci est utilisé pour générer du code Python exécutable définissant les contraintes.

Le processus se déroule en trois étapes principales :

A. Génération de Code de Contrainte par LLM

Le système utilise un modèle de langage (LLM) avec un prompt structuré en quatre parties :

1. Instruction Système : Définit le rôle du robot.
2. Bloc Environnement : Description textuelle de l'environnement (coordonnées des objets, etc.).
3. Bloc Contrainte : Description naturelle de la règle ("ne pas s'approcher du feu") avec des paramètres numériques.
4. Signature Python : Le LLM doit générer une fonction booléenne def is_in_constraints(x, y, z) -> bool qui retourne True si le point est interdit.

Cette approche exploite la forte capacité de codage des LLM pour éviter le raisonnement mathématique complexe en texte libre, réduisant ainsi les hallucinations.

B. Échantillonnage de Nuage de Points (Point Cloud Sampling)

Les fonctions Python générées sont utilisées pour créer une représentation géométrique des contraintes :

• Échantillonnage par Rejet (Rejection Sampling) : Pour chaque fonction de contrainte, le système échantillonne des points dans l'espace 3D. Si la fonction retourne True pour un point, celui-ci est marqué comme un "obstacle virtuel".
• Optimisation : Pour éviter un taux de rejet trop élevé, le LLM est également interrogé pour générer une boîte englobante (bounding box) approximative de la zone interdite, limitant ainsi l'échantillonnage à des zones pertinentes.
• Stockage : Les points interdits sont stockés dans une structure kd-tree pour des requêtes de voisins les plus proches rapides.

C. Planification de Trajectoire Contrainte

Un algorithme de recherche classique (comme A* sur une grille ou RRT* dans un espace continu) opère sur cet espace d'états raffiné.

• Lors de l'expansion d'un nœud, l'algorithme vérifie si la position est à proximité d'un point interdit dans le kd-tree.
• Si oui, le nœud est élagué (considéré comme une collision).
• Cela garantit que le chemin final respecte strictement les contraintes sémantiques tout en bénéficiant des garanties théoriques (optimalité, complétude) des algorithmes de recherche classiques.

3. Contributions Clés

• Cadre Neuro-Symbolique : Introduction de STPR, qui combine la flexibilité des LLM pour la traduction de contraintes et la rigueur des algorithmes de recherche pour la planification.
• Génération de Contraintes Exécutables : Transformation d'instructions "ce qu'il ne faut pas faire" en fonctions Python booléennes interprétables, évitant les erreurs de raisonnement direct des LLM.
• Compatibilité avec des Modèles Compacts : Démonstration que des modèles de code plus petits (ex: Granite-34B-Code) sont suffisants pour générer des contraintes fiables, rendant le système économiquement viable et rapide.
• Indépendance aux Capteurs : Le système permet de respecter des contraintes basées sur des connaissances sémantiques (ex: chaleur d'un feu, présence d'animaux) même si le robot ne possède pas les capteurs physiques appropriés (ex: thermomètre).

4. Résultats Expérimentaux

Les évaluations ont été menées dans un environnement simulé Gazebo/ROS avec un robot Turtlebot 3, couvrant quatre scénarios complexes :

1. Évitement de caméra de sécurité (contraintes de champ de vision 3D).
2. Évitement d'un trou invisible (danger vertical non détectable par LiDAR standard).
3. Règle conditionnelle (éviter la cuisine si un animal est présent).
4. Évitement de chaleur (modélisation physique de la dissipation thermique d'un feu).

Comparaison des performances :

• Taux de réussite (Success Ratio) : STPR a atteint 100 % de conformité sur tous les scénarios. En comparaison, les planificateurs A*/RRT* standards (sans contraintes) ont échoué à 100 % (trajectoires invalides), et les approches VLM (Vision-Language Models) comme GPT-4o ont eu des taux de réussite très faibles (0-10 %) en raison d'hallucinations et de non-respect des contraintes.
• Qualité du chemin : STPR génère des chemins optimaux (A*) ou asymptotiquement optimaux (RRT*). Les approches VLM produisaient souvent des chemins plus longs ou plus courts mais non valides.
• Temps d'exécution : STPR ajoute un délai raisonnable (12 à 18 secondes au total, incluant la génération de prompt et l'échantillonnage), ce qui reste acceptable pour des applications hors temps réel strict. L'utilisation de modèles plus petits (Granite-34B) réduit considérablement le temps de génération de prompt par rapport aux modèles géants (Llama-405B ou GPT-o1).
• Robustesse : Le système fonctionne bien avec des paramètres de décodage par défaut et ne nécessite pas de réglage fin (fine-tuning) complexe.

5. Signification et Impact

Ce travail démontre qu'il est possible d'intégrer de manière fiable les LLM dans la navigation robotique sans compromettre la sécurité. En déléguant la compréhension sémantique aux LLM (pour générer du code) et la prise de décision aux algorithmes de recherche classiques, STPR contourne les défauts inhérents aux LLM (hallucinations, manque de garanties).

L'approche est particulièrement significative car elle :

• Permet de respecter des normes sociales et des règles de sécurité complexes sans capteurs spécialisés.
• Offre une solution évoluable et vérifiable (les contraintes sont du code lisible par un humain).
• Fonctionne avec des modèles de taille modeste, facilitant le déploiement sur des systèmes embarqués.

En conclusion, STPR représente une avancée vers des systèmes robotiques "agentic" capables de comprendre et d'obéir à des instructions humaines complexes tout en garantissant une navigation sûre et mathématiquement fondée.