💻 informatique

InteLiPlan: An Interactive Lightweight LLM-Based Planner for Domestic Robot Autonomy

InteLiPlan est un cadre de travail interactif, léger et agnostique vis-à-vis du robot, basé sur les LLM, qui améliore l'autonomie des robots domestiques grâce au calcul embarqué en temps réel et à l'intervention humaine dans la boucle, atteignant un taux de réussite de 95 % dans des tâches complexes avec une récupération après échec sur des plateformes de simulation et en monde réel.

Auteurs originaux : Kim Tien Ly, Kai Lu, Ioannis Havoutis

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kim Tien Ly, Kai Lu, Ioannis Havoutis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un majordome robotique très intelligent et érudit nommé InteLiPlan. Son travail est de vous aider dans la maison, comme vous apporter une boisson ou ranger. Cependant, il y a un pièat : ce robot ne possède pas un superordinateur dans sa tête, et il ne peut pas tout voir parfaitement tout le temps. Parfois, il s'embrouille, ou il essaie de saisir quelque chose qui est en réalité trop loin.

Ce document présente InteLiPlan comme une solution pour rendre les robots domestiques plus intelligents, plus sûrs et plus indépendants sans avoir besoin de quantités massives de données ou de matériel coûteux. Voici comment cela fonctionne, décomposé en concepts simples :

1. Le cerveau « léger »

La plupart des cerveaux de robots avancés aujourd'hui sont comme de gigantesques bibliothèques qui doivent être stockées sur un serveur cloud lointain. Ils sont lourds, lents à charger et nécessitent d'énormes ensembles de données pour apprendre.

InteLiPlan est différent. Considérez-le comme une encyclopédie de poche qui tient directement dans l'ordinateur du robot. Il utilise une version « légère » d'un Grand Modèle de Langage (LLM) — le même type d'IA qui alimente les chatbots — mais qui a été spécialement entraîné pour comprendre les commandes de robot. Il n'a pas besoin d'appeler Internet pour obtenir de l'aide ; il peut réfléchir et décider directement là, sur le robot.

2. Le système des « trois vérifications »

Avant de bouger, InteLiPlan ne se contente pas de deviner. Il agit comme un chef de projet prudent qui effectue trois vérifications rapides avant de donner un ordre :

Les Yeux (Vision) : « Puis-je réellement voir l'objet que vous avez demandé ? »
Le Corps (Faisabilité) : « Même si je le vois, mon bras peut-il physiquement l'atteindre sans cogner la table ? »
La Mémoire (Historique) : « Avons-nous déjà essayé cela et échoué ? Que s'est-il passé la dernière fois ? »

Si la réponse à l'une de ces questions est « Non », le robot ne se contente pas de s'écraser ou d'abandonner. Il s'arrête et dit : « Je ne peux pas faire cela pour le moment. »

3. Le filet de sécurité « l'Humain dans la boucle »

C'est la partie la plus unique. Imaginez que vous demandiez au robot de « m'apporter une boisson ».

Scénario A : Le robot voit un Coca et un Pepsi. Il ne sait pas lequel vous voulez.
Scénario B : Le robot voit le Coca, mais il est derrière une chaise lourde qu'il ne peut pas déplacer.

Au lieu de deviner et de potentiellement échouer, InteLiPlan possède une fonctionnalité de « l'Humain dans la boucle » (Human-in-the-Loop). Il agit comme un élève qui lève la main pour demander de l'aide à son professeur. Il vous dit : « Je vois deux boissons, laquelle ? » ou « Je vois le Coca, mais je ne peux pas l'atteindre. »

Vous donnez alors une correction rapide (par exemple, « Prends le Pepsi » ou « Déplace la chaise d'abord »). Le robot met instantanément à jour son plan et réessaie. Cela rend le système robuste car il admet quand il est bloqué et demande des conseils plutôt que de commettre une erreur.

4. Apprendre sans une bibliothèque massive

Habituellement, pour apprendre un nouveau tour à un robot, vous avez besoin de milliers d'heures de données vidéo. InteLiPlan est comme un caméléon. Il a été entraîné sur un petit ensemble spécifique d'exemples (en utilisant une technique appelée « fine-tuning » ou ajustement fin) qui lui apprend à parler aux capteurs et aux moteurs du robot.

Parce qu'il apprend le langage du robot plutôt que de mémoriser des mouvements spécifiques pour un robot précis, il peut passer d'un Toyota Human Support Robot (qui ressemble à un petit chariot avec des bras) à un ANYmal D (un robot à quatre pattes comme un chien avec un bras) et fonctionner parfaitement sans avoir besoin d'être réentraîné. C'est comme un traducteur universel qui fonctionne pour n'importe quel corps de robot.

5. Résultats en conditions réelles

Les chercheurs ont testé cela sur de vrais robots dans de vraies pièces.

Taux de réussite : Dans une tâche de type « va me chercher », le robot a réussi 95 % du temps, même lorsqu'il devait se rétablir de ses erreurs ou demander de l'aide.
Vitesse : Il peut planifier toute une séquence d'actions en moins de 7 secondes en utilisant uniquement l'ordinateur intégré au robot.
Comparaison : Il a performé aussi bien que des systèmes beaucoup plus grands et coûteux (comme le célèbre système SayCan), mais en utilisant une fraction infime de la puissance de calcul.

Résumé

InteLiPlan est un planificateur intelligent et léger qui permet aux robots domestiques de réfléchir par eux-mêmes tout en sachant quand demander de l'aide. Il vérifie s'il peut voir et atteindre les objets, admet quand il est confus, et utilise les directives humaines pour corriger les problèmes à la volée. Il prouve qu'il n'est pas nécessaire d'avoir un superordinateur pour créer un robot utile, sûr et adaptable pour votre maison.

Résumé Technique de « InteLiPlan : Un planificateur léger basé sur un LLM interactif pour l'autonomie des robots domestiques »

Énoncé du Problème
L'intégration des modèles de langage étendus (LLM) et des modèles vision-langage (VLM) dans la robotique a fait progresser l'IA incarnée, mais des défis importants subsistent pour le déploiement de ces modèles pour l'autonomie domestique. Les approches actuelles reposent souvent sur des ensembles de données massifs, des ressources de calcul hors-bord, ou des spécifications de domaine faites à la main (ex. : PDDL), ce qui limite la scalabilité et le déploiement en temps réel. De plus, les planificateurs existants échouent fréquemment à prendre en compte la cinématique du robot et les contraintes géométriques, menant à des plans qui sont sémantiquement corrects mais physiquement irréalisables. De plus, les systèmes purement autonomes sont confrontés aux difficultés de l'observabilité partielle, de l'ambiguïté des instructions utilisateur et des échecs d'exécution, manquant de mécanismes robustes de récupération sans nécessiter un réapprentissage extensif ou une supervision humaine.

Méthodologie
Les auteurs proposent InteLiPlan, un cadre léger et agnostique vis-à-vis du robot, conçu pour fonctionner entièrement en embarqué en utilisant des ressources de calcul en temps réel. Le système fonctionne comme un planificateur multimodal centralisé qui fait le pont entre les commandes en langage naturel, la perception visuelle et la faisabilité du mouvement.

Formulation d'Entrée Multimodale : Le planificateur accepte trois entrées principales :
1. Commande Utilisateur ( $T_{user}$ ) : Requêtes en langage naturel ou guidage de récupération.
2. Observation Visuelle ( $f_{seen}$ ) : Retour textuel dérivé d'une caméra RGB-D embarquée (utilisant YOLO pour la détection d'objets) indiquant la présence et l'emplacement des objets cibles.
3. Score de Faisabilité ( $f_{score}$ ) : Un signal binaire généré par un module de vérification de mouvement (utilisant un graphe de reachabilité issu de R-LGP) qui détermine si une trajectoire sans collision pour l'ensemble du corps existe vers la cible.
4. Historique ( $T_{hist}$ ) : Un enregistrement de la conversation et des états d'échec précédents pour maintenir le contexte.
Architecture et Fine-Tuning : Le cœur du système est un LLM léger affiné (spécifiquement Mistral 7B et Deepseek 8B). Au lieu de s'appuyer sur du prompting zero-shot ou un entraînement de bout en bout massif, les auteurs emploient l'adaptation de bas rang (LoRA) pour un ajustement efficace des paramètres. Le jeu de données d'entraînement consiste en des exemples de texte pur formatés comme des conversations multimodales (ex. : <history>, <user>, <vision>, <feasibility> $\rightarrow$ <robot>), où la sortie est une séquence directe de primitives d'action (ex. : go, pick, place). Cette approche permet au modèle d'apprendre la correspondance entre les contraintes multimodales et les appels d'API exécutables sans nécessiter de données spécifiques au robot.
Mécanisme d'Humain-dans-la-Boucle (HITL) : Un composant critique du cadre est la capacité de gérer les échecs par l'intervention humaine. Le système catégorise les échecs en planification (vision/faisabilité), confusion de tâche (ambiguïté) et échecs d'exécution. Lors de la détection d'un échec, le robot rapporte le contexte du problème à l'utilisateur. L'humain peut alors fournir un guidage correctif, que le LLM utilise pour replanifier. Ce mécanisme garantit la sécurité et la robustesse dans des environnements domestiques complexes et partiellement observables.

Contributions Clés

Planification Embarquée Légère : Démontre qu'un LLM de 7 milliards de paramètres, lorsqu'il est affiné avec une structure multimodale spécifique, peut atteindre des performances de planification de pointe tout en s'exécutant entièrement sur du matériel embarqué (NVIDIA RTX 2070), éliminant ainsi la dépendance au cloud.
Pipeline Agnostique au Robot : Le cadre ne nécessite pas de réapprentissage pour différents types d'incarnations robotiques. En important les capacités du robot en un ensemble de compétences partagées et en utilisant des graphes de reachabilité pour les vérifications de faisabilité, le même modèle a été déployé avec succès sur deux plateformes distinctes : le Toyota Human Support Robot (HSR) et l'ANYmal D avec un bras Unitree Z1.
Récupération de Défaillance Interactive : Contra à les travaux antérieurs qui se concentrent uniquement sur l'auto-récupération ou la planification de tâches de haut niveau, InteLiPlan intègre explicitement le guidage humain pour les cas limites (ex. : références ambiguës, échecs de vision induits par l'éclairage), améliorant considérablement les taux de réussite dans les scénarios d'échec.
Données Multimodales Textualisées : Les auteurs introduisent une méthode pour convertir les contraintes visuelles et géométriques en signaux textuels pour l'entraînement du LLM, permettant au modèle de raisonner sur la faisabilité physique sans traiter directement les données brutes des capteurs.

Résultats Expérimentaux
Le cadre a été évalué en simulation et sur des robots réels selon trois métriques : succès de la planification de tâche, explication de l'échec et récupération de l'échec.

Robustesse face à l'Échec : Dans la tâche « fetch me » (va me chercher), InteLiPlan a atteint un taux de réussite de 95 % dans les scénarios nécessitant une récupération d'échec. En revanche, les bases basées sur le prompting (Mistral-Prompt, Deepseek-Prompt) ont vu leurs taux de réussite chuter considérablement (par exemple, de 100 % à environ 50 % ou moins) face à des objets ou des commandes inconnus nécessitant une récupération.
Généralisation : La méthode a atteint un succès de 100 % dans les scénarios « sans échec » pour les commandes et objets vus et non vus. Dans les scénarios « avec échec », les modèles affinés (Mistral-Ours) ont systématiquement surpassé leurs homologues basés sur le prompting, particulièrement dans la gestion de la confusion de tâche et des échecs d'exécution.
Scalabilité (Benchmark SayCan) : Évalué sur 101 tâches du jeu de données SayCan, InteLiPlan (Mistral-7B) a obtenu un taux de succès de planification de 83 % et un taux de succès d'exécution de 82 %. Cette performance est comparable au système PaLM-SayCan de 504B de paramètres (84 % de planification, 74 % d'exécution), malgré l'utilisation d'un modèle ayant nettement moins de paramètres et sans données spécifiques au robot.
Trans-Embodiment (Multi-Incarnation) : Le système s'est généralisé avec succès aux plateformes HSR (11-DoF) et Anytree (12-DoF) sans réapprentissage supplémentaire, validant sa nature agnostique au robot.
Latence : Le système génère des séquences d'actions exécutables en moins de 7 secondes sur des ressources embarquées, la vérification de faisabilité étant la composante la plus chronophage (~5s).

Signification et Revendications
L'article affirme qu'InteLiPlan comble l'écart critique entre les capacités de raisonnement des LLM et les contraintes physiques des systèmes robotiques. En combinant un LLM léger et affiné avec un pipeline d'entrée multimodale structuré et un mécanisme de récupération par l'humain dans la boucle, les auteurs démontrent une voie vers une autonomie robotique domestique robuste, interprétable et déployable. Ce travail souligne que la planification de haut niveau ne nécessite pas nécessairement des modèles massifs ou des ensembles de données étendus ; plutôt, une intégration efficace de la perception, des vérifications de faisabilité et du guidage humain permet à des modèles légers d'atteindre une fiabilité comparable à celle de systèmes beaucoup plus vastes. Les auteurs concluent que leur approche réduit l'effort de définition des domaines de tâches traditionnels et offre une solution pratique pour les applications robotiques réelles à ressources contraintes.