IROSA: Interactive Robot Skill Adaptation using Natural Language

Ce papier présente IROSA, un cadre novateur combinant des modèles de langage pré-entraînés et une architecture basée sur des outils pour permettre l'adaptation interactive et sécurisée des compétences robotiques via des commandes en langage naturel, sans nécessiter de fine-tuning du modèle.

L'essentiel

🤖 IROSA : Comment parler à un robot comme à un collègue

Imaginez que vous travaillez dans une usine avec un bras robotique très intelligent, mais un peu rigide. Jusqu'à présent, pour lui dire de changer sa façon de travailler (par exemple, "va plus doucement" ou "évite cette boîte bleue"), il fallait un expert en informatique pour réécrire des lignes de code complexes. C'est comme si vous vouliez changer la recette d'un gâteau, mais que vous deviez réinventer la chimie du four pour le faire.

Les auteurs de cet article ont créé IROSA, un système qui permet de donner ces ordres simplement en parlant, comme vous le feriez avec un humain.

🧩 L'Analogie du Chef et du Sous-Chef

Pour comprendre comment ça marche, imaginez une cuisine de restaurant très occupée :

1. Le Robot (Le Chef de Cuisine) : C'est l'expert qui sait exactement comment faire le plat (le mouvement). Il a appris à saisir une pièce et à la mettre dans un trou grâce à quelques démonstrations. Il est très précis, mais il ne comprend pas le langage humain.
2. L'Intelligence Artificielle (Le Sous-Chef) : C'est un grand cerveau (un modèle de langage) qui parle couramment humain, mais qui ne sait pas cuisiner. Il ne peut pas toucher aux ingrédients directement, sinon il ferait une catastrophe.
3. La Boîte à Outils Sécurisée (Le Comptoir) : C'est la partie la plus importante. Entre le Sous-Chef et le Chef, il y a un comptoir avec des boutons et des leviers prédéfinis et sécurisés.

Comment ça fonctionne ?

• L'ancien problème : Si vous disiez "Fais un gâteau en forme de dragon", le Sous-Chef (l'IA) essayait d'écrire le code pour le faire. Parfois, il inventait des choses qui ne marchaient pas ou qui étaient dangereuses (comme mettre du verre dans le gâteau).
• La solution IROSA : Quand vous dites "Va plus doucement avant d'arriver à la boîte", le Sous-Chef ne réécrit pas le code. Il regarde la Boîte à Outils. Il voit un bouton étiqueté "Ralentir". Il appuie dessus et règle le bouton sur "50%".
• Le résultat : Le Chef (le robot) reçoit l'ordre via le bouton sécurisé. Il ralentit parfaitement, sans risque d'erreur, tout en gardant sa précision habituelle.

🛠️ Les Trois Super-Pouvoirs du Robot

Grâce à cette méthode, le robot peut comprendre trois types de demandes courantes dans l'industrie :

1. Le "Ralentisseur" (Modulation de vitesse) :

   • Vous dites : "Ralentis de moitié quand tu approches de la pièce fragile."
   • Ce qui se passe : Le robot appuie sur le bouton "Ralentir" pour la partie précise du mouvement. Il ne change pas la trajectoire, juste le rythme, comme un musicien qui joue une note plus lentement.

2. Le "Détour" (Insertion de points de passage) :

   • Vous dites : "Va vérifier la caméra sur la gauche avant de poser la pièce."
   • Ce qui se passe : Le robot ajoute un point de passage invisible sur son chemin. C'est comme si vous dessiniez un petit détour sur une carte GPS pour passer devant un magasin, sans changer la destination finale.

3. Le "Bouclier" (Évitement d'obstacles) :

   • Vous dites : "Évite la boîte bleue !"
   • Ce qui se passe : Le robot crée une zone de sécurité imaginaire autour de la boîte bleue. Si son chemin prévu traverse cette zone, il repousse automatiquement sa trajectoire, comme un aimant qui repousse un autre aimant, pour passer au-dessus ou autour sans toucher.

🛡️ Pourquoi c'est plus sûr que les autres méthodes ?

D'autres systèmes essayent de faire parler le robot directement. C'est comme donner un couteau de chef à un enfant : c'est flexible, mais dangereux. Si l'enfant (l'IA) se trompe, il peut blesser le robot ou casser la pièce.

IROSA, c'est comme donner un télécommande à l'enfant. Il ne peut appuyer que sur les boutons qui existent déjà (Ralentir, Tourner, Éviter). Il ne peut pas inventer de nouveaux boutons dangereux.

• Transparence : On sait exactement ce que le robot va faire car on voit quel bouton il a appuyé.
• Sécurité : Même si l'IA fait une erreur d'interprétation, elle ne peut pas casser le robot car elle est limitée par les boutons sécurisés.
• Pas de réapprentissage : On n'a pas besoin de rééduquer le robot à chaque fois. On utilise simplement les boutons.

🏁 En résumé

Cette recherche montre que nous pouvons bientôt dire à nos robots industriels : "Hé, va plus doucement là-bas, il y a un obstacle" et qu'ils le feront instantanément, en toute sécurité, sans qu'un ingénieur ne doive toucher à une seule ligne de code. C'est le début d'une collaboration naturelle entre l'humain et la machine, où l'on parle, et le robot exécute avec précision.

Résumé technique

Voici un résumé technique détaillé de l'article "IROSA: Interactive Robot Skill Adaptation using Natural Language", rédigé en français.

1. Problématique

L'industrie robotique a de plus en plus besoin de systèmes flexibles et adaptatifs capables d'être reconfigurés pour des tâches et des environnements variés sans nécessiter de reprogrammation experte. Bien que les grands modèles de langage (LLM) offrent un potentiel immense pour rendre l'adaptation des compétences robotiques accessible via le langage naturel, leur application directe dans des contextes industriels se heurte à des défis majeurs :

• Sécurité et Fiabilité : Les approches "end-to-end" (apprentissage direct des politiques) manquent souvent de garanties de sécurité, de traçabilité et de prévisibilité, ce qui est critique pour les déploiements industriels.
• Interprétabilité : Les modèles générant directement des trajectoires ou du code sont souvent des "boîtes noires", rendant difficile la vérification des décisions prises par le robot.
• Dépendance aux données : De nombreuses méthodes nécessitent un réentraînement coûteux ou des boucles d'optimisation complexes (simulation) pour chaque nouvelle instruction.

L'objectif de l'article est de proposer une méthode permettant d'adapter les compétences d'un robot via des commandes en langage naturel tout en préservant les principes de contrôle établis, la sécurité et l'interprétabilité, sans nécessiter de fine-tuning du modèle de langage.

2. Méthodologie : Architecture IROSA

Les auteurs proposent IROSA (Interactive Robot Skill Adaptation), un cadre basé sur une architecture orientée outils (tool-based architecture). Cette approche maintient une séparation stricte entre la compréhension du langage (LLM) et le contrôle robotique (génération de trajectoire).

A. Représentation des Compétences : KMP

Le cœur du système repose sur les Primitives de Mouvement Kernelisées (KMP - Kernelized Movement Primitives).

• Les KMP apprennent une compétence à partir d'un petit nombre de démonstrations (2 à 5) via un apprentissage par démonstration (LfD).
• Ils modélisent la trajectoire comme une distribution probabiliste, permettant une adaptation temporelle et spatiale rigoureuse via l'incorporation de contraintes (points de passage ou via-points).

B. Architecture Orientée Outils

Au lieu de laisser le LLM générer directement des trajectoires ou du code exécutable, le LLM agit comme un sélecteur et un paramétriseur d'outils prédéfinis et validés.

1. Sélection d'outils : L'utilisateur donne une instruction (ex: "ralentis avant la boîte"). Le LLM analyse l'intention et sélectionne l'outil approprié dans une boîte à outils JSON (ex: SpeedUpRobot, ViaPointInsertion, RepulsionPoint).
2. Paramétrisation : Le LLM extrait les paramètres nécessaires (ex: pourcentage de ralentissement, position de l'obstacle) basés sur l'instruction et les observations de l'environnement.
3. Validation et Exécution : Avant l'exécution, les paramètres sont validés (types, plages de valeurs sûres). Si valide, l'outil modifie la représentation interne du KMP (distribution de référence) de manière déterministe.

C. Types d'Adaptation

Le système gère trois types principaux d'adaptations industrielles :

• Modulation de vitesse : Ajustement temporel de segments de trajectoire (ex: "ralentis de 50%").
• Insertion de points de passage (Via-points) : Modification spatiale pour corriger la trajectoire (ex: "approche par le haut").
• Génération de points de répulsion : Éviter les obstacles en ajoutant des contraintes de répulsion basées sur un champ de distance signé (SDF), forçant le KMP à dévier la trajectoire.

3. Contributions Clés

1. Architecture de séparation stricte : Une conception modulaire qui isole le LLM du contrôle bas niveau, garantissant que le robot n'exécute que des fonctions validées, éliminant ainsi les risques liés aux "hallucinations" des LLM.
2. Extensions KMP pour le langage naturel : Développement de nouvelles primitives permettant la modulation de vitesse et l'évitement d'obstacles pilotés par le langage, dépassant les contraintes traditionnelles des points de passage.
3. Adaptation "Zero-Shot" sans réentraînement : Le système fonctionne avec des LLM pré-entraînés (locaux) sans nécessiter de fine-tuning spécifique à la tâche ni de boucles d'optimisation par simulation.
4. Validation expérimentale industrielle : Mise en œuvre réussie sur un robot DLR SARA à 7 degrés de liberté (DoF) pour une tâche d'insertion de bagues de roulement, démontrant une adaptation fiable et explicable.

4. Résultats Expérimentaux

Les expériences ont été menées sur un robot réel effectuant une tâche d'insertion industrielle. Les résultats sont comparés à l'état de l'art (OVITA, une méthode générant du code).

• Performance : IROSA a atteint un taux de réussite de tâche (TCR) de 100% sur tous les scénarios (ajustement de vitesse, correction de trajectoire, évitement d'obstacles).
• Comparaison avec OVITA :
  • Avec un LLM local (Qwen2.5-VL-72B), IROSA a surpassé OVITA en termes de fiabilité. OVITA a vu ses performances chuter drastiquement (TCR à 0% pour l'évitement d'obstacles) lorsqu'il est passé d'un LLM cloud à un LLM local, en raison de la génération de code incorrect ou non conforme à l'intention.
  • IROSA a réduit le temps de réponse de 43% par rapport à OVITA (15,4s contre 27,1s) tout en maintenant une précision parfaite.
• Robustesse : Le système a démontré une capacité à interpréter des commandes variées (relatives et absolues) et à les traduire en modifications de trajectoire sûres et prévisibles.

5. Signification et Impact

Ce travail est significatif car il propose une voie pragmatique pour intégrer l'IA générative dans l'industrie robotique :

• Sécurité par conception : En limitant le LLM à la sélection d'outils validés plutôt qu'à la génération directe de commandes, le système garantit un comportement robotique prévisible et vérifiable.
• Accessibilité : Permet aux opérateurs non-experts de reconfigurer des tâches robotiques complexes via le langage naturel, sans connaissances en programmation.
• Déploiement local : L'approche fonctionne avec des LLM locaux, ce qui est crucial pour les environnements industriels où la confidentialité des données et la latence sont des contraintes majeures.
• Évolutivité : L'architecture modulaire permet d'ajouter de nouveaux outils pour étendre les capacités du robot sans modifier le modèle de langage sous-jacent.

En résumé, IROSA démontre qu'il est possible de combiner la flexibilité des modèles de langage avec la rigueur des méthodes d'apprentissage par démonstration probabilistes pour créer des systèmes robotiques industriels à la fois intelligents, sûrs et transparents.