OpenGo: An OpenClaw-Based Robotic Dog with Real-Time Skill Switching

1. Problématique

L'adaptation d'un agent robotique unique à des tâches complexes et à des environnements multiples reste un défi majeur. Les robots quadrupèdes performants, même ceux basés sur l'apprentissage par renforcement, peinent à gérer des conditions extrêmes (neige, brouillard, surfaces réfléchissantes, occlusions partielles) où la perception est dégradée.
De plus, l'intelligence incarnée exige que le robot unisse perception, ancrage sémantique, planification et action sous l'intention humaine. Bien que les grands modèles de langage (LLM) offrent des capacités de raisonnement sémantique prometteuses, leur utilisation directe pour générer des commandes motrices bas niveau entraîne des risques d'hallucinations : des plans linguistiquement plausibles mais physiquement irréalisables, dangereux ou incompatibles avec les contraintes du robot (géométrie de la scène, limites des actionneurs). Il existe donc un besoin critique de combiner la flexibilité sémantique des LLM avec la robustesse et la sécurité des systèmes de contrôle robotique.

2. Méthodologie : Le Framework OpenGo

Pour résoudre ces problèmes, les auteurs proposent OpenGo, un pipeline pour un chien robotique (déployé sur un Unitree Go2) qui repose sur la technologie OpenClaw. L'approche ne permet pas au LLM de générer directement des commandes motrices, mais restreint son rôle à la sélection et à la paramétrisation de compétences pré-validées.

Le système est structuré autour de trois composants clés :

A. Bibliothèque de Compétences Personnalisable (Customizable Skill Library)

C'est le fondement du système. Au lieu d'une politique end-to-end, le comportement est décomposé en modules d'action réutilisables et appelables.

• Structure : Chaque compétence est définie par un modèle structuré contenant :
  • En-tête (Head) : Identifiant et étiquette sémantique.
  • Paramètres : Hyperparamètres ajustables (vitesse, distance, angle) pour l'adaptation à la tâche.
  • Contraintes : Préconditions de sécurité (type de terrain, états valides du robot).
  • Fonction : L'implémentation réelle du code, immuable une fois validée, garantissant une exécution stable.
  • Prompts : Descriptions textuelles pour aider le LLM à comprendre quand et comment invoquer la compétence.
• Sécurité : L'ajout d'une nouvelle compétence passe par une révision de code et une validation en simulation avant d'être intégrée, assurant la fiabilité.

B. Le Dispatcheur (Dispatcher)

Ce module agit comme l'interface entre l'intention humaine et l'exécution robotique.

• Fonctionnement : Il reçoit une description de tâche, des instructions humaines (via langage naturel) et l'état de la scène (perception). Il utilise un LLM pour générer un plan d'exécution structuré : une séquence de paires (compétence, paramètres).
• Rôle restreint du LLM : Le LLM ne fait que sélectionner la compétence appropriée dans la bibliothèque et assigner des paramètres bornés. Il ne peut pas modifier la fonction de contrôle sous-jacente ni générer des commandes brutes.
• Boucle de rétroaction : Un module de vérification d'état (Memory/State Check) surveille l'exécution, détecte les échecs et permet une replanification dynamique.

C. Cadre d'Auto-apprentissage (Self-Learning Framework)

Ce module améliore l'utilisation des compétences au fil du temps sans réécrire le code de contrôle.

• Mécanisme : Il collecte trois types de retours : signaux de réussite de la tâche, journaux d'erreurs (échecs de compétences, états anormaux) et retours humains (via une plateforme de communication comme Feishu).
• Adaptation : Le système ajuste les préférences de sélection de compétences pour certains scénarios (ex: privilégier une compétence qui réussit sur la neige) et affine les paramètres par défaut (ex: longueur de pas) basés sur les schémas de succès/échec.

3. Contributions Clés

1. Architecture Hybride Sécurisée : Une approche qui ancre le contrôle dans une couche de compétences pré-validées, limitant le LLM à des fonctions de haut niveau (sélection et paramétrage), réduisant ainsi drastiquement les risques d'hallucinations dangereuses.
2. Bibliothèque de Compétences Extensible et Validée : Un mécanisme permettant l'importation continue de nouvelles compétences via un processus rigoureux de révision et de simulation, tout en maintenant l'immuabilité des fonctions de contrôle critiques.
3. Interaction Humain-Robot Accessible : Intégration d'une plateforme de communication (Feishu) permettant à des utilisateurs non experts de contrôler le robot par langage naturel et de fournir des retours en temps réel.
4. Apprentissage par Boucle Fermée : Un système capable d'ajuster dynamiquement ses stratégies de dispatching et ses paramètres basés sur l'historique d'exécution et les corrections humaines.

4. Résultats et Expérimentations

Les auteurs ont déployé OpenGo sur un robot quadrupède Unitree Go2 réel.

• Validation Fonctionnelle : Le système a démontré sa capacité à exécuter des tâches complexes (marche, saut, retournement, danse) en suivant des instructions naturelles, en passant d'une compétence à l'autre en temps réel.
• Analyse de Latence :
  • Une distinction a été observée entre l'exécution initiale d'une compétence (latence plus élevée due au chargement et à l'initialisation du LLM) et les exécutions ultérieures (latence réduite grâce au cache).
  • La latence augmente avec la complexité des paramètres et le nombre de compétences composées, mais le système reste fonctionnel pour des tâches de longue durée.
• Interaction : L'intégration avec Feishu a permis une interaction fluide, où les utilisateurs peuvent corriger le robot ou modifier les instructions sans expertise technique.

5. Signification et Limites

Signification :
OpenGo propose une voie viable pour l'intelligence robotique incarnée, en résolvant le conflit entre la flexibilité sémantique des LLM et les contraintes de sécurité physiques. En séparant la décision sémantique (LLM) de l'exécution physique (compétences validées), le système offre un équilibre entre adaptabilité, interprétabilité et sécurité, essentiel pour le déploiement dans des environnements réels et dynamiques.

Limites :

• Latence de Décision : Le temps de réponse du LLM introduit un délai notable, ce qui peut être problématique dans des environnements très dynamiques nécessitant des réactions ultra-rapides.
• Continuité de l'Exécution : Les transitions entre les compétences peuvent créer des ruptures dans le mouvement du robot, rendant la trajectoire moins fluide que celle d'une politique de contrôle end-to-end continue.

Conclusion :
OpenGo établit une fondation évolutive pour l'extension des systèmes d'intelligence incarnée vers des environnements plus complexes. Il démontre que la combinaison de modèles de langage structurés avec des bibliothèques de compétences robotiques est une approche efficace pour rendre l'IA robotique plus fiable et accessible.