SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty

Le système SPIRIT propose une autonomie partagée perceptive qui régule dynamiquement le niveau d'autonomie d'un robot en fonction des estimations d'incertitude de la perception par apprentissage profond, basculant vers la téléopération haptique en cas de doute pour garantir une manipulation robuste et sûre.

L'essentiel

Voici une explication simple et imagée de l'article scientifique sur SPIRIT, conçue pour être comprise par tout le monde.

🤖 SPIRIT : Le Robot qui sait quand demander de l'aide

Imaginez que vous avez un robot très intelligent, capable de voir et d'agir grâce à une technologie de pointe appelée "Deep Learning" (apprentissage profond). C'est un peu comme un élève brillant qui a lu des millions de livres.

Le problème : Même les meilleurs élèves peuvent faire des erreurs, surtout s'ils rencontrent une situation qu'ils n'ont jamais vue dans leurs livres. Si ce robot est trop confiant alors qu'il se trompe, il peut casser quelque chose ou blesser quelqu'un. C'est le grand défi des robots aujourd'hui : comment savoir quand on ne sait pas ?

C'est là qu'intervient SPIRIT.

---

🧠 L'idée géniale : La "Confiance Partagée"

SPIRIT ne cherche pas à créer un robot parfait qui ne se trompe jamais (ce qui est impossible). Au lieu de cela, il crée un partenariat entre le robot et un humain.

Imaginez que le robot et l'humain sont deux conducteurs dans la même voiture :

1. Quand le robot est sûr de lui : Il prend le volant. Il conduit tout seul, rapidement et efficacement.
2. Quand le robot commence à douter : Il dit : "Hé, je ne suis plus sûr de ce que je vois !" et il passe le volant à l'humain.

Ce système s'appelle l'autonomie partagée perceptive. Le robot surveille en permanence son propre niveau de confiance.

🛠️ Comment ça marche ? (L'analogie du "Miroir Magique")

Pour savoir s'il fait confiance à ses yeux, le robot utilise une astuce mathématique très intelligente :

• Le Miroir (Le Jumeau Numérique) : Le robot possède une copie parfaite de l'usine ou de la pièce où il travaille, stockée dans son cerveau. C'est comme un plan 3D ultra-précis.
• Le Test de réalité : Quand le robot regarde autour de lui avec sa caméra, il compare ce qu'il voit avec son plan 3D.
• Le Détecteur de doute : Si ce qu'il voit correspond parfaitement au plan, il se dit : "Tout va bien, je suis confiant !". Mais si ce qu'il voit est flou, bizarre ou ne correspond pas au plan (par exemple à cause d'une ombre étrange ou d'un objet caché), son système interne s'alarme : "Attention ! Je ne suis plus sûr de mes calculs !".

Dès que ce doute apparaît, le robot change de mode : il arrête de conduire tout seul et demande à l'humain de prendre le relais via une manette haptique (une manette qui donne des sensations de force).

🎮 L'expérience humaine : Sentir le doute

L'humain qui contrôle le robot ne voit pas juste une vidéo. Il a une manette spéciale qui lui parle :

• Quand le robot est confiant : La manette est douce. Le robot aide l'humain en le guidant, comme un GPS qui vous dit "tournez à droite" tout en tenant le volant.
• Quand le robot doute : La manette devient "lourde" ou résiste. Elle dit à l'humain : "Arrête de faire confiance à l'ordinateur, je ne suis plus sûr, prends le contrôle total !".

C'est comme si le robot vous disait : "Je suis un peu perdu, toi qui es humain, tu as l'œil, guide-nous !".

🏭 Pourquoi c'est important ? (L'exemple de l'usine)

Les chercheurs ont testé SPIRIT dans des situations difficiles, comme dans une usine pétrolière ou chimique :

• Déplacer un robot inspecteur : Le robot doit attraper une cage contenant un petit robot qui va inspecter des tuyaux.
• Fermer une vanne géante : Le robot doit tourner une grosse vanne pour arrêter un flux dangereux.

Dans ces endroits, une erreur peut être catastrophique. Avec SPIRIT, même si la caméra du robot se trompe (à cause de la poussière ou d'une lumière bizarre), le système détecte l'erreur, passe le contrôle à l'humain, et la tâche est accomplie sans accident.

🏆 Le résultat

Grâce à cette idée, SPIRIT a réussi à accomplir des tâches complexes même quand le "cerveau" du robot (l'intelligence artificielle) avait des trous dans sa mémoire.

• Moins d'accidents : Le robot ne force pas quand il ne sait pas.
• Plus de rapidité : Quand il sait, il va vite.
• Sécurité : L'humain est toujours là pour rattraper le coup si le robot panique.

En résumé, SPIRIT est un robot qui a appris l'humilité. Il sait qu'il n'est pas infaillible, et c'est cette capacité à demander de l'aide au bon moment qui le rend vraiment fiable et sûr pour le monde réel.

Résumé technique

Voici un résumé technique détaillé de l'article "SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty".

1. Problématique

L'intégration de l'apprentissage profond (Deep Learning - DL) dans la robotique a permis des avancées spectaculaires en matière de perception. Cependant, ces modèles souffrent d'un manque de robustesse et d'interprétabilité, ce qui rend leur déploiement dans des applications critiques (sécurité, industrie) risqué. Les modèles DL peuvent échouer de manière imprévisible, notamment dans des conditions non vues lors de l'entraînement, sans que le système ne le détecte.

Le défi principal est de concevoir des systèmes robotiques capables de gérer ces incertitudes inhérentes aux méthodes DL. Une approche purement autonome est trop fragile, tandis qu'une téléopération pure est trop exigeante cognitivement et physiquement pour l'humain. Il faut donc un mécanisme permettant de basculer dynamiquement entre l'autonomie et le contrôle humain en fonction de la fiabilité de la perception.

2. Méthodologie : L'Autonomie Partagée Perceptive (Perceptive Shared Autonomy)

Les auteurs proposent un concept nommé SPIRIT (System for Perceptive Interactive Robotic Interaction and Teleoperation), qui repose sur une autonomie partagée perceptive. Le système ajuste le niveau d'autonomie en fonction des estimations d'incertitude fournies par la perception basée sur le DL.

A. Architecture de Contrôle et Interface Humain-Robot

• Principe de l'autonomie partagée : Le contrôle du robot est une combinaison pondérée de l'entrée humaine ($a_h$) et de l'autonomie robotique ($a_a$) :
  $$a(t) = \alpha a_h(t) + (1-\alpha) a_a(t)$$
  où $\alpha$ est le facteur d'allocation d'autorité.
• Gestion de l'incertitude :
  • Si l'incertitude de la perception est faible ($\|\Sigma\| < \beta$) : Le système active des fixtures virtuelles (Virtual Fixtures - VFs) assistées par le DL. Ici, $\alpha = 0.5$, permettant une manipulation semi-autonome performante où le robot guide l'opérateur.
  • Si l'incertitude est élevée ($\|\Sigma\| \ge \beta$) : Le système désactive les VFs et bascule en téléopération haptique pure ($\alpha = 1$). L'opérateur reprend le contrôle total pour assurer la robustesse.
• Interface Utilisateur : L'opérateur reçoit un retour haptique (via un bras robotique KUKA LBR) et visuel (via Microsoft HoloLens 2 en Réalité Mixte). L'interface affiche en temps réel le niveau de confiance, l'incertitude et le niveau d'autorité, permettant une prise de décision intuitive.

B. Perception et Estimation d'Incertitude

Le cœur technique de SPIRIT réside dans sa capacité à quantifier l'incertitude de manière fiable et efficace.

• Jumeau Numérique et Partitionnement : Pour faciliter l'enregistrement de nuages de points (point cloud registration), l'environnement industriel (digital twin) est divisé en plusieurs régimes locaux. Le système ne tente pas d'enregistrer le nuage de points global, mais seulement la partie pertinente du jumeau numérique correspondant à la position actuelle du robot.
• Réseaux de Neurones et NTK : Un réseau de neurones (architecture U-Net 3D sparse) prédit la transformation (rotation et translation) sous forme d'algèbre de Lie.
• Estimation d'Incertitude (GPs et NTK) :
  • Au lieu d'utiliser des méthodes coûteuses comme les ensembles de modèles (Deep Ensembles) ou le Dropout, les auteurs utilisent des Processus Gaussiens (GP) basés sur les Neural Tangent Kernels (NTK).
  • Une approche de type Mixture of Experts (MoE-GP) est employée : un réseau de "gating" assigne chaque entrée à un expert GP spécifique selon le régime de partitionnement.
  • Cette méthode fournit des estimations d'incertitude analytiques et sans échantillonnage (sampling-free), ce qui est crucial pour le temps réel. Elle capture à la fois l'incertitude épistémique (manque de connaissances du modèle) et aléatoire (bruit des données).

3. Contributions Clés

1. Concept d'Autonomie Partagée Perceptive : Une nouvelle approche qui utilise les estimations d'incertitude du DL pour réguler dynamiquement l'autonomie, garantissant la sécurité même en cas d'échec de la perception.
2. Interface Homme-Robot Avancée : Intégration de retours haptiques et visuels (XR) pour communiquer l'état d'incertitude du robot à l'opérateur, améliorant la conscience situationnelle.
3. Méthode d'Estimation d'Incertitude Efficace : Développement d'une approche partitionnée pour l'enregistrement de nuages de points couplée à une estimation d'incertitude basée sur les NTK et les GPs, offrant un compromis optimal entre précision, rapidité et fiabilité.
4. Validation Industrielle : Déploiement réel dans des scénarios industriels complexes (manipulation aérienne, valves, inspection).

4. Résultats Expérimentaux

Les résultats ont été validés par des études d'ablation, une étude utilisateur avec 15 participants et des démonstrations sur un stand industriel.

• Études d'Ablation (Perception) :

  • L'approche partitionnée combinée au DL surpasse les méthodes globales classiques (RANSAC, ICP) et d'autres méthodes d'estimation d'incertitude (Evidential Learning, Conformal Prediction) en termes de précision et de fiabilité des estimations d'incertitude (NLL plus faible).
  • La méthode NTK-GP ajoute une surcharge de calcul négligeable (< 0.1 FPS), permettant un fonctionnement temps réel.

• Étude Utilisateur (Robustesse) :

  • Taux de réussite : Avec le système SPIRIT (gérant l'incertitude), le taux de réussite est de 100 %, même lorsque la perception DL est artificiellement corrompue (bruit ajouté). En comparaison, un système avec des fixtures virtuelles fixes (sans gestion d'incertitude) tombe à 40 % de réussite.
  • Performance : SPIRIT réduit considérablement le temps de complétion des tâches et la charge cognitive (NASA TLX) par rapport à la téléopération pure.
  • Conscience Situationnelle : Les utilisateurs ont rapporté une meilleure compréhension de l'état du robot grâce aux retours haptiques et visuels.

• Scénarios Industriels :

  • Le système a réussi à manipuler des objets lourds et à fermer des valves industrielles en présence de perturbations de perception. Lorsque l'incertitude augmentait (simulant un échec de perception), le système basculait automatiquement en téléopération, permettant à l'humain de terminer la tâche sans collision ni dommage matériel.

5. Signification et Impact

L'article SPIRIT démontre que la perfection du modèle n'est pas une condition sine qua non pour le déploiement du DL en robotique ; c'est la conception du système tenant compte de l'incertitude qui est cruciale.

• Sécurité : Cela permet d'intégrer des méthodes DL "boîte noire" performantes dans des environnements critiques (pétrole, gaz, aéronautique) en garantissant une sécurité intrinsèque via le basculement vers l'humain.
• Héritage : Le travail fait écho au robot Minerva (1998) qui utilisait des approches probabilistes pour la robustesse, mais le réinvente pour l'ère de l'apprentissage profond.
• Reconnaissance : Le prototype SPIRIT a été sélectionné comme finaliste d'un prix majeur d'innovation industrielle et a été démontré avec succès lors de foires industrielles internationales, prouvant sa maturité technologique.

En résumé, SPIRIT offre un cadre robuste pour la robotique de manipulation aérienne et industrielle, transformant l'incertitude du Deep Learning d'un risque en une variable de contrôle exploitable pour la sécurité.