SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty

Het paper introduceert SPIRIT, een systeem voor perceptieve gedeelde autonomie dat onzekerheidsschattingen van diepe leermodellen gebruikt om de besturing naadloos over te schakelen tussen semi-autonome manipulatie en haptische teleoperatie, waardoor robuuste en veilige robotmanipulatie mogelijk wordt ondanks de beperkingen van diepe leerperceptie.

De kern

Titel: SPIRIT: De Slimme Robot die weet wanneer hij hulp nodig heeft

Stel je voor dat je een robot hebt die zo slim is dat hij bijna alles zelf kan doen. Hij ziet de wereld door de ogen van een zeer geavanceerde camera (een "Deep Learning" hersenstam) en kan bijvoorbeeld een sleutel omdraaien of een zwaar object vastpakken. Maar er is een probleem: deze robot is soms te zelfverzekerd.

Net als een mens die denkt dat hij een weg kent, maar in het donker op de verkeerde afslag belandt, kan de robot ook fouten maken zonder dat hij het merkt. Als hij dan toch alles zelf probeert te doen, kan het misgaan.

De onderzoekers van dit papier hebben een oplossing bedacht genaamd SPIRIT. Het is een systeem dat de robot leert om niet alleen te kijken, maar ook te twijfelen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Twijfel-Alarm" (Onzekerheid)

Normaal gesproken denkt een robot: "Ik zie een knop, ik draai hem om."
Met SPIRIT denkt de robot: "Ik zie een knop, maar mijn camera is een beetje wazig door de schaduwen. Ik ben niet zeker of ik het goed zie."

In plaats van blindelings door te gaan, kijkt SPIRIT naar een "onzekerheids-meter".

• Groene licht (Zekerheid): De robot ziet alles duidelijk. Dan gaat hij op semi-autonoom stand. Hij helpt de mens door de bewegingen te verfijnen, alsof hij een stevige hand op je schouder legt om je te helpen de knop precies goed te draaien. Dit noemen ze virtuele hulpmiddelen.
• Rood licht (Twijfel): De robot ziet iets vaags of vreemds. Dan schakelt hij direct over naar tele-operatie. Hij geeft de controle volledig terug aan de mens en zegt: "Ik weet het niet zeker, jij doet het maar!"

2. De "Vliegend Tuig" (De Robot)

De robot in dit verhaal is geen gewone robot op wielen. Het is een vliegende robotarm die aan een kabel hangt (zoals een kraan, maar dan slimmer).

• Waarom vliegen? Stel je voor dat je in een olieveld moet werken met duizenden pijpen. Soms moet je ergens komen waar je niet kunt lopen. Een vliegende robot kan daarheen zweven.
• Het gevaar: Omdat hij in de lucht hangt, is het riskant. Als hij een fout maakt en tegen een pijp botst, kan er iets breken of kan hij vallen. Daarom is het cruciaal dat hij niet zelfverzekerd is als hij het niet zeker weet.

3. De "Geestelijke Kracht" (De Menselijke Operator)

De mens zit niet naast de robot, maar ver weg in een kantoor. Hij bestuurt de robot via een haptische controller (een joystick die trilt en duwt) en een bril (HoloLens) die hem laat zien wat de robot ziet.

• De slimme interface: Als de robot twijfelt, voelt de mens dat! De joystick wordt zwaarder of trilt anders. De bril toont een waarschuwing. Het is alsof de robot fluistert: "Hé, ik zie hier iets raars, pas op!"
• De mens kan dan ingrijpen en de robot handmatig besturen totdat de robot weer zeker is van zijn zaak.

4. De "Gedeelde Autonomie" (Samenwerken)

Dit is het kernidee van het papier: Gedeelde autonomie.
Stel je voor dat je een auto rijdt met een slimme navigatie.

• Als de weg duidelijk is, laat de navigatie je zelf sturen, maar helpt hij je om in de juiste rijbaan te blijven (semi-autonoom).
• Als de navigatie denkt dat er een storm komt of de weg onduidelijk is, zegt hij: "Oké, ik geef de controle terug aan jou, rij zelf!"

SPIRIT doet precies dit, maar dan met een robotarm. Het combineert de snelheid en kracht van de robot met het oordeel en de ervaring van de mens.

Waarom is dit belangrijk?

Vroeger dachten we dat we robots moesten maken die nooit fouten maakten. Dat is bijna onmogelijk.
Deze paper leert ons een nieuwe les: Het is niet nodig dat de robot perfect is; het is nodig dat het systeem slim genoeg is om te weten wanneer de robot het niet perfect doet.

Door de robot te laten "twijfelen" en de mens erbij te halen op het juiste moment, kunnen we robots veilig gebruiken in gevaarlijke situaties (zoals in fabrieken of bij lekkages), zelfs als hun "hersenen" (de AI) soms een foutje maken.

Kortom: SPIRIT is een robot die durft te zeggen: "Ik weet het niet zeker, help me!" en dat is precies wat hem zo betrouwbaar maakt.

Technische samenvatting

Hier is een gedetailleerd technisch samenvatting van het paper "SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty", vertaald en samengevat in het Nederlands.

1. Het Probleem

Diep Leeren (Deep Learning - DL) heeft indrukwekkende vooruitgang geboekt in robotperceptie, maar de toepassing ervan in veiligheidskritische scenario's wordt gehinderd door twee hoofdproblemen:

• Gebrek aan betrouwbaarheid: DL-modellen kunnen onverwacht falen, vooral wanneer testomstandigheden afwijken van de trainingsdata (bijv. nieuwe omgevingen of sensorruis).
• Interpreteerbaarheid: De interne werking van DL-modellen is vaak een "black box", waardoor het moeilijk is om te bepalen wanneer een voorspelling onbetrouwbaar is.

Traditionele probabilistische robotica (zoals bij de robot Minerva in de jaren '90) hanteerde onzekerheid expliciet om robuust te handelen. Moderne systemen negeren deze onzekerheid vaak op systeemniveau, wat leidt tot falen wanneer DL-perceptie fouten maakt. Het doel van dit paper is een systeem te creëren dat DL-perceptie veilig integreert door onzekerheid expliciet te meten en de autonomie daarop aan te passen.

2. Methodologie: SPIRIT en Perceptieve Gedeelde Autonomie

De auteurs introduceren SPIRIT (Shared Autonomy for Robotic Manipulation under Deep Learning Uncertainty), een systeem dat perceptieve gedeelde autonomie (perceptive shared autonomy) implementeert.

A. Het Concept van Gedeelde Autonomie

Het systeem schakelt dynamisch tussen twee modi op basis van de geschatte onzekerheid van de robot:

1. Semi-autonome manipulatie: Wanneer de perceptie hoog vertrouwen heeft (lage onzekerheid), activeert het systeem "Virtual Fixtures" (VF). Dit zijn krachten die de operator helpen bij het uitvoeren van taken, waardoor de prestaties worden verbeterd.
2. Haptische teleoperatie: Wanneer de perceptie onzekerheid detecteert (hoge onzekerheid), schakelt het systeem over naar volledige teleoperatie. De autonome hulp (VF) wordt uitgeschakeld en de operator neemt de volledige controle over via haptische feedback, wat robuustheid garandeert.

De overgang wordt geregeld door een autoriteitsfactor $\alpha$, gebaseerd op een drempelwaarde $\beta$ van de onzekerheidsmeting ($\|\Sigma\|$).

B. Onzekerheidsbewuste Perceptie (Point Cloud Registratie)

Om betrouwbare onzekerheidsschattingen te krijgen voor DL, gebruiken de auteurs een gepartitioneerde aanpak voor point cloud registratie:

• Digitale Twins: De omgeving wordt gemodelleerd als een digitale twin. Deze twin wordt opgedeeld in lokale regio's (partities) die overeenkomen met specifieke taken (bijv. het grijpen van een kraan, het draaien van een klep).
• Lokaal Trainen: In plaats van één groot model voor de hele wereld, worden er specifieke DL-modellen getraind voor elke regio. Dit maakt het registratieprobleem eenvoudiger en nauwkeuriger.
• Onzekerheidsschatting met NTK-GP: Voor onzekerheid wordt een Gaussian Process (GP) gebruikt met een Neural Tangent Kernel (NTK).
  • Dit is een "sampling-free" methode (geen Monte Carlo dropout of ensembles nodig), wat cruciaal is voor real-time toepassing.
  • Het systeem gebruikt een "Mixture of Experts" (MoE) architectuur waarbij een "gating function" bepaalt welk expert-GP-model actief is op basis van de huidige taakstatus.
  • De covariance matrix ($\Sigma$) uit het GP-model dient als maat voor de onzekerheid.

C. Mens-Robots Interface (HRI)

De operator krijgt feedback via:

• Haptische feedback: Een kracht-feedback apparaat (KUKA LWR) dat de operator voelt wanneer de robot "hulp" biedt of wanneer deze terugtrekt.
• XR (Mixed Reality): Een Microsoft HoloLens 2 toont visuele feedback, waaronder de huidige onzekerheidswaarden, de status van de autonomie en 3D-visualisaties van de omgeving.
• Telemetrie: Real-time weergave van de autoriteitsfactor en onzekerheidsniveaus.

3. Belangrijkste Bijdragen

1. Concept van Perceptieve Gedeelde Autonomie: Een nieuw raamwerk waarbij het niveau van autonomie dynamisch wordt gereguleerd op basis van DL-perceptie-onzekerheid, in plaats van op basis van statische regels.
2. Onzekerheidsbewuste Point Cloud Registratie: Een partitioneerde DL-architectuur gecombineerd met NTK-GP voor snelle, sampling-free onzekerheidsschatting die direct gekoppeld is aan de fysieke taakregio's.
3. Integratie van Haptiek en XR: Een gebruiksvriendelijke interface die onzekerheid intuïtief communiceert aan de menselijke operator via krachtfeedback en visuele hulpmiddelen.
4. Validatie in Industriële Scenarios: Het systeem is getest op een zwevende (floating-base) platform (een kabel-opgehangen aerial manipulator) in realistische industriële scenario's (pijpleidinginspectie en klepbediening).

4. Resultaten

De auteurs hebben het systeem geëvalueerd via ablatiestudies, een gebruikersstudie en industriële demonstraties:

• Ablatiestudies: De partitioneerde aanpak met NTK-GP presteerde beter dan bestaande methoden (zoals RANSAC, Deep Global Registration en Evidential Learning) in termen van nauwkeurigheid, runtime en betrouwbaarheid van de onzekerheidsschatting (gemeten via Negative Log Likelihood). Het systeem detecteerde falen (Out-of-Distribution) betrouwbaar.
• Gebruikersstudie (15 deelnemers):
  • Succes率: SPIRIT bereikte een 100% succes率 bij taken, zelfs wanneer DL-perceptie bewust werd verstoord. In tegenstelling hiermee faalde een systeem zonder onzekerheidsregulatie (vanilla-VF) in 60% van de gevallen.
  • Efficiëntie: De voltooiingstijd was aanzienlijk korter bij SPIRIT vergeleken met pure teleoperatie.
  • Belasting: De NASA-TLX (werklast) was lager en de SUS (gebruiksgemak) was hoger voor SPIRIT.
  • Situational Awareness: Gebruikers rapporteerden een beter begrip van de robottoestand dankzij de haptische en visuele feedback.
• Industriële Demonstratie: SPIRIT werd succesvol gedemonstreerd op een grote industriële beurs (robotica en automatisering) gedurende vijf dagen, waarbij het complexe taken zoals het verplaatsen van inspectierobots en het sluiten van industriële kleppen uitvoerde onder wisselende omstandigheden.

5. Betekenis en Conclusie

Dit paper toont aan dat het mogelijk is om krachtige maar onbetrouwbare Deep Learning-modellen veilig te integreren in robuuste robotsystemen. Door onzekerheid expliciet te modelleren en deze te gebruiken om de autonome autoriteit dynamisch aan te passen, kan een robot falen in perceptie overleven zonder de taak te laten mislukken of schade aan te richten.

De les die hieruit wordt getrokken, is vergelijkbaar met die van de historische robot Minerva: het is niet nodig om een perfect DL-model te hebben; het is cruciaal om een systeemontwerp te hebben dat om kan gaan met de onzekerheid van het model. SPIRIT biedt een praktische oplossing voor veiligheidskritische toepassingen in de industrie, zoals inspectie en onderhoud in gevaarlijke omgevingen.