Eye-Tracking-Driven Control in Daily Task Assistance for Assistive Robotic Arms

Technische Samenvatting: Oogbewegingsgestuurde Controle voor Dagelijkse Taakassistentie bij Assistieve Robotarmen

Probleemstelling
Huidige oogbewegingsgestuurde controlesystemen voor assistieve robotarmen kampen met aanzienlijke uitdagingen met betrekking tot de nauwkeurigheid van 3D-kijkrichtingschatting (gaze estimation) en de interpretatie van de intentie van de gebruiker in complexe omgevingen met meerdere objecten. Traditionele benaderingen vertrouwen vaak op het schatten van de hoofdpositie van de gebruiker ten opzichte van objecten, wat hen kwetsbaar maakt voor drift, het verschuiven van brillen en kalibratiefouten. Bovendien is het onderscheiden van meerdere dagelijkse taken en het waarborgen van robuuste objectselectie zonder hoogprecisie 3D-kijkrichtingsmeting nog steeds moeilijk. Onjuiste voorspellingen kunnen leiden tot frustrerende interacties en een verminderd vertrouwen in het systeem. Er is behoefte aan een controleframework dat de afhankelijkheid van hoogwaardige hoofdtracking vermindert en tegelijkertijd individuen met ernstige fysieke beperkingen in staat stelt om dagelijkse taken onafhankelijk te selecteren en uit te voeren.

Methodologie
De auteurs stellen een shared-control framework voor dat de lokalisatie van objecten verschuift van het perspectief van de gebruiker naar een op de robot gemonteerde camera (een "eye-in-hand" configuratie). Dit ontwerp elimineert de noodzaak voor een 3D-schatting van de positie van de gebruiker, waardoor fouten door hoofdbewegingen worden gemitigeerd.

• Inputmoduliteit: Het systeem maakt uitsluitend gebruik van draagbare oogtracking-brillen en een op de robot gemonteerde RGB-D camera. Gebruikers interageren via een dwell-time methode (verblijftijd), waarbij ze fixeren op taakspecifieke pictogrammen die aan objecten zijn bevestigd.
• Taakselectie: Taakpictogrammen dienen als fiduciaire markeringen. Een YOLOv12n objectdetectiemodel identificeert deze pictogrammen en de bijbehorende objecten. Het systeem ondersteunt taken zoals drinken, eten en het schakelen van lichten.
• Datatransmissie (Feature Matching): Om de gegevens van het geselecteerde object van de scène van de eye-tracker naar de robotcamera te verzenden, gebruikt het systeem feature matching. De auteurs hebben verschillende OpenCV feature detectors (AKAZE, BRISK, ORB, SIFT) en matchers (Brute-Force, FLANN) geëvalueerd.
  • Algoritmekeuze: Door middel van "in-the-wild" testen en vergelijkende analyse werd FLANN-AKAZE gekozen als het optimale algoritme, omdat het een balans biedt tussen het aantal gematchte kenmerken, de rekentijd en de robuustheid tegen uitschieters (outliers).
• Fallback-mechanisme: Om gevallen af te handelen waarin objectklassen niet overeenkomen tussen de visie van de gebruiker en de visie van de robot (bijv. door occlusie of detectiefouten), is een duaal fallback-systeem geïmplementeerd:
  1. Vergelijkende benadering: Matcht uitsneden van bounding boxes uit beide camerabeelden. Als de klassen overeenkomen, wordt het object bevestigd.
  2. In-the-Wild Zoekopdracht: Als de klasse ontbreekt of niet overeenkomt, clustert het systeem kenmerken over het gehele gezichtsveld van de robot om het gebied met de hoogste dichtheid aan gematchte kenmerken te lokaliseren.
• Coördinatentransformatie: Zodra een object is geselecteerd, wordt de locatie ervan geschat met behulp van de bekende kinematische keten van de eye-in-hand configuratie, waardoor de robot grijpbewegingen kan plannen zonder de coördinaten van het hoofd van de gebruiker nodig te hebben.

Belangrijkste Bijdragen

1. Algoritmevergelijking: Een op maat gemaakte vergelijking van feature-matching algoritmen voor datatransmissie bij assistieve robotarmen, waarbij FLANN-AKAZE is geïdentificeerd als het meest geschikte algoritme voor dit specifieke gebruiksscenario.
2. Open-Source Framework: Een open-source, oogbewegingsgestuurd robotcontroleframework dat problemen met hoofdbewegingen oplost door gebruik te maken van een eye-in-hand configuratie, waarbij alleen standaard oogtracking-brillen en een op de robot gemonteerde camera vereist zijn.
3. Evaluatie en Lessen Geleerd: Een uitgebreide evaluatie die belangrijke uitdagingen onthult bij feature matching onder variërende lichtomstandigheden en occlusie. De auteurs bieden specifieke "lessen geleerd" met betrekking tot de kalibratie van bounding box resizing, feature matching drempelwaarden en ratio test parameters om de systeemprestaties te optimaliseren.

Resultaten
Het framework werd geëvalueerd in een laboratoriumsetting met drie specifieke testgevallen (SU Cases) waarbij bekers, vorken en flessen werden getest onder variërende omstandigheden (perfecte detectie, label-mismatches en verschillende gezichtsvelden van de gebruiker/robot).

• Succespercentage Taakselectie: Het systeem interpreteerde de object- en taakselectie correct in tot 97,9% van de metingen (specifiek in SU Case 3.1). Het algemene gemiddelde succespercentage van de taakselectie over alle evaluaties was ongeveer 95,67%.
• Responstijd: De gemiddelde tijd van objectselectie tot berichttransmissie was 260,3 ms (SD 88,5 ms).
• Berichttransmissie: De "taak verzonden ratio" (het percentage pogingen dat resulteerde in een verzonden bericht) varieerde tussen 44,9% en 57,8%. De auteurs merken op dat een lagere verzendratio te prefereren is boven het verzenden van onjuiste berichten, wat tot onveilige of onbedoelde robotacties zou kunnen leiden.
• Robuustheid: Het fallback-mechanisme handelde scenario's succesvol af waarin objectklassen niet overeenkwamen of geoccludeerd waren, hoewel de prestaties afnamen wanneer de gebruiker en de robot aanzienlijk verschillende scènes bekeken (SU Case 3).

Betekenis en Claims
Het artikel claimt dat dit framework een geschikte opstelling biedt voor het besturen van op rolstoelen gemonteerde robotarmen door de complexiteit van de sensorische input te verminderen. Door de lokalisatie van objecten los te koppelen van de hoofdpositie van de gebruiker, biedt het systeem een robuustere oplossing voor dagelijkse taken in de echte wereld, waar hoofdbewegingen onvermijdelijk zijn. De integratie van state-of-the-art objectdetectiemodellen (YOLOv12n) en het open-source karakter van het framework maken aanpassing aan nieuwe taken en objecten mogelijk.

De auteurs benadrukken dat hoewel het systeem een hoge nauwkeurigheid vertoont in taakselectie binnen gecontroleerde omgevingen, het een fundamentele stap is naar praktische toepassing in de echte wereld. Zij erkennen beperkingen, zoals de huidige afhankelijkheid van een beperkte set objectklassen en de noodzaak om te testen in rommelige, alledaagse omgevingen. Het werk wordt gepresenteerd, niet als een definitief commercieel product, maar als een modulair, aanpasbaar fundament voor het verbeteren van de onafhankelijkheid en veiligheid van gebruikers met ernstige fysieke beperkingen door middel van autonome robotassistentie.