Eye-Tracking-Driven Control in Daily Task Assistance for Assistive Robotic Arms

Sintesi Tecnica: Controllo Guidato dall'Eye-Tracking nell'Assistenza alle Mansioni Quotidiane per Bracci Robotici Assistivi

Problematica
Gli attuali sistemi di controllo guidati dall'eye-tracking per bracci robotici assistivi affrontano sfide significative riguardanti l'accuratezza della stima dello sguardo 3D e l'interpretazione dell'intento dell'utente in ambienti complessi con oggetti multipli. Gli approcci tradizionali spesso si affidano alla stima della posizione della testa dell'utente rispetto agli oggetti, il che li rende suscettibili a deriva, scivolamento degli occhiali ed errori di calibrazione. Inoltre, distinguere tra molteplici attività quotidiane e garantire una selezione robusta degli oggetti senza un tracciamento dello sguardo 3D ad alta precisione rimane difficile. Le previsioni errate possono portare a interazioni frustranti e a una riduzione della fiducia nel sistema. È necessario un framework di controllo che riduca la dipendenza dal tracciamento ad alta precisione della testa, consentendo agli individui con gravi disabilità fisiche di selezionare ed eseguire le mansioni quotidiane in modo indipendente.

Metodologia
Gli autori propongono un framework di controllo condiviso che sposta la localizzazione dell'oggetto dalla prospettiva dell'utente a una telecamera montata sul robot (una configurazione "eye-in-hand"). Questo design elimina la necessità di una stima 3D della posizione dell'utente, mitigando così gli errori causati dal movimento della testa.

• Modalità di Input: Il sistema utilizza esclusivamente occhiali con eye-tracking indossabili e una telecamera RGB-D montata sul robot. Gli utenti interagiscono tramite un approccio basato sul tempo di fissazione (dwell-time), fissando pittogrammi specifici per la mansione attaccati agli oggetti.
• Selezione della Mansione: I pittogrammi delle mansioni fungono da marcatori fiduciari. Un modello di rilevamento oggetti YOLOv12n identifica questi pittogrammi e gli oggetti associati. Il sistema supporta mansioni come bere, mangiare e accendere/spegnere le luci.
• Trasmissione dei Dati (Corrispondenza delle Caratteristiche): Per trasmettere i dati dell'oggetto selezionato dalla scena dell'eye-tracker alla telecamera del robot, il sistema impiega la corrispondenza delle caratteristiche (feature matching). Gli autori hanno valutato vari rilevatori e matcher di caratteristiche OpenCV (AKAZE, BRISK, ORB, SIFT) e matcher (Brute-Force, FLANN).
  • Selezione dell'Algoritmo: Attraverso test "in-the-wild" e un'analisi comparativa, FLANN-AKAZE è stato selezionato come l'algoritmo ottimale, offrendo un equilibrio tra il numero di caratteristiche corrispondenti, il tempo di calcolo e la robustezza contro gli outlier.
• Meccanismo di Fallback: Per gestire i casi in cui le classi degli oggetti non corrispondono tra la vista dell'utente e quella del robot (ad esempio, a causa di occlusioni o errori di rilevamento), è stato implementato un sistema di fallback a doppio approccio:
  1. Approccio Comparativo: Corrisponde i ritagli dei riquadri di delimitazione (bounding box) dalle due viste della telecamera. Se le classi corrispondono, l'oggetto è confermato.
  2. Ricerca "In-the-Wild": Se la classe è mancante o non corrispondente, il sistema raggruppa le caratteristiche attraverso l'intero campo visivo del robot per localizzare l'area con la più alta densità di caratteristiche corrispondenti.
• Trasformazione delle Coordinate: Una volta selezionato un oggetto, la sua posizione viene stimata utilizzando la catena cinematica nota della configurazione eye-in-hand, consentendo al robot di pianificare le prese senza necessitare delle coordinate della testa dell'utente.

Contributi Chiave

1. Confronto tra Algoritmi: Un confronto mirato tra algoritmi di feature-matching per la trasmissione di dati di bracci robotici assistivi, identificando FLANN-AKAZE come il più adatto per questo specifico caso d'uso.
2. Framework Open-Source: Un framework di controllo robotico guidato dall'eye-tracking open-source che risolve i problemi di movimento della testa utilizzando una configurazione eye-in-hand, richiedendo solo occhiali con eye-tracking standard e una telecamera montata sul robot.
3. Valutazione e Lezioni Apprese: Una valutazione completa che rivela le sfide chiave nella corrispondenza delle caratteristiche sotto diverse condizioni di illuminazione e occlusione. Gli autori forniscono specifiche "lezioni apprese" riguardanti la calibrazione del ridimensionamento dei bounding box, le soglie di feature matching e i parametri del test di rapporto per ottimizzare le prestazioni del sistema.

Risultati
Il framework è stato valutato in un ambiente di laboratorio con tre casi di test specifici (SU Case) che coinvolgevano tazze, forchette e bottiglie sotto diverse condizioni (rilevamento perfetto, discrepanze nelle etichette e differenti campi visivi utente/robot).

• Tasso di Successo nella Selezione della Mansione: Il sistema ha interpretato correttamente la selezione dell'oggetto e della mansione in un numero di misurazioni fino al 97,9% (specificamente nel SU Case 3.1). Il tasso medio di successo complessivo nella selezione della mansione durante le valutazioni è stato di circa il 95,67%.
• Tempo di Risposta: Il tempo medio dalla selezione dell'oggetto alla trasmissione del messaggio è stato di 260,3 ms (SD 88,5 ms).
• Trasmissione del Messaggio: Il "tasso di invio del task" (la percentuale di tentativi che ha portato all'invio di un messaggio) è variato tra il 44,9% e il 57,8%. Gli autori osservano che un tasso di invio inferiore è preferibile all'invio di messaggi errati, che potrebbero causare azioni del robot insicure o indesiderate.
• Robustezza: Il meccanismo di fallback ha gestito con successo scenari in cui le classi degli oggetti erano discordanti o ocluse, sebbene le prestazioni siano diminuite quando l'utente e il robot visualizzavano scene significativamente diverse (SU Case 3).

Significatività e Rivendicazioni
L'articolo sostiene che questo framework fornisce una configurazione adatta per il controllo di bracci robotici montati su carrozzine, riducendo la complessità dell'input sensoriale richiesto. Decoupling (disaccoppiando) la localizzazione dell'oggetto dalla posizione della testa dell'utente, il sistema offre una soluzione più robusta per le mansioni quotidiane reali dove il movimento della testa è inevitabile. L'integrazione di modelli di rilevamento oggetti allo stato dell'arte (YOLOv12n) e la natura open-source del framework permettono l'adattamento a nuovi compiti e oggetti.

Gli autori sottolineano che, sebbene il sistema dimostri un'elevata accuratezza nella selezione delle mansioni in ambienti controllati, esso rappresenta un passo fondamentale verso l'applicazione nel mondo reale. Essi riconoscono i limiti, come l'attuale dipendenza da un set limitato di classi di oggetti e la necessità di test in ambienti quotidiani disordinati. Il lavoro è presentato non come un prodotto commerciale finale, ma come una base modulare e adattabile per migliorare l'indipendenza e la sicurezza degli utenti con gravi disabilità fisiche attraverso l'assistenza robotica autonoma.