Eye-Tracking-Driven Control in Daily Task Assistance for Assistive Robotic Arms

Resumen Técnico: Control Impulsado por Seguimiento Ocular en la Asistencia de Tareas Diarias para Brazos Robóticos Asistenciales

Planteamiento del Problema
Los sistemas actuales de control impulsados por seguimiento ocular para brazos robóticos asistenciales enfrentan desafíos significativos en cuanto a la precisión de la estimación de la mirada en 3D y la interpretación de la intención del usuario en entornos complejos con múltiples objetos. Los enfoques tradicionales suelen depender de la estimación de la posición de la cabeza del usuario en relación con los objetos, lo que los hace susceptibles al desplazamiento, el deslizamiento de las gafas y los errores de calibración. Además, distinguir entre múltiples tareas diarias y garantizar una selección de objetos robusta sin un seguimiento de la mirada en 3D de alta precisión sigue siendo difícil. Las predicciones incorrectas pueden derivar en interacciones frustrantes y una reducción de la confianza en el sistema. Existe la necesidad de un marco de control que reduzca la dependencia de un seguimiento de la cabeza de alta precisión y permita a las personas con discapacidades físicas severas seleccionar y ejecutar tareas diarias de forma independiente.

Metodología
Los autores proponen un marco de control compartido que desplaza la localización de los objetos desde la perspectiva del usuario hacia una cámara montada en el robot (una configuración "eye-in-hand" o ojo-en-mano). Este diseño elimina la necesidad de la estimación 3D de la posición del usuario, mitigando así los errores causados por el movimiento de la cabeza.

• Modalidad de Entrada: El sistema utiliza únicamente gafas de seguimiento ocular portátiles y una cámara RGB-D montada en el robot. Los usuarios interactúan mediante un enfoque de tiempo de fijación (dwell-time), fijando la mirada en pictogramas específicos de la tarea adheridos a los objetos.
• Selección de Tareas: Los pictogramas de las tareas sirven como marcadores fiduciarios. Un modelo de detección de objetos YOLOv12n identifica estos pictogramas y los objetos asociados. El sistema soporta tareas como beber, comer y encender/apagar luces.
• Transmisión de Datos (Emparejamiento de Características): Para transmitir los datos del objeto seleccionado desde la escena del seguidor ocular a la cámara del robot, el sistema emplea el emparejamiento de características (feature matching). Los autores evaluaron varios detectores y comparadores de características de OpenCV (AKAZE, BRISK, ORB, SIFT) y comparadores (matchers) (Brute-Force, FLANN).
  • Selección del Algoritmo: Mediante pruebas "en condiciones reales" (in-the-wild) y un análisis comparativo, se seleccionó FLANN-AKAZE como el algoritmo óptimo, ofreciendo un equilibrio entre el número de características emparejadas, el tiempo de computación y la robustez frente a valores atípicos (outliers).
• Mecanismo de Respaldo (Fallback): Para gestionar los casos en los que las clases de objetos no coinciden entre la vista del usuario y la del robot (por ejemplo, debido a oclusiones o errores de detección), se implementó un sistema de respaldo de doble enfoque:
  1. Enfoque Comparativo: Empareja recortes de cajas delimitadoras (bounding boxes) de ambas vistas de cámara. Si las clases coinciden, el objeto se confirma.
  2. Búsqueda en Condiciones Reales (In-the-Wild Search): Si la clase falta o no coincide, el sistema agrupa las características en todo el campo de visión del robot para localizar el área con la mayor densidad de características emparejadas.
• Transformación de Coordenadas: Una vez seleccionado un objeto, su ubicación se estima utilizando la cadena cinemática conocida de la configuración eye-in-hand, lo que permite al robot planificar agarres sin necesidad de las coordenadas de la cabeza del usuario.

Contribuciones Clave

1. Comparación de Algoritmos: Una comparación adaptada de algoritmos de emparejamiento de características para la transmisión de datos de brazos robóticos asistenciales, identificando a FLANN-AKAZE como el más adecuado para este caso de uso específico.
2. Marco de Código Abierto: Un marco de control de robot impulsado por seguimiento ocular de código abierto que resuelve los problemas de movimiento de la cabeza mediante el uso de una configuración eye-in-hand, requiriendo únicamente gafas de seguimiento ocular estándar y una cámara montada en el robot.
3. Evaluación y Lecciones Aprendidas: Una evaluación exhaustiva que revela desafíos clave en el emparejamiento de características bajo condiciones variables de iluminación y oclusión. Los autores proporcionan "lecciones aprendidas" específicas sobre la calibración del redimensionamiento de las cajas delimitadoras, los umbrales de emparejamiento de características y los parámetros de la prueba de ratio para optimizar el rendimiento del sistema.

Resultados
El marco fue evaluado en un entorno de laboratorio con tres casos de prueba específicos (Casos SU) que involucraban tazas, tenedores y botellas bajo diversas condiciones (detección perfecta, desajustes de etiquetas y diferencias entre el campo de visión del usuario y del robot).

• Tasa de Éxito en la Selección de Tareas: El sistema interpretó correctamente la selección de objetos y tareas en hasta un 97.9% de las mediciones (específicamente en el Caso SU 3.1). La tasa media de éxito en la selección de tareas en todas las evaluaciones fue de aproximadamente 95.67%.
• Tiempo de Respuesta: El tiempo medio desde la selección del objeto hasta la transmisión del mensaje fue de 260.3 ms (DE 88.5 ms).
• Transmisión de Mensajes: La "tasa de envío de tareas" (el porcentaje de intentos que resultaron en un mensaje transmitido) varió entre 44.9% y 57.8%. Los autores señalan que una menor tasa de envío es preferible a enviar mensajes incorrectos, lo que podría derivar en acciones robóticas inseguras o no deseadas.
• Robustez: El mecanismo de respaldo gestionó con éxito los escenarios donde las clases de objetos no coincidían o estaban ocluidas, aunque el rendimiento disminuyó cuando el usuario y el robot veían escenas significativamente diferentes (Caso SU 3).

Significancia y Reivindicaciones
El artículo sostiene que este marco proporciona una configuración adecuada para controlar brazos robóticos montados en sillas de ruedas al reducir la complejidad de la entrada sensorial requerida. Al desacoplar la localización de objetos de la posición de la cabeza del usuario, el sistema ofrece una solución más robusta para tareas diarias del mundo real donde el movimiento de la cabeza es inevitable. La integración de modelos de detección de objetos de última generación (YOLOv12n) y la naturaleza de código abierto del marco permiten la adaptación a nuevas tareas y objetos.

Los autores enfatizan que, si bien el sistema demuestra una alta precisión en la selección de tareas dentro de entornos controlados, constituye un paso fundamental hacia la aplicación en el mundo real. Reconocen limitaciones, tales como la dependencia actual de un conjunto limitado de clases de objetos y la necesidad de realizar pruebas en entornos cotidianos y desordenados. El trabajo se presenta no como un producto comercial final, sino como una base modular y adaptable para mejorar la independencia y la seguridad de los usuarios con discapacidades físicas severas mediante la asistencia robótica autónoma.