Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

Planteamiento del Problema

Las políticas actuales de los robots para la interacción humano-robot (HRI) dependen casi exclusivamente de instrucciones lingüísticas para transmitir la intención humana. Si bien el lenguaje es flexible, a menudo no logra capturar todo el espectro de la comunicación humana. En las interacciones naturales, los seres humanos recurren frecuentemente a señales no verbales —como la mirada, los gestos de señalar y las actividades en curso— para fundamentar sus peticiones verbales. Depender únicamente del lenguaje obliga a los usuarios a proporcionar descripciones totalmente especificadas y verbosas (por ejemplo, "Dame el perfil metálico con la punta hexagonal ubicado a la izquierda de la llave verde"), lo cual es cognitivamente pesado e impreciso. Por el contrario, los enfoques no verbales existentes suelen tener dificultades con señales transitorias o débiles (por ejemplo, miradas breves) cuando se procesan mediante procesos modulares. El desafío central es desarrollar un marco de trabajo robótico que pueda interpretar conjuntamente flujos continuos de señales verbales y no verbales en tiempo real para inferir la intención y ejecutar acciones de manera natural.

Metodología: El Marco EDITH

Los autores presentan EDEDITH, un marco de trabajo robótico diseñado para integrar flujos en vivo de la vista de primera persona de un humano (contexto egocéntrico), la mirada y el habla en la política de control del robot. El sistema consta de dos componentes principales: una configuración de hardware y una arquitectura de política jerárquica.

1. Sistema de Hardware
EDITH utiliza gafas Project Aria portadas por el usuario humano. Estas gafas transmiten:

• Contexto Egocéntrico ($C^{ego}_t$): Imágenes RGB en primera persona.
• Coordenadas de la Mirada: Datos de seguimiento ocular en tiempo real proyectados sobre el cuadro de video.
• Habla: Audio transcrito en instrucciones lingüísticas ($\ell_t$) a través de una API.
  Estas señales se sincronizan con el estado propioceptivo del robot y las observaciones de la cámara ($o_t$) mediante marcas de tiempo, creando un flujo multimodal alineado.

2. Arquitectura de Política Jerárquica
Para manejar la riqueza y el ruido de las señales humanas, EDITH emplea una política jerárquica que consiste en un planificador de alto nivel ($\pi_h$) y un ejecutor de bajo nivel ($\pi_l$), conectados por una cola de tareas asíncrona ($Q$).

• Política de Alto Nivel ($\pi_h$): Implementada utilizando un Modelo de Visión-Lenguaje (VLM), específicamente Gemini-3.1-Flash-Lite.

  • Entrada: Procesa una ventana deslizante del contexto egocéntrico del humano y las instrucciones lingüísticas. La entrada se renderiza como un clip de video donde se superponen marcadores de mirada en los cuadros y el habla se añade como subtítulos alineados en el tiempo.
  • Función: $\pi_h$ infiere la intención humana y la descompone en una secuencia de subtareas.
  • Salida: Cada subtarea es un par que consiste en una instrucción detallada (por ejemplo, "Toma el destornillador con el mango rojo") y un fotograma clave ($C^{key}$). El fotograma clave es un cuadro específico recuperado del flujo de entrada donde la señal no verbal (por ejemplo, la fijación de la mirada o el gesto de señalar) se expresa de la manera más clara. Esto fundamenta la intención visualmente, resolviendo ambigüedades que el lenguaje por sí solo no puede resolver.
  • Mecanismo: Las subtareas se añaden a una cola de tareas $Q$. Si no se detecta ninguna intención, la cola permanece sin cambios.

• Política de Bajo Nivel ($\pi_l$): Implementada mediante el ajuste fino de un modelo de Visión-Lenguaje-Acción (VLA) preentrenado ($\pi0.5$).

  • Entrada: Recibe la observación actual del robot ($o_t$), la instrucción de la subtarea de la cabeza de la cola y el fotograma clave asociado.
  • Función: $\pi_l$ ejecuta la subtarea prediciendo acciones robóticas de bajo nivel ($a_t$) y una probabilidad de finalización ($p_t$).
  • Mecanismo: Una vez que $p_t$ supera un umbral, la subtarea se extrae de la cola y se ejecuta la siguiente.

3. Estrategia de Entrenamiento

• Recolección de Datos: Se recolectan demostraciones donde un actor humano (portando gafas Aria) interactúa con un teleoperador de robot. El teleoperador cumple las peticiones basadas en las señales multimodales del humano. Las trayectorias se segmentan en subtareas y se anotan con instrucciones detalladas, fotogramas clave y probabilidades de finalización.
• Desconexión de Modalidad (Modality Dropout): Para evitar que la política de bajo nivel dependa de una sola modalidad (por ejemplo, ignorar el fotograma clave si el texto es suficiente), los autores emplean una estrategia de desconexión de modalidad durante el entrenamiento. Con igual probabilidad, ellos: (i) mantienen ambas modalidades, (ii) reemplazan la instrucción con una versión insuficientemente especificada (forzando la dependencia del fotograma clave), o (iii) reemplazan el fotograma clave con una imagen en blanco (forzando la dependencia de la instrucción).

Resultados Clave

Los autores evaluaron EDITH en tres tareas desafiantes de HRI: Servir Muffin (Muffin-Serving), Clasificación de Vasos (Tumbler-Sorting) y Entrega de Herramientas (Tool-Passing). En todas las tareas, las instrucciones lingüísticas fueron intencionalmente insuficientes, requiriendo que el robot interpretara las señales no verbales.

• Desempeño: EDITH logró una Tasa de Éxito (SR) promedio de 59.7% y un Progreso de la Tarea (TP) de 84.7%.
• Comparación con Baselines:
  • Los baselines de solo lenguaje (end-to-end $\pi^{lang}_l$ y jerárquico $\pi^{lang}_h + \pi^{lang}_l$) tuvieron un desempeño pobre, con SR promedio por debajo del 6.5%.
  • Un modelo end-to-end que utiliza el contexto egocéntrico sin el mecanismo de fotograma clave jerárquico ($\pi^{ego+lang}_l$) mostró un desempeño inconsistente, fallando significativamente en tareas donde la atención humana era intermitente (por ejemplo, Tool-Passing).
• Estudios de Ablación:
  • Eliminar el fotograma clave causó una caída de ~50% en la tasa de éxito, resaltando la necesidad de la fundamentación visual para prevenir alucinaciones del VLM y frases ambiguas.
  • Eliminar el contexto egocéntrico (usando solo fotogramas clave desde la vista del robot) provocó una caída de ~34% debido a problemas de paralaje, donde los gestos de señalar son ambiguos desde la perspectiva del robot pero claros desde la del humano.
• Robustez: EDITH mantuvo su desempeño incluso cuando los humanos estaban distraídos (por ejemplo, revisando un teléfono), mientras que los baselines end-to-end se degradaron significativamente.
• Estudio de Usuario: Un estudio con 16 participantes mostró que EDITH redujo significativamente la carga de instrucción (demanda mental, esfuerzo, frustración) en comparación con los baselines de solo lenguaje ($p < 0.001$). Los usuarios encontraron mucho más fácil transmitir la intención mediante expresiones y gestos breves que mediante descripciones verbales detalladas.

Significado y Reivindicaciones

El artículo afirma que EDITH demuestra la promesa de aprovechar las señales no verbales junto con las instrucciones verbales para permitir una interacción humano-robot natural. Las contribuciones clave son:

1. Integración de Señales Egocéntricas: Captura y utiliza con éxito la vista de primera persona continua y la mirada para fundamentar las acciones del robot, yendo más allá de las limitaciones de las interfaces de solo texto.
2. Diseño Jerárquico: La separación de la inferencia de intención (alto nivel) y la ejecución de la acción (bajo nivel), junto con el uso de fotogramas clave, maneja eficazmente las señales no verbales ruidosas y transitorias que los procesos modulares o los modelos end-to-end tienen dificultad en procesar.
3. Reducción de la Carga del Usuario: Al permitir que los usuarios dependan de claves no verbales naturales, el sistema reduce significativamente la carga cognitiva requerida para comunicarse con los robots.

Los autores reconocen limitaciones, incluyendo la latencia debido al procesamiento basado en ventanas y la reducción de la generalización a usuarios con atributos físicos significativamente diferentes (por ejemplo, altura) a los de los datos de entrenamiento, sugiriendo trabajos futuros en la recolección de datos diversos y VLMs de transmisión en tiempo real.