Resumen Técnico: HABIT – Conjunto de Datos de Entrenamiento para el Comportamiento e Interacción Humano-Consciente

1. Planteamiento del Problema

El progreso reciente en la manipulación de robots de propósito general ha sido impulsado por conjuntos de datos de demostración a gran escala. Sin embargo, existe una brecha crítica: los conjuntos de datos existentes se recolectan predominantemente en entornos sin presencia humana, donde el robot actúa como el único agente. En consecuencia, las políticas entrenadas con tales datos, aunque son competentes de forma aislada, no logran exhibir los comportamientos conscientes del humano necesarios para entornos compartidos (por ejemplo, hogares, fábricas).

Específicamente, los robots no pueden aprender a:

• Ceder el paso para evitar colisiones cuando un humano entra en su trayectoria.
• Sincronizarse temporal y espacialmente al manipular objetos de forma conjunta.
• Fundamentar gestos para interpretar la intención humana sin instrucciones lingüísticas explícitas.

Estos comportamientos faltan no porque sean difíciles de aprender, sino porque no pueden ser demostrados sin que un humano esté presente en la escena. Este artículo aborda la necesidad de un conjunto de datos que capture explícitamente la dinámica de la interacción humano-robot (HRI).

2. Metodología: El Conjunto de Datos HABIT

2.1 Diseño de Tareas y Roles

El conjunto de datos organiza 60 tareas distintas en tres roles de interacción, definidos por la dependencia entre el humano y el robot:

1. Colaborador: El humano y el robot llevan a cabo conjuntamente un objetivo compartido mediante la interacción física directa (por ejemplo, entrega de herramientas, sostener objetos conjuntamente). Esto requiere una sincronización espaciotemporal estrecha.
2. Compañero de Trabajo (Coworker): El humano y el robot persiguen tareas separadas dentro de un espacio de trabajo compartido sin contacto físico directo. El desafío principal es la evitación de colisiones y la cesión del paso.
3. Supervisor: El humano dirige al robot mediante señales explícitas (por ejemplo, gestos, señalar) mientras el robot infiere la intención únicamente a partir de la entrada visual.

2.2 Protocolo de Recolección de Datos

Para asegurar que los datos capturen comportamientos conscientes del humano que sean aprendibles, los autores implementaron protocolos de recolección específicos:

• Interacción Reactiva: Se prohíbe a los operadores (tanto humano como robot) la pre-ejecución de subtareas basadas en la memoria. Deben actuar solo después de observar directamente el comportamiento de su compañero. Esto asegura que las señales que disparan las acciones del robot sean visibles en las observaciones registradas.
• Elicitación de Comportamiento:
  • Cesión de paso por seguridad primero: Se instruyó a los operadores del robot para que retrajera los brazos de manera decisiva si una colisión era inminente, registrando la cesión de paso como la respuesta por defecto.
  • Adaptación Temporal: Las velocidades de movimiento humano se variaron para evitar que el robot aprenda un ritmo fijo.
  • Fundamentación de Gestos: Los operadores humanos muestrearon tiempos de espera antes de señalar, obligando a la política a atender al gesto en lugar de actuar prematuramente basándose en instrucciones de lenguaje.
• Diversificación: Las condiciones se variaron a través de episodios (colores de ropa, orden de objetos) y a través de diferentes operadores (distintos tipos de cuerpo) para soportar la generalización fuera de la distribución (OOD).

2.3 Hardware y Configuración

• Robots: Dos brazos Franka Research 3 con pinzas Robotiq, teleoperados mediante controladores Meta Quest 3.
• Sensores: Cinco cámaras RGB sincronizadas:
  • Tres del lado del robot (vistas de muñeca y una vista egocéntrica que captura al humano y el espacio de trabajo).
  • Dos del lado del humano (vista egocéntrica del humano y una vista exocéntrica de todo el espacio de trabajo).
• Escala: El conjunto de datos comprende 10,563 episodios que totalizan 164.19 horas de manipulación bimanual.

3. Marco de Evaluación

Los autores evalúan las políticas utilizando un subconjunto de 6 tareas representativas (2 por cada rol). El éxito se define mediante tres criterios binarios para cada subtarea del robot:

1. Manipulación: Ejecución física correcta y estado del objeto.
2. Cumplimiento del Flujo de Trabajo: Adherencia al flujo de trabajo de la tarea, incluyendo el orden, la sincronización y el seguimiento de señales.
3. Seguridad Humana: Sin colisiones ni contacto con objetos sostenidos por el humano.

La métrica principal es la Tasa de Éxito sobre ensayos independientes.

4. Resultados Clave

4.1 Tasas de Éxito de las Tareas

Los autores ajustaron finamente dos modelos de Visión-Lenguaje-Acción (VLA) de código abierto, $\pi_0.5$ y GR00T N1.6, sobre HABIT y los compararon contra una línea base de Solo Robot (recolectada sin un humano presente).

• Tareas de Colaborador: Las líneas base de Solo Robot no son aplicables (N/A), ya que estas tareas requieren inherentemente un compañero humano.
• Tareas de Compañero de Trabajo: Los modelos entrenados con HABIT mostraron las mayores ganancias (por ejemplo, $\pi_0.5$ mejoró del 40% al 95% en Clasificación de Residuos). Esto resalta la necesidad de aprender la cesión de paso reactiva para resolver conflictos de trayectoria.
• Tareas de Supervisor: HABIT proporcionó ganancias significativas en tareas complejas que requieren fundamentación de gestos (por ejemplo, Almacenamiento de Alimentos), donde el lenguaje por sí solo era insuficiente para desambiguar los objetivos. En tareas más simples (Servir Dona), el rendimiento fue comparable al de Solo Robot.

4.2 Comportamientos Emergentes Conscientes del Humano

El entrenamiento en HABIT elicitó comportamientos específicos ausentes en los modelos de Solo Robot:

• Sincronización Espaciotemporal: En las tareas de Colaborador, los modelos aprendieron a esperar las señales humanas antes de actuar.
• Cesión Proactiva: En las tareas de Compañero de Trabajo, los modelos evitaron colisiones con éxito al retraerse cuando los humanos se acercaban.
• Fundamentación de Gestos: En las tareas de Supervisor, los modelos aprendieron a interpretar gestos de señalar para identificar objetivos.

4.3 Análisis de Fallos

El estudio identificó modos de fallo específicos por rol en los modelos de Solo Robot:

• Colaborador: Violaciones de precondición (actuar antes de que el humano esté listo).
• Compañero de Trabajo: Colisiones debido a la falta de cesión de paso.
• Supervisor: Fallo en el seguimiento de gestos.
  Los modelos entrenados con HABIT redujeron sustancialmente estas tasas de fallo específicas en ambas arquitecturas.

4.4 Adaptación Eficiente de Muestras

Los autores demostraron que el entrenamiento intermedio (mid-training) de un VLA en HABIT permite una rápida adaptación a nuevas tareas de HRI.

• Cuando se ajustan finamente en tareas descendentes con datos limitados (50–200 demostraciones), los modelos preentrenados en HABIT superaron a los modelos entrenados directamente con los datos de la tarea descendente.
• Por ejemplo, en la Clasificación de Residuos, el mid-training con HABIT con 50 demostraciones igualó el rendimiento del ajuste fino directo con 200 demostraciones.

5. Significado y Reivindicaciones

El artículo posiciona a HABIT como un peldaño hacia modelos fundacionales de robótica que no son simplemente capaces, sino genuinamente seguros y socialmente compatibles en entornos habitados por humanos.

• Nuevo Eje de Diversidad: Los autores afirman que introducir la "presencia humana" como una dimensión de la diversidad de los datos es crítico. Argumentan que los procesos estándar de aprendizaje de robots, que dependen de datos sin presencia humana, pierden la señal necesaria para una coexistencia segura.
• Generalización: Los resultados sugieren que los comportamientos conscientes del humano (cesión de paso, sincronización, fundamentación de gestos) son aprendibles a partir de datos y se transfieren entre diferentes arquitecturas VLA.
• Modestia: Los autores reconocen las limitaciones, señalando que el conjunto de datos se recolecta en un único entorno con una configuración humano-robot uno a uno. No pretenden que HABIT resuelva todos los problemas de multi-agentes o dinámicas sociales complejas, sino que afirman que proporciona una base necesaria para el aprendizaje de comportamientos básicos de copresencia.

En conclusión, HABIT demuestra que el entrenamiento con datos con presencia humana produce políticas que no solo son más exitosas en espacios compartidos, sino que también exhiben comportamientos sociales emergentes que no pueden derivarse de demostraciones de solo robot.