Resumen Técnico: Gaze2Act

Enunciado del Problema

Aunque los modelos Visión-Lenguaje-Acción (VLA) han avanzado el aprendizaje robótico mediante instrucciones en lenguaje, enfrentan un cuello de botella fundamental en la manipulación interactiva: el lenguaje por sí solo a menudo es insuficiente para transmitir la intención humana precisa. Los usuarios frecuentemente luchan por describir explícitamente qué objeto específico interactuar entre candidatos visualmente similares, dónde exactamente actuar sobre un objeto (interacción de grano fino) o cómo revisar dinámicamente los objetivos durante la ejecución. Los enfoques existentes que traducen el lenguaje a representaciones espaciales (por ejemplo, cuadros delimitadores o máscaras) heredan la ambigüedad intrínseca del lenguaje y carecen de la continuidad temporal requerida para actualizaciones de intención en tiempo real y dinámicas. La limitación central identificada es la ausencia de una señal de intención directa, continuamente actualizada y espacialmente precisa que complemente las instrucciones de lenguaje estáticas.

Metodología

Los autores proponen Gaze2Act, un marco que aumenta las políticas VLA con la mirada humana como una señal de intención dinámica. El sistema opera sobre un robot humanoide Unitree G1 utilizando una columna vertebral GROOT N1.5 (que presenta un VLM Eagle2 congelado y una cabeza de acción Transformer de Difusión). La metodología procede a través de tres etapas integradas:

1. Anclaje de la Mirada de Vista Cruzada

Para cerrar la brecha entre la vista en primera persona (egocéntrica) del humano y la perspectiva del robot, Gaze2Act emplea un mecanismo de coincidencia semántica sin marcadores, sin entrenamiento y sin calibración:

• Extracción de Características: Utiliza DINOv3 (ViT-L/16) para extraer características de parches de múltiples capas tanto de la imagen egocéntrica del humano como de la observación del robot.
• Coincidencia de Grano Fino: Al activarse por voz, el sistema segmenta un objeto de referencia en la vista humana usando SAM3. Luego, coincide esta referencia con las máscaras candidatas generadas en la vista del robot promediando las características de los parches y seleccionando la máscara con la mayor similitud coseno.
• Coincidencia de Grano Fino: Para localizar puntos de interacción específicos dentro del objeto seleccionado, el sistema extrae un vector de características de vecindad alrededor del punto de mirada en la vista humana y lo coincide con características densas dentro de la máscara gruesa en la vista del robot.
• Salida: Este proceso produce una representación espacial unificada que consiste en una máscara objetivo ($m_t$) y un punto de fijación ($p_t$).

2. Promoción de la Mirada a Nivel de Percepción

Las señales ancladas ($m_t, p_t$) se renderizan directamente sobre la observación visual del robot para proporcionar orientación espacial explícita:

• Superposición de Contorno: Se dibuja un contorno coloreado a lo largo del límite de la máscara objetivo para especificar el objeto de interés, permitiendo instrucciones de lenguaje agnósticas a la categoría (por ejemplo, "agarrar el objeto delimitado").
• Mapa de Calor de la Mirada: El punto de fijación se convierte en un mapa de calor gaussiano isotrópico 2D centrado en $p_t$ dentro de la región de la máscara. Esto proporciona una señal suave y robusta para interacciones de nivel de parte de grano fino, reemplazando entradas de punto único frágiles.

3. Condicionamiento de la Mirada a Nivel de Acción

Para asegurar que la señal de mirada influya directamente en la toma de decisiones de la política más allá de la percepción visual, el sistema inyecta información de mirada en la cabeza de acción:

• Construcción del Token de Mirada: La máscara y el punto de fijación se codifican en un token espacial compacto ($c^{gaze}_t$). Esto implica una vía de posición (codificación sinusoidal) y una vía de objeto (utilizando un codificador ViT DINOv3 congelado sobre el recorte objetivo).
• Atención Cruzada Desacoplada: Se añade una nueva rama de atención cruzada en paralelo a la ruta visión-lenguaje existente dentro del Transformer de Difusión (DiT). Esta rama inyecta el token de mirada en el proceso de eliminación de ruido mediante proyecciones separadas de Clave/Valor.
• Inyección Estabilizada: La proyección de salida de la rama de mirada se inicializa en cero. Esto asegura que la rama añadida actúe como una "no-op" inicialmente, preservando el conocimiento previo de la política preentrenada mientras permite que la influencia de la mirada se aprenda gradualmente desde el objetivo de manipulación.

Contribuciones Clave

1. La Mirada como Interfaz de Intención Continua: El artículo propone la mirada humana como una modalidad novedosa, continua y dinámica para las políticas VLA, permitiendo una especificación precisa del objetivo a través de escenarios de nivel de objeto, nivel de parte y dinámicamente evolutivos.
2. Marco Gaze2Act: Un sistema completo que ancla la mirada en primera persona al espacio visual del robot sin marcadores ni calibración, integrando estas señales tanto mediante promoción visual a nivel de percepción como condicionamiento espacial a nivel de acción.
3. Evaluación Integral en el Mundo Real: Pruebas extensas en un humanoide Unitree G1 a través de siete categorías de tareas y 16 tareas con robot real, demostrando mejoras consistentes sobre las líneas base en desambiguación, localización y dirección dinámica.

Resultados Experimentales

El marco fue evaluado en 16 tareas que involucran objetos ambiguos, objetos no vistos, objetos transparentes, tareas composicionales, agarre de subpartes y dirección de intención dinámica.

• Desambiguación de Objetos: En tareas con objetos ambiguos, no vistos o transparentes, Gaze2Act logró una precisión de intención significativamente mayor (por ejemplo, 92–100% en objetos ambiguos) en comparación con las líneas base solo de lenguaje (GROOT Vanilla: ~34%) y las líneas base basadas en máscaras (RoboGround/ControlVLA: ~60–80%).
• Interacción de Grano Fino: Para el agarre de subpartes (por ejemplo, mango de martillo vs. cabeza) y acciones condicionadas por partes, Gaze2Act logró una precisión de intención promedio del 80.4% y un éxito de tarea del 72.4%, mientras que las líneas base no podían proporcionar condiciones específicas de parte.
• Dirección de Intención Dinámica: En tareas de largo horizonte donde el objetivo cambia a mitad de la ejecución, Gaze2Act redirigió con éxito al robot en 14 de 30 ensayos, superando a las líneas base (4–5/30) que lucharon por actualizar la manipulación en curso a pesar de las actualizaciones de la máscara.
• Estudios de Ablación: Los resultados confirmaron que tanto la promoción a nivel de percepción como el condicionamiento a nivel de acción son complementarios. La promoción visual por sí sola mejoró el éxito a nivel de parte, mientras que el condicionamiento a nivel de acción mejoró la vinculación de objetos en tareas composicionales. Se demostró que la inicialización en cero de la rama de mirada es crítica para un ajuste fino estable.

Significado y Afirmaciones

El artículo afirma que Gaze2Act demuestra que la mirada humana proporciona una modalidad natural, de baja carga y altamente expresiva para el control VLA con humano en el bucle. Al aprovechar la coordinación "el ojo guía la mano" inherente al comportamiento humano, el marco supera la ambigüedad y la discontinuidad temporal de las interfaces solo de lenguaje. Los autores afirman que su enfoque permite a los robots atender a regiones relevantes y ejecutar interacciones precisas bajo intención dinámica, cerrando efectivamente la brecha entre la descripción de tareas de alto nivel (lenguaje) y la ejecución espacial de bajo nivel (mirada). El trabajo destaca que la mirada no es meramente una señal observacional, sino una manifestación directa de la intención motora que puede integrarse sin problemas en arquitecturas VLA modernas para mejorar las capacidades de manipulación interactiva.