Resumen Técnico: UESF-Bench y SeekFollow-VLA

Definición del Problema

Los benchmarks actuales de IA encarnada para el seguimiento de humanos, como EVT-Bench, suelen asumir que el objetivo (persona) es visible al inicio del episodio. Esta simplificación pasa por alto un requisito crítico del mundo real: un agente debe, a menudo, primero localizar a un objetivo descrito mediante lenguaje que inicialmente se encuentra fuera de la vista, y luego realizar una transición fluida hacia un seguimiento persistente en entornos dinámicos.

La investigación existente trata la búsqueda de humanos y el seguimiento de humanos como tareas separadas, apoyándose frecuentemente en fuertes sesgos ambientales o señales explícitas. Además, no abordan la continuidad de la interacción, específicamente el desafío de las transiciones de fase implícitas. Un agente debe determinar de forma autónoma cuándo cambiar de la búsqueda al seguimiento y, de manera inversa, si debe reanudar la búsqueda o intentar una recuperación local cuando pierde temporalmente al objetivo. Este artículo formula la Búsqueda y Seguimiento Visual Encarnado (Embodied Visual Seek-and-Follow) como una tarea unificada donde un agente debe gestionar la exploración guiada semánticamente, la transición de comportamiento fiable y el anclaje de identidad retardado bajo distractores, todo ello basado en una única instrucción de lenguaje natural fusionada.

Metodología: SeekFollow-VLA

Para abordar estos desafíos, los autores proponen SeekFollow-VLA, un marco de Modelo de Visión-Lenguaje-Acción (VLA) diseñado para la búsqueda y el seguimiento unificados.

Arquitectura

• Backbone: El modelo utiliza un Modelo de Lenguaje y Visión preentrenado, Qwen3-4B, como su columna vertebral (backbone).
• Codificación Visual: Emplea un codificador visual de doble torre (DINO-V3 y SigLIP) para procesar observaciones RGB egocéntricas. Las características se extraen a una resolución unificada (384×384) y se fusionan. Para equilibrar el detalle y la eficiencia, el sistema utiliza un mecanismo de ventana deslizante: tokens de grano fino para el fotograma actual y tokens de grano grueso para los fotogramas históricos ($k=31$).
• Fusión Multimodal: Los tokens visuales se proyectan en el espacio latente del lenguaje mediante un proyector de cross-modalidad y se concatenan con los tokens de la instrucción fusionados.

Diseños de la Cabeza de Acción

La innovación central reside en la investigación de tres arquitecturas alternativas de cabeza de acción para gestionar la transición implícita entre la búsqueda y el seguimiento:

1. Cabeza Única (Single Head): Un MLP compartido mapea la representación multimodal directamente a puntos de referencia (waypoints). Esto sirve como línea base, pero conlleva el riesgo de "confusión de modo" entre los distintos objetivos de búsqueda y seguimiento.
2. Cabezas Duales con Enrutador Consciente de la Fase (Dual Heads with Phase-Aware Router): Dos cabezas separadas (Búsqueda y Seguimiento) se combinan utilizando pesos de enrutamiento aprendidos únicamente a partir del objetivo de predicción del punto de referencia.
3. Cabezas Duales con Enrutador Impulsado por la Tarea (Propuesto) (Dual Heads with Task-Driven Router): Esta variante introduce una supervisión explícita para el proceso de enrutamiento. Además de los pesos de enrutamiento, el enrutador predice los logits del tipo de tarea ($g_T$) supervisados por una etiqueta de etapa de verdad fundamental ($z_T$).
   • $z_T = 0$ (Búsqueda) hasta que el objetivo es encontrado exitosamente por primera vez (definido como estar a menos de 1.7 m y de frente al agente).
   • $z_T = 1$ (Seguimiento) a partir de entonces.
   • Función de Pérdida: El objetivo de entrenamiento combina la pérdida de predicción del punto de referencia ($L_{wp}$) con una pérdida de entropía cruzada auxiliar consciente de la etapa ($L_{stage}$), ponderada por $\beta_{nav} = 10$. Esto fomenta explícitamente que el modelo aprenda el enrutamiento correcto entre modos basado en la tarea.

Contribuciones Clave

1. Formulación de la Tarea: El artículo define la búsqueda y el seguimiento visual encarnado como una tarea unificada que requiere que un agente localice un objetivo descrito por lenguaje que inicialmente está fuera de vista, y luego transicione hacia un seguimiento persistente sin señales de fase explícitas.
2. UESF-Bench: Los autores construyen el Benchmark de Búsqueda y Seguimiento Encarnado Unificado, un conjunto de datos a gran escala que contiene 1.43 millones de muestras en más de 770 entornos y más de 4,800 avatares diversos. Cubre escenarios de una sola persona y de múltiples personas (multitud), abordando la falta de un estándar de evaluación unificado para esta tarea específica.
3. Marco SeekFollow-VLA: Un marco VLA que cuenta con un mecanismo de enrutamiento impulsado por la tarea que permite la inferencia de fase latente y el modelado de la transición, reduciendo eficazmente la confusión de modo entre los comportamientos de búsqueda y seguimiento.
4. Validación Empírica: Experimentos extensos demuestran que el diseño de doble cabeza impulsado por la tarea supera significativamente a las líneas base de cabeza única y de doble cabeza consciente de la fase, particularmente en entornos desafiantes con múltiples personas.

Resultados Experimentales

Los experimentos se realizaron en el conjunto de prueba de UESF-Bench utilizando métricas que incluyen la Tasa de Éxito de la Tarea (TSR), la Tasa de Colisión (CR), la Relación de Seguimiento (FR) y el Search SPL.

• Configuración de Una Sola Persona:

  • DualHead-TD logró una TSR de 0.35, superando significativamente a SingleHead (0.04) y DualHead-PA (0.05).
  • También logró la mayor FR (0.92) y el mayor Search SPL (0.53).
  • Los resultados indican que la supervisión explícita impulsada por la tarea es necesaria para resolver la ambigüedad de comportamiento y mejorar la eficiencia de la búsqueda.

• Configuración de Múltiples Personas:

  • El rendimiento generalmente disminuyó debido a la interferencia de los distractores, pero DualHead-TD mantuvo la TSR más alta (0.20) en comparación con el 0.04 de las otras líneas base.
  • DualHead-TD logró un Search SPL de 0.55, demostrando una identificación de objetivo y eficiencia de búsqueda superiores incluso en escenas concurridas.
  • Aunque DualHead-PA mostró una FR ligeramente superior (0.85 frente a 0.82), la TSR y el Search SPL superiores de DualHead-TD resaltan su efectividad en la tarea unificada, donde la transición exitosa y la recuperación del objetivo son críticas.

• Dinámica de Enrutamiento: La visualización de los pesos del enrutador confirmó que el Enrutador Impulsado por la Tarea aprende una separación funcional clara: asignando un peso cercano al 100% a la cabeza de búsqueda durante la exploración y transitando bruscamente a la cabeza de seguimiento tras el descubrimiento del objetivo, manteniendo la estabilidad de ahí en adelante.

Significado y Reivindicaciones

El artículo afirma que UESF-Bench es el primer benchmark a gran escala para la búsqueda y el seguimiento humano guiados por lenguaje de forma unificada en entornos encarnados. Al ir más allá de la suposición de visibilidad inicial del objetivo, este trabajo aborda una forma más realista de interacción encarnada.

Los autores argumentan que tratar la búsqueda y el seguimiento como tareas independientes no logra capturar la continuidad de la interacción del mundo real. El SeekFollow-VLA propuesto demuestra que un marco unificado con un enrutamiento impulsado por la tarea puede gestionar eficazmente las transiciones de fase implícitas y el anclaje de identidad retardado requeridos para una interacción humano-robot robusta. Los resultados sugieren que, para tareas encarnadas complejas, los sesgos inductivos arquitectónicos que modelan explícitamente las transiciones de etapa son cruciales para el rendimiento, particularmente en entornos con distractores.