Resumen Técnico: CoFL-S

Declaración del Problema

La Navegación de Visión-Lenguaje (VLN) ha experimentado un progreso significativo en el razonamiento semántico de alto nivel, la construcción de memoria y la descomposición de instrucciones. Sin embargo, la representación de acciones de bajo nivel —el mecanismo que traduce la intención semántica local en movimiento robótico ejecutable— sigue estando poco explorada. Las evaluaciones estándar de VLN entrelazan el razonamiento de alto nivel con la ejecución de bajo nivel, lo que dificulta aislar la efectividad de diferentes interfaces de acción. Las interfaces existentes, como los tokens de acción discretos (por ejemplo, "girar a la izquierda") o los fragmentos de acción de horizonte finito, especifican acciones para el estado actual o una secuencia futura corta, pero no logran modelar explícitamente cómo el movimiento deseado debería variar a través de ubicaciones cercanas en el espacio de trabajo, configuraciones de obstáculos o frecuencias de replanificación. El artículo postula que una interfaz de bajo nivel capaz de representar la guía indexada espacialmente, similar a los campos de potencial clásicos, es necesaria para un control continuo y robusto en entornos parcialmente observables.

Metodología: Marco de Trabajo CoFL-S

Los autores proponen CoFL-S (CoFL-Spatially Queryable Sector Flow Fields), un marco que predice un campo de flujo condicionado por el lenguaje sobre el sector local visible del robot para generar trayectorias continuas.

1. Representación del Campo de Flujo de Sector

En lugar de regredir una trayectoria única o una acción discreta, CoFL-S predice un campo de flujo 2D $v_\phi$ sobre el sector del plano de tierra local del robot.

• Entrada: Una observación RGB-D egocéntrica $(I, D)$ y una sub-instrucción local de bajo nivel $\ell$.
• Salida: Un campo de velocidad consultable espacialmente. El campo se consulta en coordenadas polares de sector normalizadas $q = (\tilde{\theta}, \tilde{r})$ alineadas con el campo de visión de la cámara, pero devuelve velocidades cartesianas $(v_{fwd}, v_{lft})$ en el marco del plano de tierra centrado en el robot.
• Generación: La trayectoria $\tau(t)$ se genera mediante el despliegue del campo predicho utilizando un modelo de movimiento de primer orden: $\dot{\tau}(t) = v_\phi(\Pi_{polar}(\tau(t)) | I, D, \ell)$.

2. Arquitectura

El modelo consta de tres componentes principales (Fig. 2):

• Codificador de Visión-Lenguaje: Utiliza un codificador SigLIP2 congelado para mapear RGB y texto a embeddings compartidos. La información de profundidad se inyecta en los tokens visuales a través de un parcheador convolucional y una vía FiLM (Modulación Lineal por Características) para proporcionar conciencia geométrica.
• Decodificador de Sector: Un decodificador Transformer basado en consultas que toma consultas de coordenadas (codificadas mediante características de Fourier gaussianas) y el contexto fusionado para predecir vectores de velocidad para cada ubicación de sector.
• Módulo de Acción: Una rama auxiliar ligera que utiliza consultas de acción aprendibles para predecir una probabilidad de terminación discreta (STOP), complementando el despliegue del campo continuo.

3. Supervisión de Control Continuo

Para entrenar esta representación, los autores convierten los episodios estándar de VLN-CE (R2R y RxR) en supervisión local a nivel de fotograma:

• Alineación de Grano Fino: Cada fotograma RGB-D se empareja con una sub-instrucción local derivada de anotaciones de grano fino (Fine-Grained R2R, Landmark RxR).
• Expansión de Instrucciones: Para aumentar la diversidad, cada fotograma se expande en $K$ ranuras de instrucción, incluyendo el ancla humana, comandos basados en objetos, comandos basados en regiones y comandos terminales.
• Generación de Objetivos: Para cada ranura de instrucción, se genera un objetivo de campo de flujo de sector denso combinando la atracción geodésica hacia un objetivo fundamentado con la repulsión de obstáculos/regiones invisibles. Esto crea un campo de potencial cuyo gradiente negativo sirve como el campo de velocidad objetivo.
• Función de Pérdida: El modelo se entrena con una combinación de pérdida de dirección (similitud de coseno), pérdida de magnitud (escalado de distancia-al-objetivo) y pérdida de terminación de acción.

4. Benchmark de Evaluación

Los autores introducen un benchmark de tiempo continuo Habitat para aislar las interfaces de acción de bajo nivel:

• Protocolo: Todos los métodos (CoFL-S, Action Token, Action Chunk) se evalúan bajo la misma simulación de tiempo continuo donde el estado del agente se actualiza a 6 Hz y las observaciones a 30 Hz.
• Controlador: Un controlador de velocidad de bajo nivel compartido ejecuta las salidas de todos los métodos, asegurando que las diferencias de rendimiento surjan de la representación de la acción y no del controlador.
• Independencia de Descomposición: En cada paso, la posición del agente se proyecta sobre la ruta de referencia para recuperar la sub-instrucción local correspondiente, eliminando la variable de la descomposición de la instrucción de alto nivel.

Contribuciones Clave

1. Marco de Trabajo CoFL-S: Una novedosa representación de campo de flujo de sector para navegación local en primera persona condicionada por el lenguaje, que mapea observaciones e instrucciones a un campo de control consultable espacialmente.
2. Conversión de Supervisión: Un método para convertir trazas de VLN-CE de episodios completos en supervisión local a nivel de fotograma, emparejando observaciones con sub-instrucciones alineadas y objetivos de campo de flujo densos.
3. Benchmark de Tiempo Continuo: Un nuevo protocolo de evaluación que compara interfaces de token de acción, fragmento de acción y campo de flujo con codificadores, instrucciones y controladores emparejados, permitiendo una comparación independiente de la descomposición a través de las frecuencias del planificador.

Resultados Experimentales

El artículo evalúa CoFL-S frente a las líneas base de Action Token y Action Chunk tanto en simulación como en entornos reales de cero disparos (zero-shot).

• Simulación (R2R-CE y RxR-CE): CoFL-S supera consistentemente a ambas líneas base en todas las frecuencias de planificador probadas (2 Hz, 5 Hz, 10 Hz) en términos de Error de Navegación (NE), Éxito de Oráculo (OS), Tasa de Éxito (SR) y Éxito ponderado por la Longitud del Camino (SPL). Notablemente, logra tasas de finalización de tarea más altas que Action Chunk a pesar de que este último tiene una cabeza de predicción más grande, y mantiene métricas competitivas de Tasa de Paso Bloqueado (BSR) y Suavidad de Dirección (HS).
• Cero Disparos en el Mundo Real: Desplegado en un robot móvil físico sin ajuste fino, CoFL-S logró una Tasa de Éxito de 0.75 en comparación con 0.46 para Action Token y 0.33 para Action Chunk. Demostró menos colisiones, tiempos de finalización más cortos y una navegación más estable, particularmente en pasajes estrechos donde las líneas base discretas tendían a oscilar o quedarse estancadas.

Significado y Reivindicaciones

El artículo sostiene que la representación de la acción de bajo nivel es un componente crítico y a menudo pasado por alto en la VLN. Al pasar de la predicción de acciones discretas o de horizonte finito a un campo de flujo consultable espacialmente, CoFL-S proporciona una "familia de objetivos de movimiento correctivo" en lugar de una decisión de estado actual única. Esta supervisión densa a nivel del espacio de trabajo permite que la política vincule mejor la semántica de la instrucción local con las restricciones geométricas, resultando en un control continuo más robusto.

Los autores enfatizan que, si bien CoFL-S asume la disponibilidad de una sub-instrucción local (dependiendo de un planificador de alto nivel para la descomposición), resuelve efectivamente el problema de la capa de ejecución. Los resultados sugieren que las políticas de campo de flujo con supervisión densa ofrecen una conciencia geométrica y estabilidad superiores en comparación con las interfaces de acción tradicionales, particularmente en despliegues de cero disparos en el mundo real donde la latencia y la variabilidad ambiental son factores significativos.