Target-Bench: Can Video World Models Achieve Mapless Path Planning with Semantic Targets?

Resumen Técnico: Target-Bench

1. Problema y Contexto

A pesar de los avances recientes en la generación de videos realistas mediante Modelos de Mundo (World Models - WMs) basados en video (como Sora, Veo, Wan), su capacidad para realizar razonamiento semántico y planificación de trayectorias sigue siendo incierta y no cuantificada.

• El Desafío: La comunidad robótica busca integrar estos modelos para la navegación sin mapas (mapless navigation), donde el robot debe moverse hacia un objetivo semántico descrito en lenguaje natural en entornos no estructurados.
• La Brecha: Las evaluaciones actuales se centran en la fidelidad visual y la consistencia espacio-temporal, pero no miden si el modelo puede inferir una tendencia de movimiento válida hacia un objetivo específico. No existen benchmarks que evalúen la capacidad de planificación semántica en escenarios del mundo real.

2. Metodología: Target-Bench

Los autores presentan Target-Bench, el primer benchmark diseñado para evaluar la capacidad de los Modelos de Mundo de video para la planificación de rutas sin mapas hacia objetivos semánticos.

• Dataset (Target Dataset):

  • Recopilación: Se recolectaron 450 escenarios utilizando un robot cuadrúpedo (DEEP Robotics Lite 3) en entornos interiores y exteriores diversos.
  • Estructura: Incluye 47 categorías semánticas (coches, sillas, bicicletas, etc.). Cada muestra contiene: una secuencia de video, una trayectoria de referencia basada en SLAM, un mapa de nubes de puntos y un prompt de objetivo semántico.
  • Tipos de Objetivos: Se incluyen objetivos explícitos (nombre directo del objeto) e implícitos (descripciones de atributos o funciones), lo que aumenta la dificultad del razonamiento semántico.
  • Datos: 112,500 frames en total. 125 muestras se usan como conjunto de prueba (benchmark) y 325 para entrenamiento.

• Pipeline de Evaluación:
  El sistema consta de dos etapas principales:

  1. World-Decoder (Decodificador del Mundo): Extrae la trayectoria de la cámara a partir de los videos generados por el modelo. Se utilizan tres métodos de reconstrucción 3D de última generación:
     • VGGT: Transformer basado en geometría visual.
     • SpaTracker: Extensión de VGGT con seguimiento temporal.
     • ViPE: Pipeline visual-inercial basado en SLAM.
     • Mecanismo de Recuperación de Escala: Dado que los métodos monoculares (VGGT, SpaTracker) estiman el movimiento sin escala conocida, el sistema utiliza los primeros y últimos frames para calcular un factor de escala ($\lambda$) basado en el desplazamiento real medido por el robot, permitiendo una comparación métrica precisa.
  2. Evaluación de Trayectoria: Compara la trayectoria reconstruida con la trayectoria de referencia (Ground Truth) utilizando cinco métricas complementarias:
     • ADE (Error de Desplazamiento Promedio): Distancia media L2 entre predicción y realidad.
     • FDE (Error de Desplazamiento Final): Distancia en el punto final.
     • MR (Tasa de Fallo): Porcentaje de puntos que se desvían más allá de un umbral (2.0m).
     • SE (Soft Endpoint): Penalización gaussiana basada en la proximidad al objetivo final.
     • AC (Consistencia de Aproximación): Evalúa si la trayectoria se mantiene dentro de un "corredor" dinámico alrededor de la trayectoria real, enfocándose en la tendencia direccional en lugar de la superposición exacta de la trayectoria.
     • Puntuación Global (WO): Una métrica ponderada que prioriza el éxito de la tarea (SE $\times$ AC) sobre la precisión punto a punto.

3. Contribuciones Clave

1. Primer Benchmark Sistemático: Target-Bench es el primer marco para evaluar la planificación de rutas sin mapas hacia objetivos semánticos en entornos reales, utilizando un decodificador modular y métricas diseñadas para evaluar la tendencia de movimiento.
2. Dataset Abierto y Diverso: Un conjunto de datos de 450 escenarios con robots reales, cubriendo objetivos explícitos e implícitos, con trayectorias métricas y mapas de nubes de puntos.
3. Estudio de Ajuste Fino (Fine-tuning): Se demuestra que el ajuste fino de un modelo de código abierto (Wan2.2-TI2V-5B) en un conjunto de datos robótico pequeño (325 muestras) mejora drásticamente el rendimiento, superando a los modelos comerciales más avanzados.

4. Resultados Experimentales

• Rendimiento de Modelos "Off-the-Shelf":
  • El mejor modelo disponible sin ajuste fino, Wan2.2-Flash, obtuvo una puntuación global (WO) de solo 0.341.
  • Modelos como Sora 2 y Veo 3.1 mostraron puntuaciones aún más bajas (alrededor de 0.20), indicando una gran brecha entre la generación visual realista y la capacidad de planificación semántica.
  • Los modelos mostraron dificultades en llegar al punto final exacto (bajo SE) y alta tasa de fallos (MR), aunque a menudo capturaban la dirección general correcta.
• Impacto del Ajuste Fino:
  • Al ajustar el modelo Wan2.2-5B en el dataset de Target-Bench, la puntuación global aumentó de 0.084 (modelo base) a 0.330 (ajustado) y hasta 0.394 con aumento de datos.
  • Esto demuestra que los modelos de mundo pueden aprender tareas de navegación específicas con muy pocos datos reales (data-efficient adaptation).
• Análisis de Horizontes: Se observó que reducir el horizonte de planificación (de 8s a 4s) mejoró ligeramente las puntuaciones, sugiriendo que los modelos son más fiables en ventanas temporales cortas.
• Herramientas de Reconstrucción: VGGT demostró ser la herramienta más efectiva para extraer trayectorias de videos generados, validando la aproximación del decodificador.

5. Significado e Impacto

• Cambio de Paradigma en la Evaluación: Target-Bench desplaza el foco de la calidad visual pura hacia la utilidad funcional en robótica. Demuestra que un video puede ser visualmente impresionante pero fallar completamente en la planificación de tareas.
• Viabilidad de la Navegación Semántica: Los resultados sugieren que, aunque los modelos actuales no son perfectos, tienen un potencial significativo para la navegación en entornos no estructurados si se adaptan adecuadamente a datos del mundo real.
• Futuro de la Robótica: Este trabajo sienta las bases para sistemas de navegación en bucle cerrado donde el robot utiliza predicciones visuales futuras para tomar decisiones de movimiento sin necesidad de mapas previos, solo basándose en objetivos semánticos y percepción visual.

En conclusión, el paper establece que, si bien los Modelos de Mundo actuales tienen una brecha significativa en la planificación semántica, esta brecha es superable mediante el ajuste fino con datos robóticos específicos, abriendo nuevas vías para la inteligencia artificial encarnada (Embodied AI).