💻 computer science

MiniVLA-Nav v1: A Multi-Scene Simulation Dataset for Language-Conditioned Robot Navigation

El artículo presenta MiniVLA-Nav v1, un conjunto de datos de simulación de libre acceso que comprende 1.174 episodios en cuatro entornos fotorrealistas de Isaac Sim y que vincula instrucciones en lenguaje natural con datos visuales sincronizados y datos de acción de expertos para evaluar la navegación de aproximación a objetos condicionada por lenguaje para el robot NVIDIA Nova Carter.

Autores originales: Ali Al-Bustami, Jaerock Kwon

Publicado 2026-05-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ali Al-Bustami, Jaerock Kwon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a entrar en una habitación, encontrar un objeto específico (como una "silla roja" o un "extintor") y detenerse justo frente a él, todo mientras solo le das una orden hablada simple, como: "Ve a la silla".

Esto es exactamente de lo que trata el artículo MiniVLA-Nav v1. Los autores han creado un enorme campo de entrenamiento digital (un conjunto de datos de simulación) para ayudar a los robots a aprender esta habilidad específica sin necesidad de estrellar robots reales miles de veces en el mundo real.

Aquí tienes un desglose de lo que construyeron, usando analogías simples:

1. El campo de entrenamiento de "videojuego"

En lugar de usar un robot real en una oficina u hospital reales, los investigadores construyeron cuatro mundos virtuales diferentes dentro de un potente programa informático llamado Isaac Sim.

Los mundos: Crearon versiones fotorrealistas de una oficina, un hospital, un almacén completo y un almacén con muchas estanterías.
El robot: Utilizaron un gemelo digital de un robot real llamado Nova Carter (un robot de dos ruedas que se mueve como un Roomba pero se dirige como un coche).
El objetivo: El robot recibe una instrucción de texto (por ejemplo, "Conduce hasta el cubo de basura") y debe navegar por la habitación virtual para encontrar ese objeto y detenerse dentro de un radio de 1 metro de él.

2. El "profesor perfecto" (El experto)

Para enseñar al robot, necesitas a alguien que sepa exactamente cómo realizar la tarea perfectamente. En este conjunto de datos, el "profesor" es un programa informático (un controlador proporcional) que actúa como un GPS perfecto.

Ve el objeto, calcula la ruta más corta y le dice al robot exactamente a qué velocidad ir y con qué intensidad girar en cada instante.
El conjunto de datos registra 1.174 trayectos exitosos donde este "profesor perfecto" guió al robot hasta el objetivo.
Por qué esto importa: Al igual que un estudiante aprende mejor viendo a un chef maestro cocinar, un robot aprende mejor imitando estos movimientos perfectos y grabados.

3. El "menú de entrenamiento" (La variedad es clave)

Si solo practicas caminar en línea recta por un pasillo vacío, no aprenderás a navegar por una cocina llena de gente. Los autores aseguraron que los datos de entrenamiento fueran diversos:

Distancias diferentes: El robot comienza a tres distancias diferentes del objetivo: Cerca (a solo unos pasos), Media (al otro lado de la habitación) y Lejos (todo lo cruzado del edificio).
Palabras diferentes: Utilizaron 30 plantillas de oraciones diferentes. Algunas dicen "Ve a la silla", otras dicen "Conduce a la silla y detente", o "Encuentra la silla". Esto enseña al robot que diferentes palabras pueden significar lo mismo.
Objetos diferentes: Hay 12 tipos de objetos (sillas, mesas, extintores, barriles, etc.). Algunos se utilizan para el entrenamiento y otros están "ocultos" para probar si el robot puede adivinar qué hacer con objetos que nunca ha visto antes.

4. El "paquete sensorial"

Cada vez que el robot da un paso en la simulación, el conjunto de datos guarda una "instantánea" completa de lo que experimenta el robot, todo sincronizado:

Ojos: Una foto a color de 640x640 (RGB).
Sentido de profundidad: Un mapa que muestra exactamente qué tan lejos está todo (profundidad métrica).
Enfoque: Una máscara que resalta exactamente qué píxeles pertenecen al objeto objetivo (segmentación de instancias).
La lección: La velocidad exacta y el ángulo de giro que el "profesor perfecto" ordenó en ese momento exacto.

5. El "examen final" (Evaluación)

Los investigadores no solo arrojaron los datos; los organizaron en cinco grupos de prueba diferentes para ver qué tan bien aprende un robot:

Prueba estándar: ¿Puede encontrar objetos que conoce usando oraciones que ha escuchado antes?
Prueba de paráfrasis: ¿Puede entender "Dirígete a la silla" si solo fue entrenado con "Ve a la silla"?
Prueba de objeto nuevo: ¿Puede encontrar un "barril" si solo fue entrenado con "sillas" y "mesas"?

Lo que el artículo encontró realmente

Eficiencia: El "profesor perfecto" es muy eficiente. La distancia que recorre el robot es casi exactamente la misma que la distancia desde la que comenzó respecto al objetivo (una línea recta). Esto confirma que los datos de entrenamiento son de alta calidad y no están llenos de desvíos innecesarios.
Dificultad: Las escenas de "Almacén" son más difíciles que las de "Oficina". Los robots tardan más y dan más pasos para navegar por los almacenes abarrotados, lo que demuestra que el conjunto de datos captura la dificultad del mundo real.
Limitaciones:
- Daltonismo: La versión actual de la simulación no conoce los colores de los objetos (todo es "desconocido"). Por lo tanto, instrucciones como "Ve a la silla roja" fueron eliminadas de los datos de entrenamiento por ahora.
- Sesgo de selección: El "profesor" tiene dificultades en pasillos muy estrechos (como en la escena del hospital), por lo que el conjunto de datos tiene menos ejemplos de navegación por esquinas ajustadas. Muestra principalmente caminos abiertos.
- Simulación vs. Realidad: Como esto es un videojuego, la iluminación y las texturas son perfectas. Un robot entrenado aquí podría confundirse cuando vea la iluminación desordenada e imperfecta de una habitación real.

En resumen

MiniVLA-Nav v1 es una biblioteca digital de 1.174 lecciones de conducción perfectas para robots. Les enseña cómo escuchar una orden, mirar alrededor de una habitación virtual y conducir directamente hacia un objeto específico. Está diseñado para ayudar a los investigadores a construir mejores modelos de "Visión-Lenguaje-Acción": robots que pueden ver, entender el lenguaje y moverse todo al mismo tiempo.

El artículo establece explícitamente que esto es un lanzamiento de conjunto de datos y una descripción de la tubería. Los resultados reales del entrenamiento (qué tan bien funcionó un modelo de IA específico en estos datos) se guardan para un futuro "artículo complementario".

1. Planteamiento del Problema

El artículo aborda una brecha crítica en la IA Encarnada (Embodied AI): la falta de conjuntos de datos a gran escala y de alta calidad para tareas de Aproximación a Objetos Condicionada por Lenguaje (LCOA) que impliquen control diferencial continuo.

La Brecha: Los conjuntos de datos existentes se centran o bien en acciones panorámicas discretas (por ejemplo, R2R, ObjectNav), o en manipulación de mesa (por ejemplo, ALFRED), o carecen de divisiones sistemáticas de evaluación Fuera de Distribución (OOD).
El Desafío: La recolección de demostraciones de robots en el mundo real es costosa y logísticamente difícil. Aunque la simulación ofrece una solución, los simuladores existentes a menudo carecen de la combinación de diversidad multi-escena, espacios de acción continuos, etiquetas densas de expertos por paso y observaciones multi-modales (RGB + Profundidad + Segmentación) necesarias para entrenar modelos robustos Visión-Lenguaje-Acción (VLA).

2. Metodología

Los autores desarrollaron una pipeline de generación de datos escalable y reproducible utilizando NVIDIA Isaac Sim 5.1 y el robot de tracción diferencial NVIDIA Nova Carter.

A. Definición de la Tarea (LCOA)

Objetivo: Dada una instrucción en lenguaje natural y observaciones RGB-D frontales, el robot debe navegar hacia un objeto nombrado y detenerse dentro de 1.0 metro.
Condiciones de Terminación:
- Éxito: El robot está dentro de 1 m y estático durante $\ge$ 5 pasos.
- Colisión/Atasco: Sin progreso durante $\ge$ 16 pasos cerca de un obstáculo.
- Tiempo Agotado: Se alcanzan 1000 pasos.
Espacio de Acción: Comandos de velocidad continuos $(v, \omega)$ , cuantizados en un vocabulario de 7 $\times$ 7 tokens (49 tokens) para entrenamiento estilo VLA.

B. Pipeline de Recolección de Datos

Entorno de Simulación: Cuatro escenas interiores fotorrealistas (Oficina, Hospital, Almacén Completo, Almacén con Estanterías Múltiples) cargadas desde Isaac Assets.
Robot y Sensores: Nova Carter con una cámara estéreo frontal (640 $\times$ 640) que proporciona RGB sincronizado, profundidad métrica (float32) y máscaras de segmentación de instancias a 60 Hz.
Controlador Experto: Un controlador proporcional basado en visión que utiliza máscaras de segmentación de instancias para rastrear el objetivo.
- Objeto Visible: Ajusta la dirección basándose en el centroide de la máscara y la velocidad basándose en la profundidad mediana.
- Objeto Ocluido: Utiliza control solo de acimut basado en las coordenadas conocidas del objetivo.
- Evitación de Obstáculos: Limita la velocidad si la profundidad del primer plano es < 0.25 m.
Estrategia de Aparición (Spawn): Para asegurar diversidad de dificultad, los episodios utilizan tres niveles de distancia de aparición:
- Cerca: 1.5–3.5 m (30% de los episodios).
- Medio: 3.5–7.0 m (40%).
- Lejano: Puntos globales curados (30%, actualmente subrepresentados).
Instrucciones en Lenguaje: Generadas a partir de 18 plantillas de entrenamiento y 12 plantillas de paráfrasis OOD. (Nota: Las plantillas de slots de color fueron suprimidas en la v1 debido a la falta de metadatos de color en los activos).

C. Estructura del Conjunto de Datos

Total de Episodios: 1,174 episodios exitosos validados.
Modalidades: RGB, Profundidad, Segmentación, Acciones Continuas $(v, \omega)$ y Tokens de Acción Discretizados, todos sincronizados.
Divisiones de Evaluación: Cinco divisiones diseñadas para probar:
1. Precisión dentro de la distribución (train_id, val_id, test_id).
2. Robustez ante paráfrasis de plantillas (test_paraphrase_ood).
3. Generalización de categorías de objetos (test_ood_obj).

3. Contribuciones Clave

Primer Conjunto de Datos Multi-escena LCOA: El primer conjunto de datos disponible públicamente que combina múltiples tipos de escenas interiores, acciones de expertos de tracción diferencial continuas, instrucciones en lenguaje y observaciones multi-modales por paso.
Pipeline de Generación Escalable: Una pipeline totalmente automatizada y reanudable construida sobre Isaac Sim 5.1 que garantiza la reproducibilidad bit a bit mediante una única semilla aleatoria.
Evaluación Estructurada OOD: Cinco divisiones de evaluación diseñadas específicamente para evaluar la robustez del modelo frente a instrucciones paráfraseadas y categorías de objetos no vistas.
Anotación Rica: Incluye 12 categorías de objetos, 3 niveles de distancia de aparición y datos multi-modales sincronizados (RGB, Profundidad, Segmentación) a 60 Hz.
Estadísticas Exhaustivas: Análisis detallado de las longitudes de trayectoria, errores de navegación y correlaciones con la distancia de aparición.

4. Resultados y Estadísticas

Diversidad de Trayectorias: Existe una fuerte correlación lineal ( $r=0.94$ $r = 0.94$ ) entre la distancia de aparición y la longitud de la trayectoria, confirmando que el controlador experto sigue rutas eficientes y casi rectas.
- Nivel Cerca: Longitud media 1.56 m (129 pasos).
- Nivel Lejano: Longitud media 4.46 m (415 pasos).
Precisión de Navegación: Todos los episodios retenidos son exitosos, con un Error de Navegación (NE) medio de 0.967 m, agrupados estrechamente justo por debajo del umbral de éxito de 1.0 m debido al criterio de "mantenerse detenido".
Dificultad de la Escena: Las escenas de almacén producen episodios significativamente más largos (mediana de 189–207 pasos) en comparación con las escenas de Oficina/Hospital (156–160 pasos) debido al desorden y las restricciones de los pasillos.
Tasas de Éxito del Experto: Varían según la complejidad de la escena (Oficina: ~80–90%; Hospital/Almacén: ~40–60%), introduciendo un sesgo de selección hacia rutas sin obstáculos en el conjunto de datos actual.

5. Significado y Trabajo Futuro

Significado: MiniVLA-Nav v1 llena un vacío crítico en el panorama de investigación VLA al proporcionar una referencia para la navegación continua sobre ruedas con anclaje al lenguaje. Permite el entrenamiento de políticas de extremo a extremo que pueden generalizarse a nuevas categorías de objetos y formulaciones de instrucciones, avanzando más allá de los espacios de acción discretos.
Limitaciones y Trabajo Futuro:
- Subrepresentación del Nivel Lejano: Solo el 1.2% de los episodios son de "nivel lejano"; las futuras actualizaciones expandirán los puntos de aparición globales.
- Anotación de Color: Actualmente suprimida; las futuras versiones añadirán extracción de color basada en mallas.
- Sesgo del Experto: El controlador proporcional tiene dificultades en pasillos estrechos; el trabajo futuro integrará expertos de planificación de rutas (por ejemplo, RRT*) para una mejor cobertura.
- Brecha Sim-a-Real: Las diferencias en el renderizado, el ruido de profundidad y la dinámica del suelo requieren aleatorización de dominio antes del despliegue en el mundo real.
- Obstáculos Dinámicos: Las escenas actuales son estáticas; las futuras versiones incluirán obstáculos en movimiento.

El conjunto de datos está disponible públicamente en Hugging Face, acompañado de la pipeline de generación y las herramientas de evaluación, con resultados de entrenamiento de referencia prometidos en una publicación complementaria.