🤖 machine learning

SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding

SPEAR-1 es un modelo fundacional robótico que mejora la generalización y el control mediante la integración de capacidades de comprensión espacial 3D en modelos de lenguaje visual (VLM), logrando un rendimiento superior con significativamente menos demostraciones robóticas.

Autores originales: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

Publicado 2026-04-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🤖 El problema: Robots que "ven" pero no "entienden" el espacio

Imagina que quieres enseñarle a un niño a recoger una manzana de una mesa. Si solo le muestras fotos de manzanas en 2D (como si fueran pegatinas planas), el niño sabrá qué es una manzana, pero cuando intente agarrarla en la vida real, no sabrá qué tan lejos está, qué tan grande es o hacia dónde debe mover su mano para no fallar.

La mayoría de los robots actuales sufren de esto. Se entrenan con miles de videos de robots moviéndose, pero su "cerebro" (el modelo de visión) fue entrenado con fotos de internet que son planas. El robot sabe que hay una "manzana", pero no entiende la tridimensionalidad del mundo. Para que funcione en una cocina nueva o con una cámara en otra posición, hay que darle miles de horas de entrenamiento nuevas, lo cual es carísimo y lento.

💡 La solución de SPEAR-1: El "Entrenamiento de Percepción"

Los investigadores de SPEAR-1 dijeron: "En lugar de gastar millones de horas enseñándole al robot a moverse, vamos a enseñarle primero a entender el espacio usando fotos normales".

Aquí es donde entra la magia de su estrategia en dos pasos:

Paso 1: El "Entrenamiento del Explorador" (SPEAR-VLM) 🧭

Antes de tocar un robot, crearon un modelo llamado SPEAR-VLM. Imagina que este modelo es como un explorador que mira fotos de internet y, en lugar de solo decir "esto es un perro", juega a un juego de geometría:

"¿A qué distancia está esa taza de la mesa?"
"¿Cuáles son las esquinas de esa caja en el espacio 3D?"

Para esto, usaron fotos comunes pero les añadieron "etiquetas invisibles" de profundidad. Es como si al explorador le dieran gafas de realidad aumentada que le permiten ver la profundidad en fotos que antes eran planas. Resultado: El cerebro del robot ya sabe cómo es el mundo en 3D antes de empezar a trabajar.

Paso 2: El "Entrenamiento del Maestro de Obra" (SPEAR-1) 🏗️

Una vez que el cerebro ya entiende el espacio, le enseñan a controlar el brazo del robot. Como el cerebro ya es "inteligente" espacialmente, no necesita ver un millón de videos de un robot moviéndose. Solo necesita unos pocos para entender cómo aplicar ese conocimiento espacial a sus movimientos.

🚀 ¿Por qué es esto un gran avance? (La analogía del Chef)

Imagina dos chefs:

El Chef Tradicional: Para aprender a cocinar un plato nuevo, tiene que ver 1,000 videos de otros chefs haciendo exactamente lo mismo. Si le cambias la sartén o la luz de la cocina, se confunde y falla.
El Chef SPEAR-1: Este chef ya estudió física, geometría y sabe exactamente cómo funcionan los objetos en el espacio. Solo necesita ver 20 videos para aprender el plato. Si le cambias la cocina o la sartén, no le importa, porque él entiende la lógica de cómo se mueve la comida en el espacio.

Los resultados son impresionantes:

Es mucho más eficiente: Logra resultados increíbles usando 20 veces menos datos de robots que otros modelos famosos.
Es un "todoterreno": Puede pasar de un robot pequeño (WidowX) a uno industrial (Franka) y funcionar en entornos que nunca antes había visto (lo que llaman zero-shot), sin que nadie tenga que volver a enseñarle.

📝 En resumen

SPEAR-1 es como darle a un robot "sentido común espacial" usando fotos comunes, para que no tenga que aprender todo a base de golpes y repeticiones infinitas. Es pasar de un robot que solo reconoce imágenes a un robot que entiende el volumen y la distancia de lo que le rodea.

Resumen Técnico: SPEAR-1

1. El Problema: La brecha entre la percepción 2D y el control 3D

Los Modelos Fundacionales Robóticos (RFM), específicamente los modelos de Visión-Lenguaje-Acción (VLA), han demostrado capacidades generales prometedoras. Sin embargo, presentan una limitación crítica: la mayoría se basan en modelos de lenguaje visual (VLM) preentrenados en internet, los cuales están diseñados para tareas de percepción 2D (identificar objetos en imágenes planas).

El control robótico en el mundo real requiere un razonamiento espacial 3D intrínseco (distancias, coordenadas, profundidad). Actualmente, para que un VLA aprenda estas propiedades geométricas, se depende de enormes cantidades de datos de demostraciones robóticas, los cuales son extremadamente costosos y difíciles de recolectar a escala. Esto resulta en modelos que fallan en escenarios de "zero-shot" (sin entrenamiento previo) cuando cambian la posición de la cámara o el entorno.

2. Metodología: Un enfoque de entrenamiento por etapas

Los autores proponen que, en lugar de forzar al robot a aprender la geometría solo mediante demostraciones, se puede "enriquecer" el conocimiento del modelo utilizando datos de imágenes no robóticas que ya contienen información 3D. El proceso se divide en tres etapas:

Etapa 0: VLM Base

Se parte de un modelo PaliGemma preentrenado en datos masivos de internet para obtener capacidades semánticas generales.

Etapa 1: SPEAR-VLM (Percepción 3D consciente)

El objetivo es dotar al VLM de capacidades de razonamiento espacial antes de que vea cualquier dato de un robot.

Arquitectura: Integran un codificador de profundidad monocular (MoGe) junto al codificador visual estándar (SigLIP). Además, expanden el vocabulario del modelo con 1024 tokens 3D para representar coordenadas espaciales.
Datos: Utilizan 200,000 imágenes no robóticas (de datasets como EgoExo4D) enriquecidas mediante un pipeline semi-automático que usa modelos como SAM2 y Gemini para generar anotaciones 3D (cajas delimitadoras 3D, puntos clave y distancias entre objetos).
Tareas de VQA: El modelo se entrena en tareas de Pregunta-Respuesta Visual (VQA) que exigen razonamiento 3D, como: "¿Cuáles son las coordenadas de la caja 3D de la zanahoria?".

Etapa 2: SPEAR-1 (Control Robótico)

Se añade un experto de acción que mapea las representaciones visuales-lingüísticas 3D a comandos motores.

Flow Matching en el Manifold S3: Para la rotación del robot, utilizan un formato de flow matching sobre la variedad de cuaterniones unitarios ( $S^3$ ), lo que proporciona una mayor estabilidad matemática que el uso de ángulos de Euler o matrices de rotación lineales.
Entrenamiento: Se entrena con ~45 millones de frames de 24 datasets de Open X-Embodiment.

3. Contribuciones Clave

SPEAR-VLM: Un modelo de lenguaje visual con capacidades de comprensión 3D explícitas, entrenado con datos no robóticos.
SPEAR-1: Un modelo fundacional de robótica de pesos abiertos que integra percepción 3D con control de acción.
Eficiencia de Datos: Demuestran que el conocimiento 3D extraído de imágenes comunes puede "reemplazar" la necesidad de millones de demostraciones robóticas.

4. Resultados Principales

El rendimiento de SPEAR-1 es sobresaliente en comparación con los estados del arte (SOTA):

Eficiencia de datos: SPEAR-1 logra igualar o superar a modelos como $\pi0.5$ utilizando 20 veces menos datos de demostraciones robóticas.
Generalización Zero-Shot (Franka/DROID): En entornos de Franka altamente desafiantes y no vistos durante el entrenamiento, SPEAR-1 supera significativamente a $\pi0$ -FAST y alcanza el rendimiento de $\pi0.5$ .
Simulación y Realidad (WidowX): En entornos SIMPLER y pruebas reales con el robot WidowX, SPEAR-1 supera a OpenVLA por un margen de más del 10% en progreso de tareas.

5. Significado e Impacto

La investigación de SPEAR-1 cambia el paradigma de escalado en robótica. Sugiere que el camino hacia robots más inteligentes y generalistas no depende únicamente de recolectar más teleoperaciones (que es lento y caro), sino de mejorar la comprensión espacial de los modelos visuales utilizando la vasta cantidad de datos 3D disponibles en el mundo digital. Esto abre la puerta a modelos robóticos mucho más robustos ante cambios de iluminación, cámaras y entornos, facilitando su despliegue en el mundo real.