💻 computer science

Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data

Este artículo presenta un modelo de mundo JEPA regularizado por profundidad que aprovecha los conocimientos previos geométricos y la regularización latente para aprender representaciones más transferibles y robustas a partir de datos de robots en exteriores del mundo real, superando significativamente a los modelos de referencia en odometría visual, detección de sorpresa y predicción de múltiples pasos sin aumentar la sobrecarga de inferencia.

Autores originales: Usman M. Khan

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Usman M. Khan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a conducir un tractor a través de un campo. El robot tiene una cámara, pero el mundo que ve es desordenado: el sol deslumbra, las sombras se estiran y se encogen, las hojas se agitan con el viento y el suelo se ve diferente cada vez que gira una esquina. Si le pides al robot que memorice cada uno de los píxeles de cada imagen, se sentirá abrumado y confundido. En su lugar, los científicos están intentando enseñar a los robots "Modelos de Mundo". Piensa en un Modelo de Mundo como el ensueño interno del robot. En lugar de intentar redibujar toda la imagen, aprende a predecir qué pasará después de una manera simplificada y abstracta. Es como un jugador de ajedrez que no memoriza el color exacto de cada casilla, sino que comprende las reglas de cómo se mueven las piezas y cómo evoluciona el juego.

El tipo específico de "ensueño" en el que se centra este artículo se llama JEPA (Arquitectura Predictiva de Incrustación Conjunta). Imagina a un estudiante tomando un examen donde tiene que adivinar la siguiente frase de una historia basándose en las anteriores, pero no se le permite escribir la frase completa; solo tiene que adivinar la vibra o la esencia de la siguiente parte. Esto es genial porque ignora los detalles aburridos (como el color de la fuente) y se concentra en lo importante (la trama). Sin embargo, cuando estos robots intentan aprender de videos reales en exteriores, sus conjeturas de "vibra" interna suelen volverse desordenadas o colapsar en el sinsentido porque el mundo real es muy caótico. La gran pregunta es: ¿Cómo enseñamos a estos robots a entender la física del mundo real —como cómo se disponen las cosas en un espacio 3D— sin necesidad de un cerebro supercomplejo que los ralentice?

Este artículo introduce un truco ingenioso para resolver ese problema. Los investigadores tomaron un cerebro de robot compacto (un modelo de 18 millones de parámetros llamado LeWorldModel) y le dieron un "tutor" especial de "solo para el entrenamiento": información de profundidad. Imagina que estás aprendiendo a dibujar un paisaje. Tienes una foto normal (RGB), pero también tienes un mapa 3D (profundidad) que muestra exactamente qué tan lejos está cada árbol y roca. Los investigadores dejaron que el robot mirara tanto la foto como el mapa 3D mientras estudiaba (entrenamiento). Le dijeron al robot: "Tu suposición sobre la siguiente escena debe coincidir con la estructura 3D que ves en el mapa". Pero aquí está la magia: una vez que el robot terminó su tarea, le quitaron el mapa 3D. Cuando el robot sale a trabajar en el mundo real, solo usa la foto de la cámara, tal como antes. Sin embargo, debido a que aprendió con el mapa 3D, su comprensión interna del mundo es ahora mucho más aguda y fundamentada en la realidad.

Los resultados muestran que este simple truco funciona de maravilla. Al usar la profundidad solo durante el entrenamiento, el "ensueño" interno del robot se volvió mucho mejor para entender cómo se mueve el mundo. Cuando los investigadores lo probaron, la capacidad del robot para adivinar su propio movimiento (odometría visual) mejoró en un 33%, haciéndolo mucho más preciso. También se volvió mucho mejor detectando cosas "extrañas". Si de repente teletransportabas al robot a un lugar diferente o invertías el video hacia atrás, la alarma interna del robot sonaba mucho más fuerte y clara que antes. Sorprendentemente, esto incluso ayudó al robot a entender cosas que no son estrictamente 3D, como cambios repentinos en la iluminación o las sombras, sugiriendo que entender la forma del mundo ayuda al robot a dar sentido a todo lo demás también.

El artículo también encontró que este robot "entrenado con profundidad" era mucho más flexible cuando se movía a un entorno completamente nuevo (un robot diferente en un campo diferente). Mientras que el robot estándar luchaba por mantener sus predicciones precisas a lo largo del tiempo en el nuevo lugar, el robot entrenado con profundidad mantuvo la calma y sus predicciones se mantuvieron precisas durante tramos más largos. Los investigadores sugieren que, al fundamentar el aprendizaje del robot en la geometría física del mundo, crearon un cerebro más robusto y transferible. Es un poco como enseñar a un niño a montar en bicicleta en una pista suave y marcada con una viga de equilibrio cerca; una vez que aprenden el equilibrio, pueden montar en cualquier camino accidentado sin la viga, porque realmente entendieron cómo mantenerse erguidos. Este enfoque ofrece una forma práctica de hacer que los cerebros de los robots pequeños, eficientes y más inteligentes y adaptables sin necesidad de sensores costosos o supercomputadoras cuando están trabajando realmente.

Resumen Técnico: Modelos de Mundo JEPA con Regularización de Profundidad para Datos Reales de Robots en Exteriores

Planteamiento del Problema

Si bien las Arquitecturas de Predicción de Incrustaciones Conjuntas (JEPA, por sus siglas en inglés) han demostrado éxito en el aprendizaje de la dinámica ambiental robusta, su aplicación a la robótica de exteriores visualmente compleja y del mundo real sigue siendo un desafío. Los enfoques existentes suelen depender de la reconstrucción a nivel de píxeles, lo cual es vulnerable a variaciones de ruido (por ejemplo, cambios de iluminación, follaje desordenado) en entornos no estructurados. Por el contrario, los modelos JEPA de espacio latente, como LeWorldModel (LeWM), ofrecen una abstracción más estable al predecir futuras representaciones latentes en lugar de píxeles. Sin embargo, LeWM y modelos compactos similares se han validado principalmente en entornos controlados o simulados. Al aplicarse a datos reales de exteriores, estos modelos corren el riesgo de sufrir un colapso representacional o de fallar en la captura de la dinámica físicamente significativa sin restricciones estructurales adicionales. El desafío central es mejorar la robustez y la transferibilidad de los modelos JEPA compactos entrenados con datos del mundo real sin aumentar los costos computacionales en el tiempo de inferencia ni requerir sensores auxiliares (como cámaras de profundidad) durante el despliegue.

Metodología

Los autores proponen una intervención en el tiempo de entrenamiento que aumenta la arquitectura estándar de LeWorldModel (LeWM) con un objetivo de regularización de profundidad y una sobreparametrización del lado del predictor.

1. Arquitectura Base

El modelo es una variante compacta y de extremo a extremo de JEPA (18 millones de parámetros) basada en LeWM. Recibe un historial de fotogramas RGB y acciones como entrada, los codifica mediante un codificador-proyector compartido y utiliza un predictor para pronosticar la siguiente incrustación latente. El objetivo de entrenamiento consiste típicamente en una pérdida de predicción ( $L_{pred}$ ) y un regularizador latente (SIGReg) que fomenta distribuciones gaussianas isotrópicas para prevenir el colapso de modo.

2. Regularización de Profundidad Solo para el Entrenamiento

Para inyectar estructura geométrica en el espacio latente sin requerir profundidad en la inferencia, los autores introducen un objetivo de alineación de profundidad ( $L_{depth}$ ):

Entrenamiento de Doble Modalidad: Durante el entrenamiento, el modelo procesa observaciones emparejadas de RGB y profundidad estéreo a través de la misma pila de codificador-proyector.
Objetivo de Alineación: La incrustación RGB se optimiza para alinearse con la incrustación de profundidad correspondiente (calculada con un gradiente detenido) utilizando una pérdida de similitud de coseno.
Roles Complementarios: El término SIGReg maximiza la entropía (promoviendo la diversidad agnóstica a la tarea), mientras que el término de profundidad actúa como una restricción geométrica, organizando esa diversidad a lo largo de direcciones físicamente significativas. El objetivo combinado busca la representación de máxima entropía consistente con la geometría de la escena.
Inferencia: En el momento de la prueba, la rama de profundidad se descarta; el modelo opera únicamente con entradas RGB.

3. Sobreparametrización del Predictor

Para acomodar la mayor complejidad de satisfacer tanto las restricciones isotrópicas como las geométricas dentro de una capacidad fija, los autores introducen una sobreparametrización solo para el entrenamiento.

Mecanismo: Durante el entrenamiento, se añaden ramas RepLinear de bajo rango (rango-16) a las capas de up-projection y down-projection de MLP del predictor.
Fusión: Después del entrenamiento, estas ramas se fusionan algebraicamente en los pesos base del predictor. Esto asegura que el modelo desplegado sea arquitectónicamente idéntico al modelo base, sin sobrecarga de inferencia.

4. Datos y Evaluación

El modelo fue entrenado con aproximadamente 31,000 fotogramas de un único robot agrícola real (Aigen Element) y evaluado en:

In-domain (Dentro del dominio): Conjunto de validación de Aigen.
Out-of-Domain (Fuera del dominio - OOD): Benchmark TartanGround (diferente robot, entorno y brecha sim-to-real).
Métricas: Sondas de Odometría Visual (VO) de incrustación congelada, detección de sorpresa basada en el predictor (bajo perturbaciones sintéticas) y fidelidad de despliegue latente de múltiples pasos.

Contribuciones Clave

Entrenamiento en el Mundo Real: Demostró que un modelo de mundo JEPA compacto de extremo a extremo puede entrenarse con éxito directamente sobre datos reales de un robot agrícola en exteriores, un escenario previamente no reportado para esta familia de arquitecturas.
Prior Geométrico Solo en el Entrenamiento: Introdujo un objetivo de alineación de profundidad que inyecta estructura geométrica en las representaciones de JEPA. Esto mejora la comprensión física y la robustez sin requerir sensores de profundidad, etiquetas de tareas o codificadores preentrenados en la inferencia.
Evaluación Exhaustiva: Proporcionó un protocolo de evaluación consistente que muestra cómo la regularización de profundidad mejora la calidad de la representación, la nitidez del predictor y la robustez OOD a través de la odometría visual, la detección de sorpresa y los despliegues de múltiples pasos.

Resultados

El modelo regularizado por profundidad superó consistentemente al baseline de vanilla LeWM, particularmente en escenarios de transferencia:

Calidad de Representación: El modelo regularizado por profundidad redujo el error de la sonda de Odometría Visual (VO) en un 33% (el MSE cayó de 0.0022 a 0.0015) en comparación con el baseline, superando una referencia de DINOv2 congelada.
Detección de Sorpresa: El modelo mostró una mejora significativa en la separación entre transiciones plausibles e implausibles.
- In-domain: La separación de sorpresa aumentó de 0.067 a 0.120.
- Out-of-domain (TartanGround): La separación aumentó casi 3 veces, de 0.035 a 0.099.
- Ganancias No Geométricas: Notablemente, el modelo también mejoró en perturbaciones no geométricas (saltos de brillo, cambios de color), lo que sugiere que el prior geométrico induce un andamiaje para la consistencia física general.
Generalización Fuera del Dominio (OOD): Mientras que el baseline superó ligeramente al modelo de profundidad en el dominio, el modelo regularizado por profundidad demostró una robustez superior bajo el cambio de dominio. En TartanGround, logró una mayor similitud de objetivo (0.745 frente a 0.716 en el horizonte $h=10$ ) y similitud de trayectoria, con la brecha de rendimiento ampliándose en horizontes más largos ( $h=20$ ).
Geometría Latente: El análisis de los subespacios principales reveló que el modelo regularizado por profundidad produjo espacios latentes con un mayor solapamiento trans-dominio en el régimen de rango medio ( $k \approx 5-50$ ), indicando una geometría más transferible para la estructura relevante a la tarea.

Significado y Reivindicaciones

El artículo argumenta que un prior geométrico ligero en el tiempo de entrenamiento puede mejorar significativamente la utilidad y la transferibilidad de los modelos de mundo JEPA compactos para el despliegue en el mundo real.

Practicidad: El enfoque es "barato en el tiempo de entrenamiento y gratuito en el tiempo de prueba", ya que la señal de profundidad y la sobreparametrización se eliminan o fusionan antes del despliegue.
Generalización: Los resultados sugieren que mover el objetivo de entrenamiento desde la pura isotropía hacia una anisotropía informada por la geometría crea un espacio latente más robusto. Esto se mantiene incluso para tareas no directamente ligadas a la geometría 3D (por ejemplo, consistencia de iluminación), lo que implica que fundamentar las representaciones en la estructura física mejora las expectativas predictivas generales.
Limitaciones: Los autores reconocen que el estudio es una prueba de concepto utilizando métricas offline en una única plataforma robótica y un conjunto de datos relativamente pequeño. Señalan que el rendimiento de planificación de bucle cerrado y la escalabilidad a modelos y datos más grandes aún no han sido probados.

En conclusión, el trabajo demuestra que la incorporación de priors fundamentados físicamente como la profundidad durante el entrenamiento puede cerrar la brecha entre los benchmarks controlados de simulación y la realidad desordenada de la robótica en exteriores, permitiendo que los modelos compactos aprendan una dinámica más transferible y físicamente consciente.