GeoLoco: Leveraging 3D Geometric Priors from Visual Foundation Model for Robust RGB-Only Humanoid Locomotion

GeoLoco es un marco de locomoción para humanoides que utiliza exclusivamente imágenes RGB y aprovecha los priores geométricos de un modelo fundacional visual congelado, junto con un mecanismo de atención cruzada y un esquema de aprendizaje auxiliar, para lograr una transferencia cero-shot robusta desde la simulación al robot Unitree G1 en terrenos complejos.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot humanoide (como un pequeño robot con forma de humano) a caminar por cualquier terreno: escaleras, rampas, piedras sueltas o incluso en la oscuridad.

El problema es que la mayoría de los robots "ven" el mundo de dos formas:

1. A ciegas: Solo sienten sus propias piernas y equilibrio (como si caminaras con los ojos vendados). Si hay un escalón, se tropiezan.
2. Con sensores costosos: Usan láseres (LiDAR) o cámaras de profundidad que miden la distancia exacta. Funcionan bien, pero son caros, pesados y no les dicen al robot qué es el objeto (si es una escalera de madera o de metal), solo dónde está.

GeoLoco es la solución propuesta en este paper. Es como darle al robot una cámara normal (la que tiene tu teléfono) y un "super cerebro" pre-entrenado para que pueda caminar sin necesidad de esos sensores costosos.

Aquí te explico cómo funciona con analogías sencillas:

1. El "Super Cerebro" congelado (El Modelo de Fundación Visual)

Imagina que tienes un libro de texto de arquitectura y geometría que ya ha leído miles de millones de imágenes del mundo real. Ese libro sabe cómo se ve una escalera, una rampa o un hueco, y entiende la profundidad (qué tan lejos está algo) solo mirando una foto plana.

• La innovación: En lugar de intentar enseñarle al robot a "ver" en 3D desde cero (lo cual es como intentar aprender a volar sin alas), GeoLoco usa ese "libro de texto" (un modelo de Inteligencia Artificial llamado Visual Foundation Model o VFM) que ya está congelado y listo.
• La magia: El robot toma una foto normal (2D) y el "libro de texto" la traduce instantáneamente a un mapa mental 3D. Es como si el robot pudiera "sentir" la profundidad de una escalera solo mirando una foto, sin necesidad de un láser.

2. El "Ojo que pregunta" (Atención Cruzada)

Aquí viene la parte más inteligente. Normalmente, si le das una foto a un robot, se abruma con tanta información (colores, sombras, texturas).

• La analogía: Imagina que eres un bailarín en un escenario oscuro. No miras todo el escenario; tu cerebro se enfoca solo en tus pies y en el suelo justo donde vas a pisar.
• Cómo lo hace GeoLoco: El robot tiene un mecanismo de "atención". En lugar de mirar toda la foto, sus propios movimientos (cómo está balanceándose, a qué velocidad va) le dicen a la cámara qué parte de la imagen es importante.
  • Si el robot va a subir una escalera, la cámara se enfoca automáticamente en los bordes de los escalones.
  • Si va a saltar un hueco, se enfoca en el borde opuesto.
  • Es como si el robot tuviera un ojo que se mueve solo para mirar exactamente lo que necesita para no caerse, ignorando el resto del mundo.

3. El "Entrenador de Seguridad" (Aprendizaje Auxiliar)

Entrenar a un robot solo con fotos es peligroso porque podría aprender a caminar bien en la simulación (donde todo es perfecto) pero fallar en la vida real (donde hay luces raras o texturas extrañas). Podría aprender a "adivinar" por el color de la pared en lugar de por la forma del suelo.

• La solución: Durante el entrenamiento, GeoLoco tiene un "entrenador de seguridad" invisible.
  • Este entrenador le pregunta al robot dos cosas mientras camina: "¿A qué velocidad vas?" y "¿Cómo se ve el suelo justo delante de ti?".
  • Si el robot no puede responder correctamente basándose en lo que "ve", el entrenador lo corrige.
  • El resultado: Esto fuerza al robot a aprender la geometría real (la forma física del suelo) y no a memorizar patrones de colores o sombras. Es como si un profesor le exigiera al estudiante que entienda la física del salto, no que memorice la respuesta del examen.

4. El Resultado: ¡Caminando de verdad!

Después de entrenar solo en simulación (como un videojuego muy realista), el equipo probó el robot en la vida real con un Unitree G1 (un robot humanoide real).

• Sin ajustes previos: El robot no tuvo que aprender nada nuevo en la vida real. Lo que aprendió en el videojuego funcionó al instante.
• Lo que logró: Subió escaleras, saltó huecos y caminó por pendientes, incluso con poca luz o texturas extrañas.
• Comparación:
  • Los robots que solo sienten sus piernas (ciegos) se caían en cuanto había un escalón.
  • Los robots con cámaras normales (sin el "super cerebro") se confundían con las sombras.
  • GeoLoco caminó con la seguridad de alguien que tiene ojos y pies coordinados, usando solo una cámara barata y un algoritmo inteligente.

En resumen

GeoLoco es como darle a un robot humanoide gafas de realidad aumentada que le permiten ver la profundidad y la forma de las cosas usando solo una cámara normal. Le enseña a ignorar lo que no importa (colores, luces) y a enfocarse en lo vital (dónde poner el pie), permitiéndole caminar por el mundo real con la misma seguridad que si tuviera sensores láser costosos, pero de una manera más barata, ligera y lista para integrarse con robots que también puedan "hablar" y "razonar" en el futuro.

Resumen técnico

Resumen Técnico: GeoLoco

1. El Problema

La locomoción de humanoides perceptive (que utiliza sensores externos) enfrenta actualmente una dicotomía crítica:

• Enfoque basado en sensores activos: Los métodos predominantes dependen de sensores de profundidad activos (LiDAR, cámaras RGB-D) para reconstruir mapas de elevación. Aunque efectivos para la estabilidad geométrica, estos enfoques crean un "silencio de información" al descartar las ricas señales semánticas y de apariencia densa del mundo visual. Esto desconecta el control de bajo nivel de la razonamiento de alto nivel necesario para la inteligencia encarnada general (VLA - Visión-Lenguaje-Acción).
• Enfoque basado solo en RGB: Utilizar una cámara monocular RGB es una alternativa ubicua y rica en información. Sin embargo, el aprendizaje por refuerzo (RL) de extremo a extremo desde píxeles 2D crudos sufre de una ineficiencia extrema en la muestra y un colapso catastrófico en la transferencia simulación-a-realidad (sim-to-real). Esto se debe a la pérdida inherente de escala métrica y la ambigüedad geométrica de las imágenes 2D.

GeoLoco busca romper este impasse permitiendo una locomoción robusta en humanoides utilizando únicamente una cámara RGB monocular, eliminando la dependencia de sensores de profundidad activos sin sacrificar el rendimiento en terrenos complejos.

2. Metodología

GeoLoco es un marco de aprendizaje por refuerzo que conceptualiza las imágenes RGB monoculares no como arrays de píxeles 2D, sino como representaciones latentes 3D de alta dimensión, aprovechando los priores geométricos de un Modelo Fundamental Visual (VFM) congelado.

Los componentes clave son:

• Codificador Visual Geométrico Congelado (VFM):

  • En lugar de entrenar un codificador visual desde cero (lo cual tiende a sobreajustarse a texturas de simulación), el sistema utiliza un Depth-Anything-V2 (ViT-S) congelado.
  • Este modelo extrae tokens de parches de múltiples capas intermedias (capas 4, 8 y 12) para capturar tanto primitivos geométricos de alta frecuencia como contexto estructural.
  • Se aplica una proyección espacial agrupada por canales (sin parámetros aprendidos) para comprimir las características en un descriptor espacial compacto ($96 \times 8 \times 8$), preservando la disposición espacial crítica para la geometría del terreno.

• Fusión por Atención Cruzada Multi-Cabeza (Proprioceptive-Query):

  • Se introduce un mecanismo de atención cruzada donde el estado propioceptivo instantáneo del robot (velocidad, ángulos de las articulaciones, fase de la marcha) actúa como la consulta (Query).
  • Las características visuales comprimidas actúan como Claves (Keys) y Valores (Values).
  • Esto permite que el robot module dinámicamente su enfoque visual basado en su estado físico actual, atendiendo a características topológicas críticas (como bordes de escaleras o alturas de contrahuella) en lugar de procesar la imagen completa de manera estática.
  • El sistema maneja la latencia asíncrona: el control propioceptivo corre a 50 Hz, mientras que la inferencia del VFM se ejecuta asíncronamente a 10 Hz, utilizando un mecanismo de "mantenimiento de estado cero" (zero-order hold).

• Esquema de Aprendizaje Auxiliar Dual (Regularización):

  • Para evitar que la política se sobreajuste a texturas superficiales en lugar de aprender geometría real, se introduce un decodificador auxiliar con dos cabezas durante el entrenamiento:
    1. Estimación de Velocidad: Predice la velocidad lineal de la base a partir del historial propioceptivo.
    2. Reconstrucción del Terreno: Reconstruye un mapa de altura local (subset frontal) a partir de la entrada completa de la política.
  • Estas pérdidas auxiliares fuerzan al espacio latente a alinearse estrictamente con la geometría física del terreno. En la implementación real, estas cabezas se descartan, añadiendo cero sobrecarga computacional.

• Entrenamiento y Transferencia:

  • Se entrena exclusivamente en simulación (IsaacLab) utilizando una estrategia agresiva de aleatorización de dominios (iluminación, texturas, oclusiones, latencia) para garantizar la transferencia zero-shot a la realidad.

3. Contribuciones Clave

1. Marco puramente RGB: Se propone un marco de locomoción para humanoides que elimina la dependencia de sensores de profundidad activos, conceptualizando el RGB monoculo como una representación latente 3D.
2. Arquitectura de Fusión Eficiente: Se introduce un mecanismo de atención cruzada ligero que integra eficientemente priores visuales de alta dimensión con estados propioceptivos, facilitando un control de cuerpo completo consciente de la geometría.
3. Aprendizaje Auxiliar Dual: Se diseña un esquema de regularización que reconstruye la topografía del terreno y predice la dinámica del sistema, asegurando una transferencia robusta sim-to-real sin ajuste fino en el mundo real.

4. Resultados

El método fue evaluado tanto en simulación como en el robot humanoide real Unitree G1.

• En Simulación:

  • GeoLoco superó significativamente a las políticas basadas solo en propiocepción (que fallaron en discontinuidades geométricas severas) y a las políticas RGB de extremo a extremo tradicionales (que mostraron fragilidad en terrenos difíciles).
  • En terrenos "Difíciles" (escaleras, huecos, pendientes), GeoLoco logró tasas de éxito de 66.27% en subir escaleras y 49.62% en cruzar huecos, superando a métodos basados en CNN y GaussGym.
  • Su rendimiento fue competitivo e incluso superior en algunos casos (escaleras medias) a métodos basados en sensores de profundidad como MoRE y PIE.

• Despliegue en el Mundo Real (Unitree G1):

  • Se logró una transferencia zero-shot (sin ajuste en el robot real).
  • Rendimiento: Logró una tasa de éxito del 80% en escaleras de 0.23 m y 70% en huecos de 0.25 m, superando ampliamente a las líneas base ciegas (30% y 0% respectivamente) y a las basadas en CNN (40% y 40%).
  • Eficiencia: Redujo el tiempo de ejecución promedio en comparación con las líneas base.
  • Robustez: El robot navegó con éxito escaleras bajo condiciones de baja iluminación y superó discontinuidades geométricas con movimientos anticipatorios (levantamiento de piernas y colocación adaptativa de pies).

5. Significado e Impacto

GeoLoco representa un cambio de paradigma en la locomoción de humanoides:

• Integración VLA: Al eliminar los sensores de profundidad y utilizar representaciones visuales densas, el marco alinea el control de bajo nivel con los modelos de Visión-Lenguaje-Acción (VLA) de propósito general, permitiendo que la locomoción se beneficie de las leyes de escalado de los grandes modelos visuales.
• Eficiencia y Robustez: Demuestra que es posible lograr una precisión geométrica métrica utilizando solo una cámara RGB estándar, superando las limitaciones de escala mediante el uso de priores de modelos fundacionales congelados.
• Escalabilidad: Proporciona una vía escalable para integrar la percepción geométrica en robots que operan en entornos no estructurados, sin la necesidad de hardware costoso o especializado para la profundidad.

En conclusión, GeoLoco valida que las representaciones latentes derivadas de Modelos Fundamentales Visuales pueden servir como un sustituto robusto y rico en información para los sensores de profundidad tradicionales, habilitando una nueva generación de agentes humanoides capaces de navegar terrenos complejos con una sola cámara.