-sight: Unifying Vision-Language-Action and Latent World Modeling
-sight es un modelo fundacional robótico unificado que integra el control de visión-lenguaje-acción con un modelado de mundo latente mediante la predicción de tokens espaciales y acciones futuras directamente dentro del espacio de tokens nativo del VLM, logrando un rendimiento de vanguardia en diversos bancos de pruebas sin depender de la reconstrucción de píxeles o de codificadores externos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por el autor. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Los robots han luchado durante mucho tiempo por moverse por el mundo con la fluidez intuitiva de un humano. Si bien pueden ser programados para repetir un movimiento específico perfectamente, a menudo fallan cuando el entorno cambia ligeramente o cuando una tarea requiere una secuencia de pasos que deben adaptarse en tiempo real. Para cerrar esta brecha, los científicos han desarrollado sistemas que combinan visión, lenguaje y acción. Estos sistemas permiten que un robot comprenda un comando como "pon la taza sobre la mesa" y luego determine cómo mover su brazo para hacerlo. Sin embargo, persiste un obstáculo significativo: la mayoría de estos sistemas solo observan el momento presente. Ven la escena actual y deciden el siguiente movimiento, pero no anticipan verdaderamente lo que sucederá después. Sin esta capacidad de prever el futuro inmediato, los robots pueden tropezar cuando una tarea requiere coordinar movimientos complejos, como caminar mientras se transporta un objeto o navegar alrededor de obstáculos que cambian a medida que se mueven.
Un nuevo enfoque llamado Z-sight, desarrollado por investigadores de Maven Robotics y la Universidad del Sur de California, intenta resolver esto dotando al robot de una forma de "previsión". En lugar de simplemente reaccionar a lo que ve ahora, el sistema aprende a predecir cómo se verá el mundo visual una fracción de segundo en el futuro, y utiliza esa predicción para guiar sus acciones. Esto no se trata de generar un video completo del futuro, lo cual sería computacionalmente costoso y lento. En cambio, el sistema predice los patrones visuales esenciales que el cerebro del robot utiliza para comprender la escena. Al aprender a imaginar el siguiente momento mientras decide simultáneamente el siguiente movimiento, el robot puede planificar su trayectoria de manera más fluosa, manejando tareas complejas que anteriormente causaban que otros sistemas se congelaran o fallaran.
Los investigadores construyeron este sistema entrenándolo con una colección masiva de datos, incluyendo miles de horas de videos que muestran a humanos realizando tareas cotidianas y grabaciones de diversos robots. El proceso de entrenamiento se dividió en etapas. Primero, el sistema aprendió a comprender los movimientos humanos y el lenguaje a partir de videos de personas haciendo cosas como abrir puertas o doblar ropa. Luego, fue expuesto a datos de diferentes tipos de robots, aprendiendo a traducir esas observaciones de tipo humano en la mecánica específica del movimiento robótico. Finalmente, el sistema fue ajustado con precisión en un robot específico, una máquina humanoide llamada Unitree G1, para dominar tareas como empujar una silla debajo de una mesa o tirar la basura en un bote. A lo largo de este proceso, se le enseñó al sistema hacer dos cosas a la vez: predecir el estado visual futuro del mundo y generar las acciones físicas necesarias para alcanzar ese estado.
La innovación central radica en cómo el sistema maneja estas predicciones. Muchos intentos previos de dotar a los robots de previsión dependían de la generación de fotogramas de video completos del futuro o del uso de sistemas separados y congelados para adivinar qué sucedería. Estos métodos eran demasiado lentos o estaban desconectados de la propia forma en que el robot ve el mundo. Z-sight evita estas trampas prediciendo el futuro directamente en el mismo "lenguaje visual" que el robot utiliza para comprender el presente. No intenta recrear un video perfecto en píxeles; en su lugar, predice los tokens visuales abstractos que representan la escena. Esto permite que el robot vea el futuro como un conjunto de posibilidades que están estrechamente integradas con su comprensión actual, permitiéndole ajustar sus acciones sobre la marcha a medida que el futuro predicho se desarrolla.
Los resultados de este enfoque fueron probados tanto en simulaciones por computadora como en experimentos en el mundo real. En un entorno simulado diseñado para probar la coordinación de todo el cuerpo, el sistema logró una tasa de éxito del 81.9 por ciento en una variedad de tareas complejas, superando a los métodos existentes más fuertes por un margen significativo. Cuando se probó en el robot físico Unitree G1 en una habitación real, tuvo éxito en el 73.3 por ciento de los ensayos a través de seis tareas diferentes, que incluían mover objetos, navegar alrededor de muebles y realizar tareas domésticas de varios pasos. En comparación, el siguiente mejor sistema tuvo éxito en solo el 53.3 por ciento de estos intentos en el mundo real. Los investigadores encontraron que la capacidad del sistema para anticipar el futuro era crucial para tareas que requerían una secuencia de movimientos, como caminar hacia una silla, empujarla y luego colocar un objeto encima. Sin esta previsión, el robot a menudo completaba la primera parte de la tarea, pero luego se estancaba al intentar la transición al siguiente paso.
Para asegurar que las mejoras provenían del propio mecanismo de previsión y no solo de tener un modelo más grande o complejo, los investigadores realizaron varios experimentos controlados. Probaron versiones del sistema que no podían predecir el futuro y encontraron que estas versiones funcionaban significativamente peor, incluso cuando tenían la misma potencia de cómputo. También probaron si el sistema dependía del contenido específico de sus predicciones o solo del hecho de que estaba realizando una predicción. Cuando reemplazaron la predicción futura con ruido aleatorio o con la imagen estática actual, el rendimiento del robot colapsó, indicando que realmente estaba utilizando los detalles específicos de su predicción futura para guiar sus movimientos. Además, el sistema logró realizar estas predicciones y decisiones de manera increíblemente rápida, procesando un bloque de 30 pasos en solo 110 milisegundos, lo cual es lo suficientemente rápido para controlar un robot en tiempo real sin retraso.
El estudio también exploró cómo se comporta el sistema cuando las cosas salen mal. Al interrumpir intencionalmente el flujo de predicción durante las pruebas, los investigadores observaron que el robot podía adaptarse. Si se le decía al sistema que su predicción no era confiable, este dependía más de lo que podía ver en ese momento, en lugar de adivinar qué podría pasar. Esta flexibilidad sugiere que el sistema ha aprendido una forma robusta de equilibrar la planificación con la reacción. Los investigadores señalaron que, si bien el sistema es altamente efectivo, actualmente predice el futuro basándose solo en lo que ve, sin probar explícitamente diferentes opciones de acción antes de comprometerse con una. Esto deja abierta la posibilidad de que versiones futuras puedan comparar diferentes resultados potenciales antes de actuar, mejorando aún más su capacidad de planificación.
En última instancia, Z-sight demuestra que un robot no necesita generar videos completos del futuro para comprender qué sigue. Al aprender a predecir el futuro en el mismo espacio visual abstracto que utiliza para comprender el presente, el sistema logra un nivel de coordinación y adaptabilidad que anteriormente era difícil de alcanzar. Este enfoque permite que el robot se mueva con un sentido de continuidad, cerrando la brecha entre ver el mundo y actuar dentro de él. El éxito de este método tanto en robots humanoides simulados como reales sugiere que esta forma de combinar percepción, predicción y acción podría convertirse en un fundamento estándar para máquinas más capaces y autónomas en el futuro.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.