💻 computer science

VOFA: Visual Object Goal Pushing with Force-Adaptive Control for Humanoids

Este artículo presenta VOFA, un sistema jerárquico de locomoción y manipulación para humanoides que combina una política de alto nivel condicionada por objetivos visuales con un controlador de bajo nivel adaptativo a la fuerza para empujar de manera robusta objetos pesados de propiedades físicas desconocidas hacia objetivos arbitrarios utilizando únicamente percepción egocéntrica a bordo.

Autores originales: Zichao Hu, Zifan Xu, Dongsik Chang, He Yin, Linh Tran, Roberto Martín-Martín, Peter Stone, Jingyu Qiao, Joydeep Biswas

Publicado 2026-05-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zichao Hu, Zifan Xu, Dongsik Chang, He Yin, Linh Tran, Roberto Martín-Martín, Peter Stone, Jingyu Qiao, Joydeep Biswas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un robot humanoide llamado "Booster T1" de pie en un almacén. Su trabajo es empujar una caja pesada y misteriosa a través del suelo hasta un punto específico. ¿El problema? El robot no sabe cuán pesada es la caja, no sabe si el suelo es resbaladizo o pegajoso, y no puede ver la caja perfectamente porque su cámara está un poco borrosa.

Este artículo introduce VOFA (Empuje de Objeto-Vista con Objetivo y Control Adaptativo a la Fuerza), un sistema de "cerebro y cuerpo" que enseña al robot a empujar estas cajas con éxito, incluso cuando las cosas salen mal.

Así es como funciona VOFA, desglosado en conceptos simples:

1. El Sistema de Dos Cerebros (La Jerarquía)

VOFA utiliza un enfoque de equipo de dos niveles, como un General y un Soldado:

El General (Política de Alto Nivel): Esta es la parte "visionaria". Observa la transmisión de la cámara (que es un poco ruidosa, como una mala videollamada) y la ubicación del objetivo. Decide dónde debe ir el robot y cómo posicionarse en relación con la caja. No se preocupa por los pequeños espasmos musculares; solo da grandes órdenes como "Avanza" o "Gira a la izquierda".
El Soldado (Controlador de Bajo Nivel): Esta es la parte "muscular". Toma las grandes órdenes del General y determina exactamente cómo mover cada articulación del cuerpo del robot. Crucialmente, esta parte es Adaptativa a la Fuerza. Piensa en una persona empujando un carrito de compras que de repente se llena de ladrillos. Si el carrito se vuelve pesado, la persona se inclina instintivamente con más fuerza y ajusta su postura para no caerse. El Soldado hace lo mismo automáticamente, ajustándose al peso de la caja y a la fricción del suelo sin necesidad de que se le diga.

2. El Campo de Entrenamiento (Método Maestro-Alumno)

Enseñar a un robot a hacer esto es difícil porque no se le puede dar fácilmente una "vista perfecta" del mundo durante el entrenamiento. Por lo tanto, los investigadores utilizaron un método Maestro-Alumno:

El Maestro: Primero, entrenaron a un robot "Maestro" que tenía superpoderes. Podía ver el peso exacto de la caja, la fricción exacta del suelo y la posición perfecta de las articulaciones del robot. Aprendió a empujar la caja perfectamente utilizando esta información "privilegiada".
El Alumno: Luego, entrenaron a un robot "Alumno" que solo tenía una cámara normal y sensores básicos (sin superpoderes). El Alumno observaba al Maestro e intentaba copiar sus movimientos. Para hacer al Alumno más resistente, los investigadores añadieron "ruido visual" durante el entrenamiento, como desenfocar la cámara o añadir estática, para que el Alumno aprendiera a empujar la caja incluso cuando la vista estaba desordenada, tal como sería en el mundo real.

3. El Truco de "Alinear Primero"

Uno de los mayores desafíos es que si el robot intenta empujar la caja cuando está de pie en el lado incorrecto, fallará. Los investigadores añadieron una "recompensa" especial (como una estrella de oro) para que el robot se reposicionara primero.

Imagina intentar empujar un sofá pesado. Si te paras a un lado, no puedes moverlo hacia adelante. Tienes que caminar alrededor hasta la parte trasera primero. VOFA aprendió este truco por sí mismo. Espera hasta que esté de pie en el lugar perfecto detrás de la caja en relación con el objetivo antes de comenzar a empujar. Esto evita que el robot haga un "contacto prematuro" y se quede atascado.

4. Resultados en el Mundo Real

El equipo probó esto en el robot Booster T1 real. Esto es lo que sucedió:

Levantamiento Pesado: El robot empujó con éxito cajas que pesaban hasta 17 kg (aproximadamente 37 libras). ¡Eso es más de la mitad del peso del propio robot! El robot ni siquiera fue entrenado con cajas tan pesadas en la simulación, sin embargo, lo resolvió sobre la marcha.
Diferentes Ángulos: Ya sea que el objetivo estuviera frente, al lado o incluso detrás del robot, VOFA tuvo éxito más del 80% de las veces en el mundo real.
Recuperación: Si alguien pateaba la caja hacia un lado mientras el robot la empujaba, el robot no entraba en pánico. Se detenía, miraba hacia dónde había ido la caja, caminaba alrededor para volver a la línea y continuaba empujando. Opera en un bucle cerrado, lo que significa que verifica constantemente sus alrededores y corrige su trayectoria, en lugar de simplemente seguir un guion preplanificado.

Resumen

VOFA es un sistema que permite a un robot humanoide empujar objetos pesados y desconocidos hacia objetivos específicos utilizando solo una cámara. Combina un planificador "visionario" inteligente con un "músculo" que se ajusta instintivamente al peso y la fricción. Al entrenar a un robot alumno para que imite a un maestro superpoderoso mientras lidia con datos de cámara desordenados, el sistema aprendió a empujar cajas pesadas, recuperarse de golpes y navegar ángulos complejos sin caerse.

Resumen Técnico: VOFA – Empuje de Objetos con Objetivo Visual con Control Adaptativo de Fuerza para Humanoides

Enunciado del Problema

El artículo aborda el desafío de permitir que los robots humanoides realicen empuje de objetos dirigido a un objetivo (locomanipulación) utilizando únicamente la percepción egocéntrica a bordo. Esta capacidad es crítica para aplicaciones del mundo real, como la reorganización de inventarios en almacenes. El sistema debe operar de manera robusta bajo tres restricciones principales:

Propiedades Físicas Desconocidas: El robot debe manejar objetos con masas y coeficientes de fricción con el suelo variables y desconocidos.
Percepción a Bordo Ruidosa: El sistema no puede depender de información privilegiada del estado del objeto (por ejemplo, posición o velocidad exactas del objeto) y debe funcionar utilizando imágenes de profundidad ruidosas y datos propioceptivos.
Adaptabilidad en Bucle Cerrado: El robot debe adaptarse en tiempo real a diversas configuraciones objeto-objetivo, incluidos casos donde el robot debe reubicarse con respecto al objeto y al objetivo antes de iniciar el contacto.

Las soluciones existentes a menudo no cumplen simultáneamente con estos criterios, ya sea dependiendo de sensores privilegiados, careciendo de robustez ante variaciones físicas o fallando al adaptarse a diferentes configuraciones de objetivo sin definiciones manuales de etapas.

Metodología

Los autores proponen VOFA (Empuje de Objetos con Objetivo Visual con Control Adaptativo de Fuerza), un sistema jerárquico de dos niveles diseñado para el robot humanoide Booster T1.

1. Arquitectura Jerárquica

Política Visomotora de Alto Nivel: Esta política procesa las observaciones a bordo (propiocepción e imágenes de profundidad) y una posición de objetivo deseada para generar comandos de alto nivel. Opera a 50 Hz.
Controlador Adaptativo de Fuerza de Bajo Nivel: Este controlador traduce los comandos de alto nivel en acciones a nivel de articulaciones. Se basa en el marco FALCON, diseñado explícitamente para manejar fuerzas externas sustanciales y desconocidas en los efectores finales, asegurando estabilidad durante la interacción con objetos de masa variable.

2. Estrategia de Entrenamiento: Destilación Maestro-Alumno

Para superar el desafío de aprender a partir de entradas visuales ruidosas, VOFA emplea un marco Maestro-Alumno:

Política Maestra: Entrenada utilizando Optimización de Política Proximal (PPO) con información privilegiada (por ejemplo, orientación exacta del objeto, velocidad lineal de la base y estado del objeto). Esta política aprende el comportamiento óptimo para el empuje condicionado al objetivo.
Política Alumno: Destilada de la maestra utilizando DAgger (Agregación de Conjuntos de Datos). El alumno reemplaza las entradas privilegiadas con el historial propioceptivo a bordo e imágenes de profundidad.
Aumento Visual: Para cerrar la brecha simulación-realidad, el entrenamiento del alumno incorpora aleatorizaciones visuales, incluyendo perturbación del plano lejano de profundidad, ruido de profundidad correlacionado y eliminación de píxeles, para simular artefactos del sensor y desorden de fondo.

3. Diseño de Recompensas

El entrenamiento utiliza una función de recompensa compuesta con cuatro términos clave:

Recompensa de Alcanzamiento ( $R_{reach}$ ): Fomenta que ambos efectores finales se aproximen al objeto.
Recompensa de Empuje ( $R_{push}$ ): Recompensa la reducción de la distancia entre el objeto y el objetivo.
Recompensa de Seguimiento de Cabeza ( $R_{track}$ ): Fomenta que el robot rastree visualmente el objeto con su cámara.
Recompensa de Alineación Objeto-Objetivo ( $R_{align}$ ): Un componente novedoso que fomenta que el robot se reubique al lado del objeto opuesto al objetivo antes de empujar. Esto elimina la necesidad de etapas de entrenamiento definidas manualmente y promueve la planificación de largo horizonte sobre estrategias de contacto miope.

4. Simulación y Aleatorización de Dominio

El entrenamiento se realiza en Isaac Gym con una aleatorización extensa de la masa del objeto (1–8 kg), la fricción y las colocaciones iniciales objeto-objetivo. Para abordar la brecha simulación-realidad en visión, el sistema aleatoriza las extrínsecas de la cámara (traslaciones y rotaciones) y emula patrones de ruido de sensor observados en cámaras de profundidad del mundo real (ZED 2i).

Contribuciones Clave

Sistema Condicionado a Objetivo Visual: Introducción de VOFA, un sistema capaz de empuje dirigido a un objetivo en bucle cerrado a través de diversas configuraciones objeto-objetivo utilizando únicamente percepción visual a bordo.
Robustez ante Masas Desconocidas: Demostración de un sistema que empuja con éxito objetos con masas diversas y previamente no vistas, incluidas cargas de hasta 17 kg (superando la mitad del peso corporal del robot), sin reentrenamiento sobre esas masas específicas.
Validación en Hardware Real: Despliegue exitoso en el robot humanoide Booster T1, logrando altas tasas de éxito tanto en simulación como en experimentos del mundo real a través de configuraciones de escena variables y propiedades físicas.

Resultados Experimentales

El sistema fue evaluado tanto en simulación a gran escala como en pruebas reales en el Booster T1.

Tasas de Éxito: VOFA logró más del 90% de éxito en simulación y más del 80% de éxito en pruebas del mundo real.
Robustez de Masa: En experimentos del mundo real, el sistema empujó con éxito un objeto de 17 kg (una caja de 5 kg con 12 kg de peso añadido), a pesar de haber sido entrenado con masas de hasta 8 kg.
Adaptabilidad de Configuración: El sistema mantuvo altas tasas de éxito (>90% para la política alumno) a través de configuraciones de objetivo frontal, lateral y trasero.
Estudios de Ablación:
- Control Adaptativo de Fuerza: Eliminar el controlador de bajo nivel adaptativo a la fuerza resultó en una caída significativa de las tasas de éxito (por ejemplo, del 91,38% al 59,32% para la política alumno) y comportamientos inestables como "patar" el objeto.
- Recompensa de Alineación: Eliminar la recompensa de alineación objeto-objetivo llevó a fallos de contacto prematuros, particularmente en configuraciones de objetivo trasero donde se requiere reubicación.
- Aleatorización Visual: El entrenamiento sin aleatorizaciones visuales llevó a una degradación sustancial del rendimiento en escenarios laterales y traseros del mundo real debido a la sensibilidad al ruido de fondo y la discrepancia de dominio.
Capacidades en Bucle Cerrado: Las demostraciones en el mundo real mostraron que el robot podía recuperarse de perturbaciones laterales externas, compensar distribuciones de centro de masa descentradas y empujar secuencialmente objetos hacia múltiples objetivos sin reinicio.

Significado y Afirmaciones

El artículo afirma que VOFA representa un paso significativo hacia la locomanipulación autónoma y robusta de humanoides en entornos no estructurados. Al desacoplar la planificación visomotora de alto nivel del control adaptativo de fuerza de bajo nivel, el sistema simplifica el entrenamiento de políticas mientras mantiene la robustez ante variaciones físicas.

Los autores enfatizan que la recompensa de alineación objeto-objetivo es crítica para permitir que el robot aprenda comportamientos complejos de largo horizonte (reubicación antes de empujar) sin etapas manuales. Además, la transferencia exitosa al hardware real con cargas pesadas (17 kg) demuestra que la combinación de control adaptativo de fuerza y aleatorización visual mitiga eficazmente la brecha simulación-realidad.

El trabajo concluye señalando las limitaciones actuales, específicamente el enfoque en escenarios de objeto único y la dependencia de un módulo externo para la posición relativa del objetivo. El trabajo futuro tiene como objetivo extender el marco a entornos multiobjeto y desarrollar un razonamiento completamente de extremo a extremo para la localización de objetos y objetivos a partir de entradas sensoriales crudas.