🤖 AI

SceneBot: Contact-Prompted General Humanoid Whole Body Tracking with Scene-Interaction

SceneBot es un marco de seguimiento de movimiento unificado que permite a los robots humanoides generalizar sin interrupciones entre la locomoción en espacio libre y las tareas complejas ricas en contactos, condicionando una única política en movimientos de referencia y grafos de interacción de escena inferidos derivados de un novedoso enfoque de reconstrucción de escena retrospectiva.

Autores originales: Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu

Publicado 2026-06-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a caminar, bailar y cargar cajas pesadas por una escalera. Durante mucho tiempo, los entrenadores de robots se enfrentaron a un problema complicado: podían enseñar a los robots a moverse perfectamente en habitaciones vacías (espacio libre), pero en cuanto el robot tenía que tocar una pared, pisar un escalón o agarrar un objeto pesado, se confundía. Es como decirle a un bailarín "mueve tu mano hacia la caja", pero no decirle cómo tocarla: ¿debería simplemente rozarla o agarrarla con suficiente fuerza para levantarla? Sin esa instrucción específica, el robot no sabe si debe estar flotando o empujando.

SceneBot es una nueva solución creada por investigadores de Stanford y Amazon. Piensa en ello como un "traductor universal" que enseña a un único cerebro robótico a manejar tanto habitaciones vacías como entornos desordenados y llenos de objetos donde es necesario tocar las cosas.

Así es como funciona, desglosado en conceptos sencillos:

1. El "Mapa de Contacto" (El ingrediente secreto)

La mayoría de los robots solo intentan copiar los movimientos de un humano (cinemática). SceneBot añade una segunda capa de instrucción: Etiquetas de Contacto.

La analogía: Imagina que estás aprendiendo a subir escaleras cargando una maleta pesada. Una instrucción normal dice: "Mueve tu brazo así". SceneBot añade una nota adhesiva que dice: "Tu mano debe estar presionando el asa" y "Tu pie debe estar firmemente plantado en el escalón".
Cómo ayuda: Esto le dice al robot exactamente qué partes del cuerpo deben empujar, tirar o apoyarse contra el mundo. Convierte las instrucciones de movimiento vagas en un juego físico de "unir los puntos" con el entorno.

2. El motor de datos de "Viaje en el Tiempo"

Para enseñar esto a un robot, necesitas miles de ejemplos de robots interactuando con escaleras y cajas. Pero los datos del mundo real son escasos, y filmar a robots haciendo esto es lento y costoso.

El problema: Tenemos muchísimos videos de humanos bailando, caminando y cargando cosas, pero no tenemos los modelos 3D de las escaleras o las cajas con las que están interactuando.
La solución (Reconstrucción retrospectiva/Hindsight Reconstruction): Los investigadores construyeron un ingenioso sistema de "viaje en el tiempo". Toman un video de un humano moviéndose y la computadora trabaja hacia atrás para inventar la escena.
- Si la mano del humano deja de moverse cerca de un punto, la computadora dice: "Ah, debió haber estado sosteniendo una caja aquí", y crea una caja virtual en 3D.
- Si el pie del humano sube un escalón, la computadora dice: "Debió haber estado sobre un escalón", y construye una escalera virtual.
El resultado: Convirtieron horas de datos de movimiento humano en un enorme gimnasio de entrenamiento lleno de escaleras virtuales, cajas y terrenos irregulares, todos perfectamente coordinados con los movimientos del robot.

3. La "Política de un Solo Cerebro"

Normalmente, necesitas un cerebro para caminar, otro para subir escaleras y un tercero para cargar cosas. SceneBot entrena un solo cerebro para hacerlo todo.

La magia: Al alimentar al robot tanto con las instrucciones de "muévete así" como con las de "toca esto", el robot aprende una habilidad general. Puede caminar por un suelo plano y, acto seguido, cambiar a cargar una caja subiendo una escalera sin cambiar su "software".
Prueba en el mundo real: El artículo muestra al robot recogiendo con éxito una caja, cargándola y subiendo escaleras en un solo movimiento continuo.

4. El "GPS" para la cabeza del robot

Para evitar que el robot se maree o se caiga, los investigadores también mejoraron la forma en que el robot sabe dónde se encuentra en el mundo.

El problema: Los robots suelen confundirse sobre su propia orientación (hacia dónde está arriba) cuando mueven la cabeza rápidamente.
La solución: Combinaron datos de un escáner láser (LiDAR) y un sensor en las caderas del robot (como el oído interno de un humano) para crear un "GPS" súper preciso que mantiene al robot equilibrado incluso cuando realiza trucos complejos.

Resumen

SceneBot es como darle a un robot un "sentido del tacto superdesarrollado". En lugar de simplemente copiar ciegamente los movimientos humanos, aprende dónde y cómo tocar el mundo. Al usar un truco ingenioso para inventar escenas de entrenamiento a partir de videos humanos, los investigadores enseñaron a una única política robótica a manejar desde bailar en una habitación vacía hasta cargar muebles pesados por una escalera, todo sin necesidad de un programa diferente para cada tarea.

Los investigadores afirman que este es el primer marco que unifica de manera fluida el movimiento en espacio libre con tareas complejas que requieren contacto, y planean compartir su código y sus datos para que otros puedan construir sobre ellos.

Resumen Técnico: SceneBot – Seguimiento de Cuerpo Completo de Humanoide General Mediante Prompts de Contacto

Declaración del Problema

Las políticas actuales de aprendizaje por refuerzo (RL) para humanoides han logrado un éxito significativo en el seguimiento de movimientos en espacio libre (por ejemplo, caminar, correr, bailar), pero tienen dificultades con las tareas ricas en contactos. El seguimiento puramente cinemático es insuficiente para interactuar con objetos y terrenos irregulares porque no puede resolver ambigüedades físicas. Por ejemplo, mover una muñeca hacia una caja no especifica intrínsecamente si el robot está alcanzando, tocando o levantando; del mismo modo, colocar un pie cerca del borde de un escalón no garantiza la generación de una fuerza de reacción contra el suelo suficiente para subir un escalón. Los pipelines existentes carecen de la conciencia de la escena necesaria para coordinar interacciones tanto con objetos como con el terreno en horizontes largos, dependiendo a menudo de la teleoperación de alto nivel o fallando al generalizar a tareas complejas de loco-manipulación.

Metodología

SceneBot es un marco unificado de seguimiento de movimiento diseñado para manejar la locomoción en espacio libre, la navegación por terrenos y la manipulación de cuerpo completo dentro de una sola política. La metodología consta de tres componentes principales:

1. Reconstrucción de Escena Hindsight (Hindsight Scene Reconstruction)

Para abordar la escasez de conjuntos de datos a gran escala que contengan datos emparejados de movimiento e interacción con la escena, SceneBot introduce un pipeline de reconstrucción de escena hindsight:

Entrada: Trayectorias de movimiento humano retargetizadas.
Grafo de Interacción de la Escena: El sistema construye un grafo heterogéneo que captura interacciones temporales entre enlaces clave del robot (muñecas, pies, pelvis) y tipos de escena (terreno, objetos). Se añaden aristas basadas en baja velocidad/aceleración relativa y se podan si violan restricciones de colisión o de cierre de fuerza (force-closure).
Generación de Assets: Basándose en el grafo de interacción, el sistema reconstruye mapas de elevación 2.5D plausibles para el terreno y objetos de placa paralela para elementos movibles. Esto transforma los datos ordinarios de movimiento humano en datos de interacción robot-escena ricos en contactos aptos para el entrenamiento.

2. Entrenamiento de Política Condicionada por Contacto

La política central se entrena utilizando Optimización de Política Próxima (PPO) para rastrear tanto movimientos de referencia cinemáticos como etiquetas de contacto explícitas.

Entradas: La política toma comandos cinemáticos ( $g_t$ ), estados propioceptivos ( $s_t$ ), estimaciones del estado de la raíz ( $p_{root,t}$ ) y un vector de etiquetas de contacto binario ( $c_t$ ). Las etiquetas de contacto indican explícitamente qué enlaces del robot deben establecer contacto con el terreno u objetos.
Estructura de Recompensa: El objetivo de entrenamiento incluye recompensas estándar de seguimiento de movimiento aumentadas con dos términos específicos de contacto:
- Recompensa de Corrección de Contacto ( $r_{cr}$ ): Incentiva al robot a establecer contacto cuando la etiqueta es 1. Esta recompensa es asimétrica; solo está activa cuando se desea un contacto, evitando penalizaciones por contactos no deseados en escenarios de espacio libre.
- Recompensa de Duración de Contacto ( $r_{dr}$ ): Incentiva el mantenimiento de un contacto estable, limitada a 0.5 segundos para evitar que el robot se niegue a soltar objetos.
Estabilización: Se aplica una "fuerza mágica" heurística a los objetos reconstruidos durante las primeras etapas del entrenamiento para asegurar que sigan la trayectoria hasta que se logre un agarre estable, mitigando las terminaciones frecuentes por fallo de agarre.

3. Estimación de Estado Libre de Infraestructura

Para el despliegue, SceneBot utiliza SuperOdometry combinado con sensores integrados para estimar el estado global de la raíz del robot (posición, orientación, velocidad lineal).

Fusión de Sensores: Reconociendo que los IMU montados en la cabeza (ej. Livox) pueden no representar con precisión la dinámica de la pelvis durante movimientos agresivos, el sistema fusiona un IMU montado en la pelvis (para pitch/roll) con la estimación de yaw de SuperOdometry mediante un filtro de Kalman.
Inicialización: La altura de la raíz se estima utilizando el 5% inferior de los puntos de un escaneo LiDAR alineado con la gravedad.

Principales Contribuciones

Marco Unificado: SceneBot se presenta como el primer marco general de seguimiento de movimiento capaz de unificar sin problemas la locomoción en espacio libre, la navegación por terrenos irregulares y la manipulación de objetos de cuerpo completo dentro de una sola política.
Condicionamiento de Contacto: El artículo introduce una interfaz novedosa donde un tomador de decisiones de alto nivel proporciona etiquetas de contacto (qué enlaces deben tocar la escena) junto con los movimientos de referencia. Esto permite a la política de bajo nivel resolver ambigüedades físicas sin requerir una política de tarea completa basada en visión.
Motor de Síntesis de Datos: El enfoque de reconstrucción de escena hindsight propuesto genera datos de entrenamiento ricos en contactos y escalables a partir de conjuntos de datos de movimiento humano existentes (AMASS, OMOMO, Bones, Lafan), superando el cuello de botella de la escasez de datos de interacción anotados.
Generalización Zero-Shot: El sistema demuestra la capacidad de generalizar a movimientos y entornos no vistos, incluyendo tareas compleas de horizonte largo como cargar una caja escaleras arriba.

Resultados Experimentales

Los experimentos se realizaron en la plataforma humanoide Unitere G1 en un entorno sim-to-sim de MuJoCo y se validaron con estimación de estado en el mundo real.

Comparación de Rendimiento: SceneBot logra un rendimiento similar al de los rastreadores de espacio libre de última generación (SONIC) en escenarios de terreno plano, pero supera significativamente a estos en tareas de interacción con la escena.
- Interacción con el Terreno: Las tasas de éxito cayeron de 100% (con estado global) a 45% cuando se eliminó la información del estado global.
- Interacción con Objetos: Sin las etiquetas de contacto de la mano, las tasas de éxito de agarre cayeron a casi cero.
Estudios de Ablación:
- Estado Global: Incorporar la posición y velocidad global de la raíz es crítico; el seguimiento local por sí solo conduce al drift y al desalineamiento entre el movimiento y el terreno.
- Etiquetas de Contacto: Entrenar con etiquetas de contacto es esencial para el éxito. Curiosamente, un modelo entrenado con etiquetas retiene un mejor rendimiento (85% de éxito) incluso cuando las etiquetas se ponen a cero durante las pruebas, en comparación con un modelo entrenado sin ellas (45% de éxito), lo que sugiere que el condicionamiento de contacto simplifica el aprendizaje de la mecánica de equilibrio.
- Reconstrucción vs. Retargeting: La reconstrucción directa de la escena supera al retargeting consciente de la escena (ej. OmniRetarget) porque garantiza que la escena generada sea factible para el movimiento, mientras que el retargeting suele tener dificultades con la alineación de objetos y las restricciones de penetración.
Estimación de Estado: El pipeline de estimación de estado propuesto logró un error promedio de posición de la raíz de 0.032 m, error de orientación de 0.018 rad y error de velocidad lineal de 0.092 m/s frente a la verdad de terreno de OptiTrack, con una tasa de éxito de tarea del 80% en ensayos en el mundo real.

Significación y Reivindicaciones

El artículo afirma que SceneBot establece el condicionamiento de contacto como una interfaz poderosa para el control humanoide, cerrando eficazmente la brecha entre el seguimiento de movimiento en espacio libre y las interacciones complejas con la escena ricas en contactos. Al sintetizar datos de entrenamiento mediante reconstrucción hindsight, el marco permite que una sola política ejecute diversas tareas de horizonte largo (ej. recoger una cesta, subir escaleras y colocarla) sin requerir ajustes específicos de la tarea. Los autores posicionan este trabajo como un paso fundamental hacia la inteligencia física donde los robots pueden aprovechar intencionalmente los contactos para soporte y manipulación. Todo el código y los datos están destinados a ser de código abierto.