💻 computer science

Human Universal Grasping

Este artículo presenta HUG, un modelo de ajuste de flujo entrenado en un masivo conjunto de datos de agarres humanos egocéntricos de 1 millón de fotogramas que genera agarres diversos y reajustables para cualquier objeto a partir de una única imagen RGB-D, logrando un rendimiento de vanguardia en el agarre robótico zero-shot a través de diversos embodiment y entornos.

Autores originales: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

Publicado 2026-06-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina enseñarle a un robot a recoger una taza de café. Por lo general, los ingenieros tienen que pasar meses programando al robot, mostrándole miles de ejemplos de cómo ese robot específico debe mover sus dedos. Es como enseñarle a un niño a atarse los zapatos mostrándole únicamente cómo lo hace con sus propias manos, y luego esperar que descubra cómo atarse los zapatos con un par de manos diferente.

Este artículo, titulado "Human Universal Grasping" (HUG), propone una solución mucho más simple y natural: Simplemente observa cómo lo hacen los humanos.

Aquí está la historia de cómo lo hicieron, explicada en términos cotidianos.

1. El Problema: Los robots son estudiantes torpes

Los robots son excelentes para tareas repetitivas en las fábricas, pero tienen dificultades en el mundo desordenado e impredecible de un hogar. Si le das a un robot un objeto de forma extraña (como una piña o un cepillo para el cabello), a menudo no sabe cómo agarrarlo sin tirarlo. La mayoría de los robots son entrenados con datos "simulados" (videojuegos) o mediante humanos que los controlan manualmente, lo cual es lento y tedioso.

2. La Solución: La excursión con "Gafas Inteligentes"

Los investigadores se dieron cuenta de que los humanos ya somos expertos en agarrar cosas. Recogemos miles de objetos cada día sin pensarlo. En lugar de enseñar a los robots desde cero, decidieron copiar el manual de juego humano.

La recolección de datos: Entregaron a las personas un par de gafas inteligentes (llamadas Aria Gen 2) que parecen gafas normales pero tienen cámaras y sensores.
La misión: Las personas usaron estas gafas y siguieron con su día a día en 41 edificios diferentes (hogares, oficinas, etc.). Recogieron 6,707 objetos diferentes.
El resultado: Crearon una biblioteca masiva llamada 1M-HUGS. Contiene 1 millón de imágenes de manos humanas agarrando cosas. Es como un "YouTube" de agarres humanos, pero con información de profundidad 3D para que la computadora sepa exactamente qué tan lejos está la mano.

3. El Cerebro: Un modelo de "Flujo"

Una vez que tuvieron los datos, necesitaron una forma de enseñar al robot a usarlos. Construyeron un modelo llamado HUG.

Piensa en HUG como un camaleón o un traductor universal:

Entrada: Le muestras una sola foto (con profundidad) de un objeto, como una tostadora sobre un mostrador. Haces clic en la tostadora con tu ratón.
Procesamiento: El modelo observa su biblioteca de 1 millón de agarres humanos. Se pregunta: "Si un humano viera esta tostadora, ¿cómo la agarraría?".
Salida: No solo dice "agarra". Calcula la posición exacta, la rotación y la forma de los dedos necesaria para sostener ese objeto específico.

El truco de magia es que este modelo aprende cómo se mueven los humanos, no cómo se mueve un robot específico. Aprende el concepto de un agarre.

4. La Traducción: De manos humanas a manos robóticas

Aquí está la parte ingeniosa. El modelo predice un agarre usando una forma de mano humana estándar (llamada MANO). Pero los robots tienen manos diferentes: algunos tienen tres dedos, otros cuatro, algunos son grandes, otros pequeños.

Los investigadores construyeron un sistema de reajuste (retargeting). Imagina que eres un bailarín. Aprendes una rutina (el agarre humano). Ahora, tienes que realizar esa misma rutina en un escenario con un diseño de piso diferente, o con un compañero que es más alto que tú. No aprendes un baile nuevo; simplemente ajustas tus pasos para adaptarte a tu nuevo compañero.

HUG hace esto instantáneamente. Toma la pose de la mano humana que predijo y matemáticamente la "reajusta" para que encaje con los dedos específicos del robot.

Sin necesidad de reentrenamiento: No tienes que volver a enseñar al robot. Simplemente conectas el nuevo robot y funciona.
Zero-shot: Esto significa que funciona en objetos que el robot nunca ha visto antes, en habitaciones que nunca ha visitado.

5. La Prueba: El desafío "HUG-BENCH"

Para demostrar que esto funciona, no solo lo probaron con cosas fáciles como pelotas o cajas. Construyeron un "examen final" llamado HUG-BENCH.

Reunieron 90 objetos complicados: cosas con mangos, formas extrañas, artículos diminutos y artículos grandes y aparatosos.
Probaron el sistema de dos maneras:
1. En simulación: Un mundo computarizado donde podían realizar miles de pruebas rápidamente.
2. En el mundo real: Llevaron un robot real a una casa real e intentaron recoger estos 90 objetos.

Los resultados:

HUG tuvo éxito el 66.7% de las veces en la mesa y el 62% en el mundo real (casa desordenada).
Superó a los mejores métodos actuales para robots por un margen enorme (23% a 34% mejor).
Mientras que otros robots fallaban con artículos complicados como una cesta de picnic o una botella de spray, HUG descubrió cómo agarrarlos porque había "visto" a humanos hacer cosas similares antes.

Resumen

El artículo afirma que, al recolectar 1 millón de agarres humanos reales usando gafas inteligentes, crearon un sistema que permite a los robots aprender a agarrar cualquier cosa, en cualquier lugar, con cualquier mano, simplemente copiando la intuición humana. Esto cierra la brecha entre la destreza humana y la torpeza robótica sin necesidad de programar el robot para cada nuevo objeto.

Lo que no afirmaron:

No afirmaron que esto funcione para cirugía médica o tareas clínicas delicadas.
No afirmaron que el robot pueda planificar tareas complejas de múltiples pasos (como hacer un sándwich); solo resuelve el problema específico de "¿cómo agarro este objeto único justo ahora?".
Señalaron limitaciones: el sistema actualmente solo modela agarres con la mano derecha y tiene dificultades con objetos muy diminutos o objetos que están completamente ocultos a la vista.

Resumen Técnico: HUG (Human Universal Grasping)

Declaración del Problema

Mientras que los humanos agarran objetos arbitrarios sin esfuerzo, las manos robóticas con múltiples dedos carecen de una generalidad comparable. Un cuello de botella principal es la escasez de datos de agarre diversos y del mundo real para los robots. Los enfoques existentes enfrentan limitaciones significativas:

Datos Sintéticos: Los métodos que dependen de la simulación (optimizando el cierre de fuerza o usando RL) sufren el desfase sim-to-real y a menudo requieren reentrenamiento para cada nueva encarnación robótica.
Teleoperación: Aunque proporciona agarres reales, la teleoperación es tediosa, no escala al mundo abierto y es difícil de recolectar para manos diestras.
Escasez de Datos: Los robots carecen de los miles de experiencias diarias de agarre que los humanos acumulan, lo que dificulta el aprendizaje de distribuciones de agarre naturales y ejecutables.

El artículo argumenta que la fuente más natural de datos de agarre para robots son los propios humanos. Sin embargo, aprovechar esto requiere superar los desafíos en la escala de la recolección de datos, la anotación 3D precisa y la brecha de morfología entre las manos humanas y las robóticas.

Metodología: Marco de Trabajo HUG

Los autores proponen HUG (Human Universal Grasping), un marco que aprende el agarre diestro puramente a partir de datos humanos en el mundo real, permitiendo la transferencia zero-shot a diversas manos robóticas. El pipeline consta de tres componentes principales:

1. Conjunto de Datos: 1M-HUGS

Los autores recolectaron 1M-HUGS, un conjunto de datos egocéntrico que comprende 1 millón de pares imagen-agarre.

Recolección: Los datos fueron registrados utilizando las gafas inteligentes Aria Gen 2 en 41 edificios, capturando 6,707 instancias de objetos en 27.8 horas de video.
Protocolo: Los usuarios grabaron escenas estáticas desde diversos puntos de vista antes de estirar la mano derecha para agarrar un objeto. La pose de agarre se propaga hacia atrás a los fotogramas precedentes (donde las manos son invisibles) utilizando las poses de la cámara, generando cientos de pares (imagen de solo objeto, agarre) por cada agarre físico.
Procesamiento: Un pipeline de curación utiliza modelos de lenguaje visual y SAM3 para el enmascaramiento de objetos. Los fotogramas se filtran según la confianza de profundidad y la intersección mano-objeto.
Etiquetas: Dado que Aria proporciona solo 21 puntos de referencia manuales, los autores ajustan un modelo de mano articulada MANO completo a estos puntos. El parámetro de forma del MANO ( $\beta$ ) se fija a un valor canónico para eliminar las variaciones de tamaño entre personas, mientras que el parámetro de pose ( $\theta$ ) captura el agarre. El conjunto de datos incluye RGB sincronizado, escala de grises, profundidad métrica, máscaras de objetos y poses MANO.

2. Arquitectura del Modelo: Transformador de Flujo de Emparejamiento (Flow-Matching Transformer)

HUG es un modelo de emparejamiento de flujo que predice un estado de agarre MANO a partir de una única imagen RGB-D y un punto de consulta 2D especificado por el usuario en el objeto.

Entrada: Una imagen RGB-D y un clic de píxel 2D $(u, v)$ , que se eleva a un punto de consulta 3D $p_q$ usando la profundidad e intrínsecos.
Codificadores:
- RGB: Codificado usando un DINOv2-Base ViT congelado con tokens de registro.
- Nube de Puntos (PC): La imagen de profundidad se proyecta inversamente a una nube de puntos métrica, recortada a un radio de 0.3m alrededor de $p_q$ , y procesada por un PointNeXt U-Net entrenable.
Fusión: El modelo emplea point painting, proyectando los centroides de la nube de puntos a la imagen RGB para muestrear características de DINO, las cuales se concatenan con los tokens de PC y se fusionan mediante un MLP.
Transformador de Flujo: El estado de agarre se descompone en traslación de la muñeca ( $t$ ), rotación de la muñeca ( $R_{6d}$ ) y pose de los dedos ( $\theta_{6d}$ ). Estos son procesados por un bloque de DiT (Transformer de Difusión) que realiza atención cruzada con los tokens de la escena fusionados. El modelo está condicionado en pasos de tiempo mediante modulación AdaLN-Zero.
Salida: El modelo predice un estado de agarre de 99 dimensiones, el cual se integra mediante una ODE de emparejamiento de flujo para producir la pose MANO final.

3. Retargeting (Redireccionamiento)

Los agarres humanos predichos (poses MANO) se redireccionan a varias manos robóticas (ej. Ability, WUJI) utilizando métodos de redireccionamiento aprendidos. Crucialmente, no se requiere entrenamiento por cada encarnación; el modelo se generaliza zero-shot a través de diferentes morfologías robóticas.

Principales Contribuciones

Primer Marco Basado Únicamente en Humanos: HUG es el primer marco de agarre entrenado puramente con datos humanos (sin datos de robots) que es desplegable en múltiples encarnaciones robóticas.
Conjunto de Datos 1M-HUGS: Un conjunto de datos egocéntrico a gran escala de 1M de agarres humanos naturales con profundidad métrica y poses de mano ajustadas con MANO, cubriendo diversos entornos e instancias de objetos.
HUG-BENCH: Un nuevo benchmark de evaluación que consiste en 90 objetos no vistos (30 para pruebas en el mundo real) a través de cinco categorías geométricas y tres contenedores de tamaño. Incluye mallas 3D de escala métrica para evaluación emparejada en simulación y el mundo real.
Metodología: Un modelo de emparejamiento de flujo condicionado por puntos que fusiona RGB y profundidad para predecir agarres diversos y naturales sin requerir entrenamiento por mano.

Resultados Experimentales

Evaluación en Simulación (HUG-BENCH)

Evaluado en MuJoCo con 30 objetos de prueba no vistos:

Desempeño: HUG logró una tasa de éxito (SR) del 73.0% y un error de contacto de la punta de los dedos (FC) de 14.6 mm.
Baselines: Superó al "Oráculo de Agarre Humano" (94.0% SR) por un margen consistente con las limitaciones del simulador (errores de seguimiento, ejecución de bucle abierto).
Ablaciones:
- Eliminar la pérdida geométrica 3D redujo la SR al 32.7%, resaltando su necesidad para la colocación precisa de la punta de los dedos.
- Eliminar el recorte de 0.3m o el point painting redujo el desempeño en aproximadamente 10-15 puntos de SR.
- Modalidad: El enfoque solo RGB falló significativamente (29.7% SR), mientras que solo PC fue fuerte (70.7% SR) pero carecía de fundamentación semántica. El enfoque dual-modal RGB+PC fue esencial para resolver casos ambiguos (ej. agarrar el mango de un cepillo vs. las cerdas).
Escalabilidad: El desempeño mejoró monótonamente de 25K a 1M de fotogramas, sugiriendo que el modelo todavía está limitado por los datos más que por la capacidad.

Evaluación en el Mundo Real

Evaluado en 30 objetos en dos entornos:

Mesa (xArm + Mano Ability): HUG logró una SR del 66.7%, superando a Dex1B (43.7%) y CAP (32.7%) por +23% y +34%, respectivamente. HUG logró agarrar 28/30 objetos al menos una vez.
En el Mundo Real (Manipulador Móvil YOR + Mano WUJI + Gafas Aria): HUG logró una SR del 62.0% en entornos domésticos no controlados sin ningún ajuste in situ o reentrenamiento por encarnación.

Modos de Fallo: La mayoría de los fallos ocurrieron durante la transición de pre-agarre a agarre (golpear el objeto o la mesa) o durante la elevación (deslizamiento). Estos se atribuyen a la ejecución de bucle abierto y la falta de retroalimentación de fuerza, más que a una predicción de agarre incorrecta.
Generalización: HUG demostró robustez a través de variaciones en tamaños de objetos (desde borradores pequeños hasta contenedores grandes), geometrías (amorfas, con apéndices) y entornos.

Significación y Reivindicaciones

El artículo afirma que HUG demuestra que el agarre diestro de los robots puede aprenderse directamente de la conducta natural de los humanos, evitando la necesidad de recolección de datos costosos específicos para robots o entrenamiento pesado en simulación.

Generalidad: Al modelar la distribución de los agarres humanos naturales en lugar de todos los agarres físicamente válidos, el sistema produce agarres confiablemente ejecutables que se transfieren zero-shot a nuevas cámaras, manos robóticas y hogares no vistos.
Escalabilidad: El uso de gafas inteligentes ligeras permite la recolección de conjuntos de datos masivos (1M de fotogramas) que anteriormente eran inviables.
Benchmarking: La introducción de HUG-BENCH proporciona un benchmark estandarizado, desafiante y de escala métrica para evaluar el agarre diestro tanto en simulación como en el mundo real, abordando la falta de estándares de evaluación rigurosos en el campo.

Los autores concluyen que, si bien existen limitaciones (ej. solo mano derecha, ejecución de bucle abierto, manejo de oclusiones), el marco representa un paso significativo hacia lograr la generalidad del agarre humano en la robótica.