💻 computer science

MoDex: A Diffusion Policy for Sequential Multi-Object Dexterous Grasping

Modex es una política de difusión de dos etapas que permite que una mano diestra agarre secuencialmente múltiples objetos sin soltar los previamente sostenidos mediante el uso de una condición de espacio de oposición para reservar grados de libertad para tareas futuras, logrando tasas de éxito superiores tanto en simulaciones como en experimentos del mundo real en comparación con las líneas base existentes.

Autores originales: Haofei Lu, Hongjia Liu, Yifei Dong, Florian T. Pokorny, Jens Lundell, Danica Kragic

Publicado 2026-06-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haofei Lu, Hongjia Liu, Yifei Dong, Florian T. Pokorny, Jens Lundell, Danica Kragic

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una mano robótica como un malabarista altamente hábil. Normalmente, cuando los robots intentan recoger un objeto, usan toda su mano —cada uno de sus dedos— para agarrar una sola cosa. Es como usar a todo un equipo de mudanceros para cargar una sola taza de café. Una vez que tienen esa taza, tienen que soltarla o dejar de sostenerla para recoger la siguiente. Son "totalmente dedicados" a un solo objeto, sin dejar dedos libres para nada más.

MoDex es un nuevo cerebro robótico que cambia las reglas del juego. En lugar de usar todos sus dedos para un solo agarre, aprende a ser un ahorrador estratégico. Recoge un objeto usando solo unos pocos dedos (como solo el pulgar y el índice), dejando los otros dedos libres y listos. Luego, sin soltar el primer artículo, estira la mano, agarra un segundo objeto con un conjunto diferente de dedos, y luego un tercero. Es como un malabarista que atrapa una pelota, la sostiene en una mano, atrapa una segunda pelota con la otra mano, y luego atrapa una tercera con los pies, todo sin dejar caer las dos primeras.

Aquí es cómo el artículo explica esta magia, desglosada en conceptos simples:

1. El "Espacio de Oposición" (El libro de reglas)

El ingrediente secreto de MoDex es algo que los autores llaman el Espacio de Oposición (OS). Piensa en esto como un libro de reglas para cada agarre.

Antes de que el robot intente recoger un objeto, una "regla" le dice: "Para este objeto específico, usa solo el pulgar y el dedo medio. Deja el anular y el meñique libres".
Esto asegura que el robot no use accidentalmente un dedo que necesita para un objeto futuro. Es como un chef que solo usa un conjunto específico de cuchillos para un plato determinado, guardando los otros cuchillos para los siguientes tiempos.

2. La "Memoria" (El historial de agarre)

El robot también tiene una memoria a corto plazo llamada Historial de Agarre (Grasp History).

Si el robot está recogiendo el segundo objeto, recuerda: "Ya estoy sosteniendo una pelota con mi pulgar e índice".
Esta memoria evita que el robot intente usar esos mismos dedos de nuevo. Lo obliga a encontrar una nueva forma de agarrar el siguiente artículo utilizando los dedos que están actualmente "fuera de servicio".

3. El "Campo de Entrenamiento" (Aprendizaje de dos pasos)

El robot no aprendió esta habilidad de la noche a la mañana. El artículo describe un proceso de entrenamiento de dos pasos, similar a cómo un atleta humano podría entrenar:

Paso 1: Aprendizaje por Imitación (Observando a los profesionales): Primero, el robot observó miles de videos de demostraciones humanas expertas en una simulación por computadora. Aprendió a copiar estos movimientos, como un estudiante copiando la caligrafía de un maestro. Esto le dio un buen punto de partida.
Paso 2: Aprendizaje por Refuerzo (Ensayo y error): Luego, el robot fue puesto en un "gimnasio" donde tuvo que practicar por su cuenta. Se le dio un sistema de recompensas:
- Bueno: Recoger un nuevo objeto y mantener los anteriores sin que se caigan.
- Malo: Dejar caer un objeto, golpear la mesa o mover dedos que no deberían moverse.
- Este paso lo perfeccionó, haciendo que fuera mucho más confiable que solo copiar los videos.

4. Los Resultados: Simulación vs. Realidad

Los investigadores probaron MoDex en dos lugares:

En la Computadora (Simulación): Utilizaron un brazo robótico virtual (un Franka Panda) con una mano diestra (una mano Allegro). Les pidieron que recogieran tres objetos en fila. MoDex fue mucho mejor que otros métodos, teniendo éxito aproximadamente el 56% de las veces en promedio, mientras que otros métodos tuvieron dificultades o fallaron por completo a medida que aumentaba el número de objetos.
En el Mundo Real: Pusieron el mismo código en un robot real en un laboratorio real. Aunque el robot nunca había visto objetos reales (solo vio simulaciones), ¡funcionó! Logró recoger artículos del mundo real, aunque fue ligeramente menos perfecto que en la computadora (cayendo de un ~56% a un ~35% de éxito en las tareas más difíciles). Esto demuestra que la transferencia "sim-to-real" funciona.

Lo que MoDex aún no puede hacer (Las limitaciones)

El artículo es honesto sobre lo que el robot no puede hacer todavía:

Sin la "Magia en la Mano": Los humanos pueden recoger un bolígrafo con dos dedos y luego cambiarlo a un agarre más cómodo sin soltarlo. MoDex no puede hacer esto. Una vez que agarra un objeto con un conjunto específico de dedos, mantiene ese agarre hasta el final.
Sin Planificación Estratégica: El robot no decide qué dedos usar o qué objeto recoger primero. Los humanos deciden eso; el robot simplemente sigue las instrucciones que se le dan.

La Visión General

El artículo concluye que los robots actuales están "subutilizando" sus sofisticadas manos de varios dedos. Al enseñarles a usar solo unos pocos dedos a la vez y guardar el resto para después, podemos hacer que sean mucho mejores manejando múltiples artículos sin que se les caigan. MoDex es el primer sistema que demuestra que esta estrategia de "ahorro secuencial" funciona, convirtiendo una mano robótica torpe en un malabarista cuidadoso y capaz de realizar múltiples tareas.

Resumen Técnico: MoDex – Una Política de Difusión para el Agarre Diestro Secuencial de Múltiples Objetos

Formulación del Problema

Los métodos actuales de agarre diestro suelen comprometer todos los grados de libertad (DoF) disponibles de una mano a un solo objeto. Si bien esto maximiza la estabilidad para ese agarre específico, subutiliza la destreza de la mano y no deja redundancia para agarres posteriores. Además, los enfoques actuales de agarre de múltiples objetos dependen frecuentemente de modelos de objetos conocidos, de la generación y ejecución de agarres desacoplados, o de poses de objetos fijas, lo que limita su aplicabilidad en escenarios dinámicos y del mundo real.

Este trabajo aborda el desafío del agarre secuencial de múltiples objetos: la tarea de agarrar el $i$ -ésimo objeto objetivo mientras se sujetan de forma segura todos los $i-1$ objetos previamente agarrados, sin soltarlos. Las restricciones cinemáticas de la Mano Allegro utilizada en este estudio limitan el número máximo de objetos agarrables a tres ( $I \le 3$ ). La dificultad central radica en aprender una política de control que mapee observaciones parciales a acciones mientras gestiona dinámicamente qué subconjunto de dedos (DoF) están activos para el objeto actual frente a aquellos reservados para objetos futuros.

Metodología: MoDex

MoDex es una Política de Difusión (DP) diseñada para predecir la siguiente pose del gripper directamente a partir de las observaciones. Opera dentro de un marco de entrenamiento de dos etapas: preentrenamiento por aprendizaje por imitación (IL) seguido de un ajuste fino mediante aprendizaje por refuerzo (RL).

1. Arquitectura de la Política y Condicionamiento

MoDex sigue una arquitectura de codificador-denoiser (específicamente una U-Net convolucional 1D) que procesa fragmentos de acción (action chunks) sobre un horizonte de predicción. La política está condicionada a tres entradas clave:

Nubes de puntos parciales ( $P_t$ ): Percepción bruta del entorno.
Vector de Espacio de Oposición (OS) ( $f_i$ ): Un vector indicador binario que especifica qué dedos participan en el agarre actual. Esto restringe explícitamente los DoF activos para el objeto actual, reservando los DoF restantes para agarres subsecuentes.
Contexto de Historial de Agarre ( $h_{i-1}$ ): Un vector que concatena los vectores OS de todos los agarres previos. Esto informa a la política qué dedos ya están ocupados, evitando el reuso de los DoF activos para nuevos objetos.

El OS y el historial se concatenan con el fragmento de acción ruidoso en cada paso de denoisado, permitiendo que la política razone sobre la redundancia cinemática y la asignación de dedos.

2. Pipeline de Entrenamiento

Etapa 1: Aprendizaje por Imitación (Preentrenamiento): MoDex es preentrenado en un conjunto de datos de trayectorias de agarre secuencial experto generadas en simulación (Robosuite). Un generador de poses heurístico y un controlador de espacio operacional (OSC) producen estas demostraciones. La política se entrena utilizando el objetivo de clonación de comportamiento para denoizar los fragmentos de acción.
Etapa 2: Ajuste Fino por Aprendizaje por Refuerzo: Para mejorar la robustez y manejar estados fuera de la distribución, la política preentrenada se ajusta mediante Optimización de Política de Difusión (DPPO). Esto trata el proceso de denoisado como un Proceso de Decisión de Markov (MDP) anidado.
- Función de Recompensa: Se utiliza una recompensa densa y específica de la tarea ( $r_{base}$ $r_{ba se}$ ), que comprende:
  - $r_{succ}$ : Una recompensa constante grande por levantar con éxito el objetivo mientras se sujetan todos los objetos anteriores.
  - $r_{grasp}$ : Incentiva que los dedos activos entren en contacto con el objetivo.
  - $r_{maintain}$ : Recompensa el mantener los objetos previamente agarrados seguros y estacionarios.
  - $r_{avoid}$ : Penaliza colisiones con la mesa o contactos innecesarios por parte de los dedos inactivos.
  - $r_{ina}$ : Una penalización para evitar que los dedos inactivos tengan movimientos erráticos o deriven, lo cual es crucial para mantener la estabilidad en agarres subsecuentes.

Contribuciones Clave

MoDex: La primera Política de Difusión para el agarre secuencial de múltiples objetos que mapea directamente observaciones crudas a acciones de agarre mientras preserva la redundancia cinemática.
Mecanismos de Condicionamiento: La introducción del Espacio de Oposición (OS) y el Contexto de Historial de Agarre como señales de condicionamiento explícitas, permitiendo que una sola política gestione tareas compleas de agarre en múltiples etapas sin soltar los objetos sostenidos.
Algoritmo de Recolección de Datos: Un nuevo algoritmo para recolectar trayectorias expertas indexadas por etapa que empareja sistemáticamente objetos con configuraciones de OS válidas, asegurando datos de entrenamiento diversos y válidos.
Evaluación Exhaustiva: Un benchmarking extenso de MoDex contra baselines representativos de Aprendizaje por Imitación (BC-RNN, MoDex-BC) y Aprendizaje por Refuerzo (PPO, SeqDiffuser) tanto en simulación como en hardware real.

Resultados Experimentales

Los autores evaluaron MoDex en un brazo Franka Emika Panda equipado con una Mano Allegro sobre 15 objetos de diversas geometrías (esferas, cilindros, cajas).

Desempeño en Simulación: MoDex alcanzó las tasas de éxito más altas en todas las etapas de agarre (1, 2 y 3).
- Etapa 1: 75.00% (vs. 57.08% para MoDex-BC).
- Etapa 2: 49.58% (vs. 50.00% para MoDex-BC, pero superando significativamente a baselines como PPO que logró 0%).
- Etapa 3: 45.00% (vs. 42.08% para MoDex-BC).
- Mejora General: MoDex mejoró el desempeño entre un 2.92–17.92% sobre los mejores baselines basados en aprendizaje en simulación.
Transferencia al Mundo Real: MoDex fue desplegado en hardware real con transferencia zero-shot a objetos no vistos.
- Alcanzó tasas de éxito del 57.78% (Etapa 1), 26.67% (Etapa 2) y 20.00% (Etapa 3).
- Esto representa una mejora de 6.67–17.78% sobre el baseline MoDex-BC (solo preentrenado, sin ajuste fino por RL), demostrando el papel crítico del ajuste fino por DPPO para cerrar la brecha sim-to-real.
Estudios de Ablación: Eliminar la condición de OS o el Contexto de Historial de Agarre causó caídas significativas en el desempeño en las Etapas 2 y 3, confirmando que las señales explícitas de asignación de dedos son esenciales para el agarre secuencial. Del mismo modo, eliminar el ajuste fino por DPPO resultó en menores tasas de éxito, particularmente en el mundo real.

Significancia y Limitaciones

El artículo postula que los métodos actuales pueden estar subutilizando el potencial de las manos diestras al no gestionar la asignación de DoF a través de tareas secuenciales. MoDex demuestra que una sola política de difusión, condicionada por el espacio de oposición y el historial de agarre, puede resolver eficazmente este problema, superando a métodos que dependen de planificación desacoplada o RL estándar desde cero.

Limitaciones:
Los autores reconocen que MoDex aún no alcanza la destreza de nivel humano en dos áreas específicas:

Regripado en mano (In-hand Regrasping): La política se compromete con un único Espacio de Oposición por objeto y no puede realizar manipulación en mano (por ejemplo, transferir un objeto de un agarre de pinza a uno de potencia).
Planificación de Tareas: MoDex asume que la asignación de OS y el orden de recogida de los objetos se proporcionan como entradas; no razona autónomamente sobre el OS óptimo o la secuencia de recogida.

El trabajo concluye que, si bien MoDex aborda con éxito el problema del agarre secuencial, el trabajo futuro debería centrarse en integrar la manipulación en mano y la planificación de tareas autónoma.