Resumen Técnico: Abstracción de Habilidades de Manipulación Robótica mediante Políticas de Difusión de Mezcla de Expertos

Declaración del Problema

Las políticas basadas en difusión han demostrado un éxito notable en la manipulación robótica de una sola tarea al modelar la generación de acciones como un proceso de eliminación de ruido. Sin embargo, extender estas políticas a escenarios multi-tarea presenta desafíos significativos. Las estrategias actuales suelen depender del escalado del tamaño del modelo y de los conjuntos de datos de demostración para lograr la generalización. Este enfoque incurre en costos prohibitivos: los modelos sobredimensionados sufren de velocidades de inferencia lentas, no aptas para el control en tiempo real, y los datos de demostración requeridos crecen exponencialmente con la diversidad de las tareas. Además, las aplicaciones existentes de Mezcla de Expertos (MoE) en robótica a menudo fallan al no lograr el desentrelazamiento explícito de las habilidades de manipulación reutilizables, lo que conduce a comportamientos entrelazados y una baja interpretabilidad. El desafío central es permitir una generalización multi-tarea efectiva bajo tamaños de modelo moderados y baja latencia de muestreo, asegurando al mismo tiempo que las habilidades sean reutilizables y transferibles.

Metodología: Política de Mezcla de Expertos de Habilidades (SMP)

Los autores proponen la Política de Mezcla de Expertos de Habilidades (SMP), un marco basado en difusión que aprende una base de habilidades ortogonal y compacta y compone acciones a partir de un subconjunto disperso de expertos.

1. Base de Habilidades Ortogonal Adaptativa al Estado

En lugar de utilizar una base de acciones fija, la SMP aprende una base ortonormal dependiente del estado $B(s) \in \mathbb{R}^{d \times K}$ (donde $K \ll d$).

• Construcción: Una red neuronal ligera genera una matriz sin restricciones $W(s)$, la cual es proyectada sobre la variedad de Stiefel mediante una retracción QR delgada diferenciable con estabilización de signo. Esto asegura que los vectores de la base permanezcan ortonormales y evolucionen continuamente con el estado del robot (por ejemplo, la pose del brazo, el contacto), preservando el desentrelazamiento local.
• Descomposición de Acciones: Las acciones se decodifican como $a_t = B(s_t)(g_t \odot z_t)$, donde $g_t$ son los pesos de compuerta y $z_t$ son los coeficientes de habilidad. Esta descomposición ortogonal asegura que cada experto contribuya a una dirección distinta y no superpuesta en el espacio de acción.

2. Enrutamiento Pegajoso y Uso Global

Para abordar el problema del cambio rápido e inestable entre expertos (chatter), la SMP emplea dinámicas de Dirichlet-Markov pegajosas para el mecanismo de compuerta.

• Consistencia Temporal: La compuerta $g_t$ se modela como un proceso de Markov donde el estado actual depende de la compuerta anterior $g_{t-1}$ y un vector de uso global $\vartheta$. Esto fomenta activaciones de habilidad constantes por tramos, alineándose con las fases cuasi-estacionarias de las tareas de manipulación (por ejemplo, agarrar, mover, soltar).
• Uso Global: Un vector global $\vartheta$ captura la prevalencia general de las habilidades, evitando que la política colapse en un solo experto mientras mantiene una utilización equilibrada entre las tareas.

3. Objetivo de Entrenamiento Variacional

La SMP se entrena mediante inferencia variacional para maximizar el límite inferior de la evidencia (ELBO), que se descompone en tres componentes:

• Pérdida de Reconstrucción ($L_{recon}$): Asegura que la acción sintetizada en la base blanqueada coincida con la verdad de campo. Crucialmente, el entrenamiento utiliza dos objetivos de coeficiente: un objetivo con gradiente detenido para el sustituto de difusión y un objetivo con gradiente para reconstruir la acción, permitiendo que la base de habilidades $B(s)$ se actualice sin desestabilizar el proceso de difusión.
• Regularización de Compuerta ($L_{gate}$): Alinea la posterior amortizada de la compuerta con la prioridad de Dirichlet pegajosa, imponiendo restricciones de pegajosidad temporal y de uso global.
• Regularización de Coeficientes ($L_{coeff}$): Alinea los coeficientes de habilidad con sus prioris de difusión.

4. Activación Adaptativa de Expertos en la Inferencia

Para reducir el costo computacional, la SMP no evalúa todos los expertos en cada paso.

• Enrutador Basado Solo en el Estado: Un enrutador ligero predice los pesos de la compuerta basándose únicamente en el estado $s_t$.
• Selección Dispersa: Los expertos se clasifican por su "masa" ($m_i = \bar{g}_{t,i}^2$). El sistema activa solo los $k$ mejores expertos o el subconjunto más pequeño que capture un umbral (por ejemplo, 95%) de la masa total. Esto produce una activación dispersa y dependiente del estado, reduciendo significativamente los parámetros activos y la latencia.

Contribuciones Clave

1. Marco SMP: Una política de difusión MoE que abstrae explícitamente habilidades de manipulación reutilizables mediante una base de acciones ortonormal dependiente del estado con enrutamiento pegajoso.
2. Estrategia de Activación Adaptativa: Un mecanismo de selección dinámica que activa un subconjunto compacto de expertos durante la inferencia, reduciendo el costo computacional mientras mantiene la precisión del muestreo de acciones.
3. Validación Empírica: Evaluación exhaustiva en simulación (RoboTwin-2, RLBench-2) y en una plataforma real de doble brazo, demostrando tasas de éxito multi-tarea superiores y menores costos de inferencia en comparación con bases de difusión fuertes.

Resultados Experimentales

Los autores evaluaron la SMP frente a políticas de difusión vanilla (DP, DP3), políticas basadas en transformadores (ACT), modelos fundacionales grandes (RDT) y otras bases de comparación de abstracción de habilidades o MoE.

• Aprendizaje Multi-Tarea: La SMP logró tasas de éxito consistentemente más altas en tareas bimanuales (por ejemplo, levantar bandejas, traspasos, barrer) en comparación con las bases. Mientras que escalar RDT (un modelo de 1.2B de parámetros) mejoró el éxito solo en un 19% respecto a una base más pequeña, la SMP logró un mayor rendimiento con una huella significativamente menor.
• Eficiencia: La SMP redujo el tiempo de inferencia y los parámetros activos. Activó aproximadamente el 30% de sus propios parámetros (aproximadamente el 7% de los parámetros totales de RDT) manteniendo un alto éxito. En contraste, las bases densas y las variantes de FFN-MoE sufrieron una mayor latencia debido a la necesidad de sincronizar o evaluar todos los expertos.
• Aprendizaje por Transferencia:
  • Adaptación de Pocos Pasos (Few-Shot): Al ser ajustada en nuevas tareas con solo 10 demostraciones, la SMP superó a las bases al reutilizar eficazmente los expertos relevantes sin necesidad de reentrenar todo el backbone.
  • Composición de Habilidades: En tareas que requieren la recombinación de habilidades aprendidas (por ejemplo, poner papas fritas en una sartén), el ajuste fino del enrutador de la SMP logró recomponer las habilidades con éxito, mientras que las bases exhibieron roles difusos y fases inconsistentes.
• Desempeño en Robot Real: En una plataforma dual de PiPER, la SMP logró los puntajes de progreso más altos en cuatro tareas bimanuales complejas (por ejemplo, quitar tapas de bolígrafos, verter frijoles) con menor latencia que las bases de difusión.

Significancia y Reivindicaciones

El artículo afirma que la SMP proporciona un camino práctico hacia la manipulación multi-tarea escalable y transferible. Al aprender habilidades reutilizables una vez y activar solo lo que es necesario, la SMP aborda la compensación entre la capacidad del modelo y la eficiencia de la inferencia. Los autores enfatizan que los expertos aprendidos se alinean con roles de manipulación intuitivos (brazo izquierdo/derecho, fases de recoger/mover/colocar) y que el mecanismo de activación adaptativa ofrece un control simple para intercambiar precisión por latencia. El trabajo sugiere que el desentrelazamiento explícito de habilidades y el enrutamiento consistente de fase son críticos para el control bimanual robusto, ofreciendo una alternativa más eficiente al escalado de modelos por fuerza bruta.

Los autores reconocen las limitaciones, señalando que el estudio actual se centra en la manipulación bimanual con backbones relativamente pequeños. Se propone como trabajo futuro escalar la SMP a modelos más grandes, ampliar la evaluación a la manipulación de un solo brazo y móvil, y realizar estudios más extensos en robots reales para evaluar la robustez ante el ruido de detección y el cambio de dominio.