Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation

Resumen Técnico: AtomSkill

Declaración del Problema

Escalar el aprendizaje por imitación (IL) hacia la manipulación robótica multitarea y diversa sigue siendo un desafío significativo. Aunque métodos recientes como Diffusion Policy (DP) y ACT han demostrado éxito en entornos de tarea única, presentan dificultades ante problemas fundamentales en escenarios multitarea: demostraciones expertas subóptimas, ruido en las trayectorias y multimodalidad conductual. Estos problemas a menudo conducen a políticas que fallan al generalizar o que sufren de interferencia destructiva entre tareas.

Los enfoques basados en habilidades existentes intentan descomponer los comportamientos en abstracciones reutilizables, pero enfrentan dos limitaciones primarias:

1. Sesgo Lingüístico: Métodos como LISA y SkillDiffuser aprenden abstracciones lingüísticas a partir de entradas de lenguaje y visión, pero a menudo carecen de una alineación fluida con el espacio de acción, lo que dificulta la desarticulación de comportamientos específicos de la tarea o el modelado de acciones multimodales.
2. Falta de Alineación Semántica: Los métodos centrados solo en la acción (por ejemplo, Discrete Policy, QueST, STAR) aprenden habilidades directamente de secuencias de acciones crudas utilizando cuantización vectorial (VQ). Sin embargo, estas abstracciones suelen estar impulsadas por regularidades de movimiento de bajo nivel en lugar de equivalencia semántica. En consecuencia, los movimientos con intenciones similares pero diferentes contextos de tarea se codifican como tokens latentes distintos, lo que impide una alineación efectiva entre tareas y limita la generalización.

Metodología: AtomSkill

Los autores proponen AtomSkill, un marco diseñado para aprender un Espacio de Habilidades Atómicas semánticamente alineado a partir de demostraciones y permitir una ejecución robusta de largo alcance mediante la imaginación de keyposes (posturas clave). El marco consta de tres componentes principales:

1. Descubrimiento de Habilidades Semánticas con VLM

El marco primero segmenta las trayectorias de demostración experta en subtrayectorias (habilidades atómicas) semánticamente coherentes y no superpuestas.

• Segmentación: Las trayectorias se dividen basándose en keyframes del estado del gripper. Un cambio en el estado del gripper (por ejemplo, de abierto a cerrado) sirve como un indicador robusto del fin de una habilidad y el inicio de otra.
• Etiquetado: Se emplea un Modelo de Lenguaje y Visión (VLM) de gran escala para analizar cada segmento y asignar una etiqueta de habilidad semántica (por ejemplo, "sujetar", "colocar") y una descripción en lenguaje natural. Esto fundamenta los límites de las habilidades en una estructura semántica en lugar de solo en patrones temporales o de movimiento de bajo nivel.

2. Aprendizaje de Habilidades Atómicas con Alineación de Contraste Semántico

El módulo de aprendizaje central estructura el espacio de habilidades latentes utilizando una arquitectura VQ-VAE mejorada con aprendizaje contrastivo.

• Cuantización de Habilidades: Un codificador de habilidades comprime subtrayectorias de longitud variable en embeddings continuos de longitud fija, que luego se mapean a tokens discretos mediante un libro de códigos (codebook) aprendible (Cuantización Vectorial).
• Pérdida de Contraste Semántico: Para asegurar que los tokens discretos representen habilidades semánticamente significativas, los autores introducen un objetivo contrastivo con dos términos:
  • Consistencia Temporal ($L_{temp}$): Fomenta que los embeddings que comparten el mismo token cuantizado y posición relativa dentro de una secuencia sean cercanos, asegurando la coherencia estructural.
  • Conciencia Semántica ($L_{skill}$): Fomenta que los embeddings que comparten la misma etiqueta semántica (del VLM) se agrupen, incluso si se originan de tareas diferentes. Esto impone que habilidades funcionalmente similares (por ejemplo, "sujetar" en diferentes contextos) compartan la misma representación latente.
• Decodificador de Acción con Imaginación de Keypose: El decodificador ($\psi_\theta$) toma observaciones y el token de habilidad actual como entrada. Crucialmente, predice conjuntamente:
  1. El bloque de acción inmediata (control de corto plazo).
  2. La postura clave terminal ($a_{keypose}$), que representa el estado objetivo de la habilidad actual.

3. Inferencia con Priores de Habilidades Atómicas

Durante la ejecución, el sistema emplea un muestreador basado en difusión y una estrategia de transición impulsada por keyposes.

• Prior de Habilidad Atómica: Un modelo de difusión ($\rho_\theta$) muestrea embeddings de habilidades de alto nivel condicionados por la instrucción de la tarea y la observación actual. Este muestreador se invoca solo cuando se requiere una nueva habilidad.
• Fragmentación de Acción con Keypose: La política genera un bloque de acciones. La transición a la siguiente habilidad se activa de forma autónoma cuando la acción subsiguiente predicha se encuentra suficientemente cerca de la postura clave terminal predicha. Esto elimina la necesidad de heurísticas manuales o clasificadores adicionales para determinar la terminación de la habilidad, permitiendo una concatenación de habilidades suave y robusta.

Contribuciones Clave

1. Marco AtomSkill: Un nuevo marco de aprendizaje por imitación multitarea que aprende y aprovecha un Espacio de Habilidades Atómicas estructurado y semánticamente alineado.
2. Biblioteca de Habilidades Semánticamente Fundamentada: Un paradigma que particiona las demostraciones mediante la detección del estado del gripper y la anotación VLM, empleando un objetivo contrastivo para crear un libro de códigos de habilidades compacto y reutilizable que alinea la consistencia semántica con la coherencia temporal.
3. Generación de Acción Condicionada por Keypose: Un decodificador de acciones que predice conjuntamente las posturas clave terminales y las acciones inmediatas. Este mecanismo facilita el razonamiento simultáneo sobre metas de movimiento de largo alcance y control de grano fino, permitiendo una concatenación de habilidades robusta y autónoma.

Resultados Experimentales

Los autores evaluaron AtomSkill tanto en entornos de simulación (RLBench) como en entornos del mundo real (tareas de un solo brazo y de doble brazo).

• Simulación (RLBench): A través de 12 tareas diversas, AtomSkill alcanzó una Tasa de Éxito (SR) promedio del 74.2%, superando a los modelos base de vanguardia, incluyendo MT-ACT (68.6%), DP (36.9%) y QueST (32.8%). Mostró una fortaleza particular en tareas que requieren localización espacial y coordinación de múltiples etapas.
• Mundo Real - Un Solo Brazo: AtomSkill alcanzó un Progreso de Tarea Promedio (ATP) de 0.93 y una SR de 90.0%, superando significativamente a los modelos base (por ejemplo, ACT con 0.73 ATP).
• Mundo Real - Doble Brazo: En tareas bimanuales complejas (por ejemplo, "Ordenar la olla"), AtomSkill alcanzó el rendimiento más alto (0.60 ATP, 46.7% SR) a pesar de haber sido entrenado desde cero con datos limitados (100 demostraciones por tarea), mientras que modelos base como RDT (que dependen de preentrenamiento a gran escala) tuvieron dificultades significativas.
• Estudios de Ablación: Eliminar la pérdida de contraste temporal o la semántica degradó el rendimiento, confirmando sus roles complementarios. Del mismo modo, eliminar la predicción de keypose redujo las tasas de éxito, particularmente en tareas con alta carga de localización, validando su papel en la fundamentación espacial.

Significado y Reivindicaciones

El artículo afirma que AtomSkill aborda la brecha crítica en el aprendizaje por imitación multitarea al ir más allá de las regularidades de movimiento de bajo nivel para aprender habilidades atómicas semánticamente alineadas. Al fundamentar explícitamente los límites de las habilidades en la estructura semántica mediante VLMs y forzar la consistencia semántica a través del aprendizaje contrastivo, el método logra un espacio de habilidades que es tanto compacto como altamente transferible entre tareas.

La integración de la imaginación de keypose se destaca como una innovación clave para la ejecución de largo alcance. Permite que la política razone sobre el estado terminal de una habilidad, facilitando transiciones autónas y suaves entre habilidades sin depender de heurísticas de terminación manuales y frágiles.

Los autores reconocen una limitación: definir la granularidad de la habilidad atómica para tareas continuas sin transiciones físicas claras (por ejemplo, esparcir salsa) puede introducir ambigüedad. Sin embargo, los resultados demuestran que para tareas con fases de interacción distintas, AtomSkill proporciona una solución robusta para la manipulación robótica multitarea escalable.