Resumen Técnico: Expertos de Composición de Habilidades para el Aprendizaje Continuo Corpóreo

Definición del Problema

El artículo aborda el Aprendizaje Continuo Corpóreo (ECL, por sus siglas en inglés), un entorno donde los robots deben adquirir secuencialmente nuevas tareas de manipulación mientras retienen comportamientos previamente aprendidos bajo control de bucle cerrado. A diferencia del aprendizaje continuo (CL) convencional, donde los datos son estáticos, el ECL involucra entornos dinámicos donde las observaciones evolucionan en función de las acciones del robot.

El desafío central identificado es el olvido catastrófico, que se ve exacerbado en el ECL por la deriva de características (feature drift). A medida que los modelos de Visión-Lenguaje-Acción (VLA) aprenden nuevas tareas, sus representaciones de características se desvían de aquellas asociadas con las tareas antiguas. Bajo control de bucle cerrado, esta deriva no es simplemente una caída estática del rendimiento; se propaga a través de la toma de decisiones secuencial, causando que los errores se acumulen y provocando la degradación de los comportamientos previamente aprendidos. Los métodos existentes suelen tratar las tareas como unidades aisladas o se centran en el descubrimiento de habilidades sin organizarlas explícitamente para una composición coherente, lo que conduce a un uso inconsistente y una deriva amplificada.

Metodología: El Marco SCE

Los autores proponen SCE (Expertos de Composición de Habilidades), un marco diseñado para permitir el aprendizaje continuo de tareas mediante la composición de habilidades reutilizables. La arquitectura consta de dos componentes primarios integrados en un modelo VLA preentrenado:

1. Anclaje de Habilidades de Composición (CSG)

El CSG es responsable de descomponer las demostraciones de tareas en habilidades reutilizables y organizarlas en una Base de Habilidades. Opera en dos fases:

• Descomposición de Tareas Consciente del Estado: Utilizando la dinámica del estado del robot (específicamente cambios en el estado de la pinza y cambios en la tendencia de movimiento del efector final), el CSG particiona las demostraciones de tareas brutas en segmentos temporalmente coherentes.
• Inducción de Habilidades Anclada en VLM: Un Modelo de Lenguaje-Visión (VLM) ancla estos segmentos contra la base de habilidades actual. Si un segmento coincide con una habilidad existente, se le asigna dicha habilidad; de lo contrario, se induce y añade a la base una nueva habilidad reutilizable. Este proceso genera anotaciones de habilidades ($s$) para los datos de entrenamiento, permitiendo al modelo aprender un espacio de habilidades estructurado.

2. Expertos Duales de Ejecución y Transición (DETE)

El DETE aumenta el decodificador de acción del VLA con dos ramas de expertos complementarias para soportar la composición de habilidades:

• Rama de Experto de Ejecución: Se enfoca en modelar los patrones de acción específicos de la habilidad. Utiliza un enrutador para seleccionar el experto más relevante de un grupo basado en la distribución de habilidades actual, asegurando la ejecución estable de las habilidades individuales. Este confinamiento de las actualizaciones a expertos específicos reduce la interferencia con habilidades no relacionadas.
• Rama de Experto de Transición: Se enfoca en modelar los patrones de transición entre habilidades. Dado que los cambios de habilidad suelen ocurrir a lo largo de intervalos temporales en lugar de instantáneamente, esta rama captura las dependencias entre la habilidad precedente y la subsecuente. Utiliza un enrutador consciente de la transición que incorpora la distribución de habilidades para modelar la ambigüedad durante el cambio de habilidad.
• Fusión Adaptativa: Un Módulo de Fusión Adaptativa combina dinámicamente las salidas de las ramas de Ejecución y Transición. Calcula un coeficiente de equilibrio ($\alpha$) basado en la característica de enrutamiento consciente de la transición. Cuando la distribución de habilidades está concentrada en una sola habilidad, el modelo enfatiza la ejecución; cerca de los límites de las habilidades, desplaza el peso hacia la rama de transición para asegurar un comportamiento coherente.

El modelo se optimiza utilizando una función de pérdida combinada: la pérdida de flujo de emparejamiento (flow-matching) original para la generación de acciones y una pérdida de entropía cruzada auxiliar para supervisar la distribución de habilidades.

Contribuciones Clave

1. Marco SCE: La propuesta de un marco de Expertos de Composición de Habilidades que permite el aprendizaje continuo mediante la composición de habilidades reutilizables, abordando los desafíos específicos de la deriva de características en el ECL de bucle cerrado.
2. Módulos CSG y DETE:
   • CSG: Un mecanismo para descomponer demostraciones en habilidades reutilizables y mantener una base de habilidades estructurada.
   • DETE: Una arquitectura de doble experto que separa la ejecución específica de la habilidad de las transiciones entre habilidades, permitiendo una ejecución estable y un cambio coherente.
3. Validación Empírica: Experimentos extensos que demuestran que SCE mitiga eficazmente la deriva de características y mejora la retención en comparación con las líneas base de vanguardia.

Resultados Experimentales

Los autores evaluaron SCE tanto en entornos simulados como en entornos del mundo real:

• Simulación (Benchmarks LIBERO):

  • En LIBERO-Goal, SCE logró una Tasa de Éxito Final (SR) del 83.4% y un Olvido de Tareas Nuevas (NBT) del 4.3%, superando significativamente a las líneas base como Task-MoE (64.8% SR, 15.8% NBT).
  • En LIBERO-Long, SCE logró un SR Final de 73.4% con un NBT de 0.5%, demostrando una estabilidad superior en horizontes largos.
  • Las métricas utilizadas incluyeron Transferencia hacia Adelante (FWT), NBT, Área Bajo la Curva (AUC) y SR Final.

• Manipulación en el Mundo Real:

  • Experimentos en un robot Mercury B1 de 7 DoF con tres tareas secuenciales (Box-to-Board, Board-to-Bowl, Box-to-Bowl) mostraron que SCE alcanzó un SR Final del 83.3% y un NBT del 0.0%, superando a la línea base Task-MoE (56.7% SR, 10.0% NBT).

• Análisis de la Deriva de Características:

  • El análisis reveló que, mientras que el entrenamiento secuencial estándar causaba una deriva significativa en las características de acción (hasta 6.9 veces mayor que las características del VLM), SCE redujo sustancialmente esta deriva.
  • Los despliegues de anclaje compartido (shared-anchor rollouts) demostraron que SCE mantuvo una brecha de estado del simulador mucho menor respecto a los comportamientos de referencia bajo control de bucle cerrado en comparación con las líneas base.

• Estudios de Ablación:

  • Eliminar el CSG resultó en una caída del SR Final del 83.4% al 70.0%, resaltando la necesidad de una organización de habilidades explícita.
  • Eliminar la rama de experto de Ejecución o la de Transición degradó el rendimiento, confirmando que tanto la ejecución específica de la habilidad como el modelado de la transición entre habilidades son complementarios y necesarios.

Significación y Reivindicaciones

El artículo afirma que SCE proporciona una solución robusta al compromiso entre estabilidad y plasticidad (stability-plasticity trade-off) en el aprendizaje continuo corpóreo. Al estructurar el conocimiento como habilidades reutilizables y modelar explícitamente las transiciones entre ellas, el método evita la acumulación de la deriva de características que típicamente degrada el rendimiento de bucle cerrado. Los autores aseveran que su enfoque permite a los robots retener los comportamientos aprendidos previamente de manera más efectiva que los métodos a nivel de tarea o de nivel de habilidad no estructurados, lo que lo convierte en un paso viable hacia la adaptabilidad a largo plazo en el despliegue robótico del mundo real. El trabajo sugiere que las direcciones futuras podrían implicar la extensión de este enfoque compositivo a repertorios de habilidades de mayor escala y más abiertos.