Resumen Técnico: Composición Emergente de Habilidades en VLAs de Mezcla de Expertos

Declaración del Problema

Los modelos de visión-lenguaje-acción (VLA) han demostrado una promesa significativa en la generalización a través de diversas tareas de manipulación robótica. Sin embargo, suelen entrenarse y desplegarse como políticas monolíticas. Esta arquitectura presenta limitaciones: es difícil identificar habilidades reutilizables, componer comportamientos jerárquicamente o adaptar partes específicas de una política sin reentrenar todo el modelo. En contraste, muchas tareas robóticas se descomponen naturalmente en modos de comportamiento reutilizables (por ejemplo, alcanzar, agarrar, colocar). La pregunta central de este trabajo es si una estructura de política modular, que aprenda explícitamente tales habilidades, puede derivarse directamente de los datos sin una descomposición de tareas preespecificada, una jerarquía o librerías de habilidades definidas manualmente.

Metodología

Los autores proponen entrenar una política de Mezcla de Expertos (MoE) sobre backbones de VLA preentrenados existentes, específicamente $\pi_0$ y SmolVLA. Ambos backbones utilizan flow matching para la generación de acciones. El enfoque se define por dos elecciones de diseño primarias:

1. Mezcla de Expertos LoRA: La arquitectura MoE reemplaza únicamente la subcapa de la Red de Alimentación hacia Adelante (FFN) de cada capa de acción, mientras que la auto-atención permanece compartida entre todos los expertos. Cada experto se realiza como un delta de bajo rango (LoRA) ($r=16$) aplicado al FFN base. La política se formula como:
   $$\text{FFN}_\ell(x) = \text{FFN}^{\text{base}}_\ell(x) + \sum_{e \in R} w_e \left( \text{FFN}^{(e)}_\ell(x) - \text{FFN}^{\text{base}}_\ell(x) \right)$$
   Aquí, $R$ es el conjunto de expertos enrutados con pesos renormalizados $w_e$. Las matrices LoRA $B$ se inicializan en cero, asegurando que la política reproduzca exactamente el backbone preentrenado en el paso cero, permitiendo que la especialización emerja alrededor de un prior fuerte en lugar de desde cero.

2. Enrutamiento de Paso Adelante Completo: A diferencia de los transformadores MoE estándar que enrutan por token por capa, este enfoque realiza el enrutamiento una sola vez por cada paso adelante de la política. Un pequeño MLP de enrutamiento $g_\phi$ toma un vector de contexto que codifica estados visuales, lingüísticos y propioceptivos y emite logits sobre $E$ expertos. Se aplica una única selección (top-$k$) de manera uniforme en todas las capas de expertos de acción. Esto asegura que cada experto funcione como un comportamiento coherente de extremo a extremo o "habilidad", en lugar de una colección de decisiones independientes por capa.

Objetivo de Entrenamiento: El modelo se entrena utilizando la pérdida de clonación de comportamiento de flow-matching del backbone combinada con un término de equilibrio de carga auxiliar ($\lambda_{LB} = 0.01$) para evitar el colapso de enrutamiento hacia un solo experto.

Resultados Clave y Análisis

Los autores evalúan el enfoque en el benchmark LIBERO-10, abordando cuatro preguntas fundamentales sobre la naturaleza de las habilidades aprendidas:

• Emergencia de Habilidades Cualitativamente Distintas: El enrutador aprende de forma autónoma a seleccionar expertos que corresponden a distintos comportamientos de bajo nivel. El análisis cualitativo revela expertos especializados en fases específicas de la manipulación, tales como "transportar un objeto agarrado", "soltar y retraer" o "aproximarse y agarrar mangos delgados". Estas habilidades se reutilizan en tareas estructuralmente diferentes (por ejemplo, colocar una taza frente a una moka pot), lo que sugiere que los expertos codifican habilidades de nivel de fase en lugar de políticas específicas de la tarea.
• Expertos Reutilizables vs. Específicos de la Tarea: El análisis de las frecuencias de selección revela un doble rol para los expertos. Algunos expertos (por ejemplo, el Experto A y el B) se reutilizan frecuentemente (tasa de selección del 35–45%) en múltiples tareas, actuando como primitivas generales. Otros son altamente especializados, activándose casi exclusivamente para tareas específicas (por ejemplo, el Experto C en la Tarea T5), manejando eficazmente casos atípicos idiosincrásicos y manteniendo la "nitidez" de los expertos reutilizables.
• Composición de Primitivas: El enrutador actúa como un secuenciador implícito de alto nivel, uniendo estas primitivas en trayectorias de largo horizonte. Por ejemplo, una tarea podría involucrar al Experto C (agarrar) seguido del Experto A (colocar). Notablemente, incluso en casos de falla, la política exhibe un comportamiento interpretable, invocando repetidamente primitivas conocidas (por ejemplo, intentar agarrar y soltar múltiples veces) en lugar de degenerar en ruido arbitrario.
• Validación de Enrutamiento Manual: Para verificar que las habilidades son intrínsecas a los expertos y no artefactos del enrutador, los autores realizaron experimentos de enrutamiento manual. Sustituir la elección del enrutador con un experto específico (por ejemplo, forzar un experto de "agarrar" en un contexto donde originalmente no fue seleccionado) resultó en el comportamiento cualitativo esperado. Esto confirma que los expertos poseen capacidades reutilizables y generalizables independientes de la selección por defecto del enrutador.
• Desempeño: La política MoE logra un rendimiento de tarea comparable al de una línea base densa y monolítica ajustada (finetuned) desde el mismo checkpoint. Esto demuestra que la especialización de habilidades puede lograrse sin sacrificar la competencia en la tarea.

Significado y Reivindicaciones

El artículo afirma que el aprendizaje jerárquico basado en habilidades para robots no requiere necesariamente maquinaria adicional como planificadores de alto nivel, marcos de opciones (options frameworks) o librerías de habilidades preentrenadas. En su lugar, una simple arquitectura MoE aplicada al aprendizaje de imitación estándar puede producir:

1. Componibilidad Emergente: El modelo aprende a descomponer tareas en un pequeño conjunto de primitivas modulares y reutilizables.
2. Interpretabilidad: Los fallos y éxitos pueden entenderse como secuencias de primitivas conocidas, haciendo que la política sea más transparente.
3. Modularidad Basada en Datos: La estructura compositiva emerge únicamente de los datos de demostración, impulsada por la interacción entre un enrutador y expertos especializados.

Los autores reconocen limitaciones, señalando que algunas habilidades aprendidas siguen siendo específicas de la tarea o difíciles de interpretar, y que el mapeo entre expertos y primitivas no siempre es perfectamente preciso. Sin embargo, este trabajo representa un paso hacia políticas robóticas modulares e interpretables que emergen de los datos por sí solos.