Resumo Técnico: Habilidades Composicionais Emergentes em Mixture-of-Experts para VLAs

Declaração do Problema

Modelos de visão-linguagem-ação (VLAs) têm demonstrado uma promessa significativa na generalização para diversas tarefas de manipulação robótica. No entanto, eles são tipicamente treinados e implantados como políticas monolíticas. Esta arquitetura apresenta limitações: é difícil identificar habilidades reutilizáveis, compor comportamentos hierarquicamente ou adaptar partes específicas de uma política sem o retreinamento de todo o modelo. Em contraste, muitas tarefas robóticas se decompõem naturalmente em modos comportamentais reutilizáveis (ex: alcançar, agarrar, posicionar). A questão central deste trabalho é se uma estrutura de política modular, que aprende tais habilidades explicitamente, pode ser derivada diretamente dos dados sem decomposição de tarefas pré-especificada, hierarquia ou bibliotecas de habilidades definidas manualmente.

Metodologia

Os autores propõem o treinamento de uma política de ação Mixture-of-Experts (MoE) sobre bases (backbones) de VLA pré-treinadas, especificamente $\pi_0$ e SmolVLA. Ambos os backbones utilizam flow matching para a geração de ação. A abordagem é definida por duas escolhas de design primárias:

1. LoRA Mixture-of-Experts: A arquitetura MoE substitui apenas a subcamada Feed-Forward Network (FFN) de cada camada de ação, enquanto a autoatenção (self-attention) permanece compartilhada entre todos os especialistas. Cada especialista é realizado como um delta de baixo posto (LoRA) ($r=16$) aplicado ao FFN base. A política é formulada como:
   $$\text{FFN}_\ell(x) = \text{FFN}^{\text{base}}_\ell(x) + \sum_{e \in R} w_e \left( \text{FFN}^{(e)}_\ell(x) - \text{FFN}^{\text{base}}_\ell(x) \right)$$
   Aqui, $R$ é o conjunto de especialistas roteados com pesos renormalizados $w_e$. As matrizes LoRA $B$ são inicializadas com zero, garantindo que a política reproduza exatamente o backbone pré-treinado no passo zero, permitindo que a especialização emerja em torno de um prior forte em vez de partir do zero.

2. Roteamento de Passagem Direta Completa (Whole Forward Pass Routing): Diferente dos Transformers MoE padrão que roteiam por token por camada, esta abordagem realiza o roteamento uma única vez por passagem direta da política. Um pequeno MLP roteador $g_\phi$ recebe um vetor de contexto que codifica estados visuais, linguísticos e proprioceptivos e emite logits sobre $E$ especialistas. Uma única seleção (top-$k$) é aplicada uniformemente através de todas as camadas de especialistas de ação. Isso garante que cada especialista funcione como um comportamento coerente de ponta a ponta ou "habilidade", em vez de uma coleção de decisões independentes por camada.

Objetivo de Treinamento: O modelo é treinado usando a perda de clonagem de comportamento de flow-matching do backbone combinada com um termo de balanceamento de carga auxiliar ($\lambda_{LB} = 0.01$) para evitar o colapso do roteamento em um único especialista.

Principais Resultados e Análise

Os autores avaliam a abordagem no benchmark LIBERO-10, abordando quatro questões fundamentais sobre a natureza das habilidades aprendidas:

• Emergência de Habilidades Qualitativamente Distintas: O roteador aprende autonomamente a selecionar especialistas que correspondem a distintos comportamentos de baixo nível. A análise qualitativa revela especialistas especializados em fases específicas de manipulação, como "transportar um objeto agarrado", "soltar e retrair" ou "aproximar-se e agarrar cabos finos". Essas habilidades são reutilizadas em tarefas estruturalmente diferentes (ex: posicionar uma caneca vs. uma cafeteira moka), sugerindo que os especialistas codificam habilidades de nível de fase em vez de políticas específicas de tarefas.
• Especialistas Reutilizáveis vs. Específicos de Tarefa: A análise das frequências de seleção revela um papel duplo para os especialistas. Alguns especialistas (ex: Especialista A e B) são reutilizados frequentemente (taxa de seleção de 35–45%) em múltiplas tarefas, atuando como primitivas gerais. Outros são altamente especializados, ativando-se quase exclusivamente para tarefas específicas (ex: Especialista C na Tarefa T5), lidando efetivamente com casos de borda idiossincráticos e mantendo os especialistas reutilizáveis "precisos".
• Composição de Primitivas: O roteador atua como um sequenciador de alto nível implícito, costurando essas primitivas em trajetórias de longo horizonte. Por exemplo, uma tarefa pode envolver o Especialista C (agarrar) seguido pelo Especialista A (posicionar). Notavelmente, mesmo em casos de falha, a política exibe um comportamento interpretável, invocando repetidamente primitivas conhecidas (ex: tentar agarrar e soltar múltiplas vezes) em vez de degenerar em ruído arbitrário.
• Validação de Roteamento Manual: Para verificar se as habilidades são intrínsecas aos especialistas e não artefatos da política do roteador, os autores realizaram experimentos de roteamento manual. Substituir a escolha do roteador por um especialista específico (ex: forçar um especialista de "agarrar" em um contexto onde ele não foi originalmente selecionado) resultou no comportamento qualitativo esperado. Isso confirma que os especialistas possuem capacidades reutilizáveis e generalizáveis independentes da seleção padrão do roteador.
• Desempenho: A política MoE alcança um desempenho de tarefa comparável a uma linha de base densa e monolítica ajustada (finetuned) a partir do mesmo checkpoint. Isso demonstra que a especialização de habilidade pode ser alcançada sem sacrificar a competência da tarefa.

Significância e Alegações

O artigo afirma que o aprendizado de habilidades baseado em hierarquia para robôs não requer necessariamente maquinário adicional, como planejadores de alto nível, estruturas de opções (options frameworks) ou bibliotecas de habilidades pré-treinadas. Em vez disso, uma simples arquitetura MoE aplicada ao aprendizado por imitação padrão pode gerar:

1. Composicionalidade Emergente: O modelo aprende a decompor tarefas em um pequeno conjunto de primitivas modulares e reutilizáveis.
2. Interpretabilidade: Falhas e sucessos podem ser compreendidos como sequências de primitivas conhecidas, tornando a política mais transparente.
3. Modularidade Baseada em Dados: A estrutura composicional emerge puramente de dados de demonstração, impulsionada pela interação entre um roteador e especialistas especializados.

Os autores reconhecem limitações, observando que algumas habilidades aprendidas permanecem específicas de tarefas ou interpretáveis, e que o mapeamento entre especialistas e primitivas nem sempre é perfeitamente preciso. No entanto, o trabalho representa um passo em direção a políticas robóticas modulares e interpretáveis que emergem de dados por si sós.