Resumo Técnico: Abstração de Habilidades de Manipulação Robótica via Mistura de Especialistas de Difusão

Declaração do Problema

Políticas baseadas em difusão demonstraram sucesso notável em manipulação robótica de tarefa única ao modelar a geração de ações como um processo de denoising (redução de ruído). No entanto, estender essas políticas para cenários multi-tarefa apresenta desafios significativos. Estratégias atuais dependem frequentemente do aumento da escala do tamanho do modelo e dos conjuntos de dados de demonstração para alcançar generalização. Essa abordagem acarreta custos proibitivos: modelos excessivamente grandes sofrem com velocidades de inferência lentas, inadequadas para controle em tempo real, e os dados de demonstração necessários crescem exponencialmente com a diversidade das tarefas. Além disso, as aplicações existentes de Mistura de Especialistas (MoE) em robótica frequentemente falham em desentranhar explicitamente habilidades de manipulação reutilizáveis, levando a comportamentos emaranhados e baixa interpretabilidade. O desafio central é permitir uma generalização multi-tarefa eficaz sob tamanhos de modelo moderados e baixa latência de amostragem, garantindo que as habilidades sejam reutilizáveis e transferíveis.

Metodologia: Skill Mixture-of-Experts Policy (SMP)

Os autores propõem a Skill Mixture-of-Experts Policy (SMP), uma estrutura baseada em difusão que aprende uma base de habilidades ortogonal e compacta e compõe ações a partir de um subconjunto esparso de especialistas.

1. Base de Habilidades Ortogonal Adaptativa ao Estado

Em vez de usar uma base de ação fixa, a SMP aprende uma base ortonormal dependente do estado $B(s) \in \mathbb{R}^{d \times K}$ (onde $K \ll d$).

• Construção: Uma rede neural leve gera uma matriz não restrita $W(s)$, que é projetada em uma variedade de Stiefel usando uma retração thin-QR diferenciável com estabilização de sinal. Isso garante que os vetores da base permaneçam ortonormais e evoluam continuamente com o estado do robô (ex: pose do braço, contato), preservando o desentranhamento local.
• Decomposição de Ação: As ações são decodificadas como $a_t = B(s_t)(g_t \odot z_t)$, onde $g_t$ são pesos de gating e $z_t$ são coeficientes de habilidade. Essa decomposição ortogonal garante que cada especialista contribua para uma direção distinta e não sobreposta no espaço de ação.

2. Roteamento Pegajoso (Sticky Routing) e Uso Global

Para abordar o problema de alternância rápida e instável entre especialistas (chatter), a SMP emprega dinâmicas de Dirichlet-Markov pegajosas para o mecanismo de gating.

• Consistência Temporal: O gate $g_t$ é modelado como um processo de Markov onde o estado atual depende do gate anterior $g_{t-1}$ e de um vetor de uso global $\vartheta$. Isso incentiva ativações de habilidade de constante por partes, alinhando-se com as fases quase estacionárias de tarefas de manipulação (ex: agarrar, mover, soltar).
• Uso Global: Um vetor global $\vartheta$ captura a prevalência geral de habilidade, evitando que a política colapse em um único especialista enquanto mantém a utilização equilibrada entre as tarefas.

3. Objetivo de Treinamento Variacional

A SMP é treinada via inferência variacional para maximizar o limite inferior da evidência (ELBO), que se decompõe em três componentes:

• Perda de Reconstrução ($L_{recon}$): Garante que a ação sintetizada na base branqueada corresponda à verdade fundamental (ground truth). Crucialmente, o treinamento utiliza dois alvos de coeficiente: um alvo de parada de gradiente para o substituto de difusão e um alvo de transporte de gradiente para reconstruir a ação, permitindo que a base de habilidade $B(s)$ seja atualizada sem desestabilizar o processo de difusão.
• Regularização de Gate ($L_{gate}$): Alinha a posterior amortizada do gate com a priori de Dirichlet pegajosa, impondo consistência temporal e restrições de uso global.
• Regularização de Coeficiente ($L_{coeff}$): Alinha os coeficientes de habilidade com seus priors de difusão.

4. Ativação Adaptativa de Especialistas na Inferência

Para reduzir o custo computacional, a SMP não avalia todos os especialistas em cada etapa.

• Roteador Baseado Apenas no Estado: Um roteador leve prevê os pesos de gating baseando-se apenas no estado $s_t$.
• Seleção Esparsa: Os especialistas são classificados por sua "massa" ($m_i = \bar{g}_{t,i}^2$). O sistema ativa apenas os top-$k$ especialistas ou o menor subconjunto que capture um limiar (ex: 95%) da massa total. Isso resulta em uma ativação esparsa e dependente do estado, reduzindo significamente os parâmetros ativos e a latência.

Principais Contribuições

1. Estrutura SMP: Uma política de difusão MoE que abstrai explicitamente habilidades de manipulação reutilizáveis através de uma base de ação ortogonal dependente do estado com roteamento pegajoso.
2. Estratégia de Ativação Adaptativa: Um mecanismo de seleção dinâmica que ativa um subconjunto compacto de especialistas durante a inferência, reduzindo o custo computacional enquanto mantém a precisão da amostragem de ação.
3. Validação Empírica: Avaliação abrangente em simulação (RoboTwin-2, RLBench-2) e em uma plataforma real de braços duplos, demonstrando taxas de sucesso multi-tarefa superiores e menores custos de inferência comparados a fortes baselines de difusão.

Resultados Experimentais

Os autores avaliaram a SMP contra políticas de difusão vanilla (DP, DP3), políticas baseadas em transformer (ACT), modelos de fundação de grande escala (RDT) e outros baselines de abstração de habilidade ou MoE.

• Aprendizado Multi-Tarefa: A SMP alcançou taxas de sucesso consistentemente mais altas em tarefas bimanuais (ex: levantar bandejas, transferências, varrer) em comparação aos baselines. Enquanto escalar o RDT (um modelo de 1.2B de parâmetros) melhorou o sucesso em apenas 19% sobre um baseline menor, a SMP alcançou um desempenho superior com uma pegada significativamente menor.
• Eficiência: A SMP reduziu o tempo de inferência e os parâmetros ativos. Ela ativou aproximadamente 30% de seus próprios parâmetros (cerca de 7% dos parâmetros totais do RDT) enquanto mantinha alto sucesso. Em contraste, baselines densos e variantes de FFN-MoE sofreram com maior latência devido à necessidade de sincronizar ou avaliar todos os especialistas.
• Aprendizado por Transferência:
  • Adaptação Few-Shot: Ao ser ajustada (fine-tuned) em novas tarefas com apenas 10 demonstrações, a SMP superou os baselines ao reutilizar efetivamente especialistas relevantes sem a necessidade de retreinar todo o backbone.
  • Composição de Habilidades: Em tarefas que exigem a recombinação de habilidades aprendidas (ex: colocar batatas fritas em uma frigideira), o ajuste fino apenas do roteador da SMP recombinou com sucesso as habilidades, enquanto os baselines exibiram papéis borrados e fases inconsistentes.
• Desempenho em Robô Real: Em uma plataforma de braço duplo PiPER, a SMP alcançou as pontuações de progresso mais altas em quatro tarefas bimanuais complexas (ex: remover tampas de caneta, despejar feijões) com menor latência do que os baselines de difusão.

Significância e Alegações

O artigo afirma que a SMP fornece um caminho prático para a manipulação multi-tarefa escalável e transferível. Ao aprender habilidades reutilizáveis uma única vez e ativar apenas o necessário, a SMP aborda o compromisso entre capacidade de modelo e eficiência de inferência. Os autores enfatizam que os especialistas aprendidos se alinham com papéis intuitivos de manipulação (braço esquerdo/direito, fases de pegar/mover/colocar) e que o mecanismo de ativação adaptativa oferece um controle simples para trocar precisão por latência. O trabalho sugere que o desentranhamento explícito de habilidades e o roteamento consistente de fase são críticos para o controle bimanual robusto, oferecendo uma alternativa mais eficiente ao escalonamento bruto de modelos.

Os autores reconhecem limitações, observando que o estudo atual foca em manipulação bimanual com backbones relativamente pequenos. Trabalhos futuros são propostos para escalar a SMP para modelos maiores, ampliar a avaliação para manipulação de braço único e móvel, e realizar estudos de robô real mais extensos para avaliar a robustez sob ruído de sensores e mudança de domínio.