💻 computer science

Dense to MoE Adaptation for Compact Vision Language Action Policies

O artigo apresenta o AdaDE, um método que adapta blocos densos de alimentação direta (feed-forward) em políticas de Visão-Linguagem-Ação (VLA) em camadas de Mistura de Especialistas (MoE) com desativação dinâmica de especialistas, reduzindo com sucesso os parâmetros ativos do LLM em 40% enquanto mantém altas taxas de sucesso em tarefas em plataformas robóticas de recursos limitados.

Autores originais: Muchun Niu, Shuang Chen, Yuzhou Wu, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Linfeng Zhang

Publicado 2026-09-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Muchun Niu, Shuang Chen, Yuzhou Wu, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Linfeng Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs estão aprendendo a ver, compreender e mover-se em nosso mundo, mas atualmente são sobrecarregados por mentes pesadas demais para carregar. Os controladores de robôs modernos, conhecidos como políticas de visão-linguagem-ação, combinam a visão de uma câmera, as instruções faladas de um humano e um plano para o movimento físico em um único e massivo cérebro digital. Embora esses sistemas tenham se tornado incrivelmente capazes, seu tamanho cresceu tanto que eles lutam para rodar nos computadores limitados encontrados dentro de robôs reais. A parte da linguagem desses cérebros, que ajuda a máquina a entender comandos como "pegue a xícara vermelha", muitas vezes ocupa o maior espaço, contudo, testes preliminares sugerem que esta parte contém uma quantidade surpreendente de repetição. Se os engenheiros pudessem aparar essa gordura sem cortar o músculo, os robôs poderiam se tornar mais rápidos, mais baratos e mais acessíveis.

Uma equipe de pesquisadores desenvolveu um novo método chamado AdaDE para resolver este problema, remodelando a forma como esses cérebros robóticos são construídos. Em vez de tentar simplesmente deletar partes do código, o que frequentemente quebra a capacidade do robô de realizar tarefas, eles primeiro reorganizam os blocos densos e sólidos do processador de linguagem em uma estrutura flexível. Imagine uma biblioteca onde cada livro é escrito em uma única página massiva; esta nova abordagem corta essa página em seções menores e gerenciáveis que podem ser abertas ou fechadas conforme necessário. Esta conversão permite que o sistema comece com a inteligência total e original intacta, garantindo que o robô se comporte exatamente como fazia antes das mudanças começarem.

Uma vez que esta estrutura flexível está em vigor, o sistema inicia um processo cuidadoso de aprender quais seções são verdadeiramente necessárias. À medida que o robô pratica suas tarefas, ele mantém uma contagem contínua de com que frequência cada seção do cérebro é consultada. Seções que são raramente usadas são gradualmente desligadas, enquanto as partes mais críticas permanecem ativas. Crucialmente, os pesquisadores descobriram que nem todas as partes do cérebro são igualmente substituíveis. Algumas camadas são como órgãos essenciais que não podem ser tocados, enquanto outras são mais como pneus sobressalentes que podem ser removidos sem problemas. Ao proteger as seções mais importantes e apenas desativar as que são consistentemente ignoradas, o sistema aprende a funcionar com muito menos componentes ativos.

Os resultados desta abordagem são significativos. Quando os pesquisadores testaram seu método em um conjunto de tarefas de manipulação complexas, descobriram que podiam desligar aproximadamente quarenta por cento dos parâmetros de processamento de linguagem sem causar uma queda importante no desempenho. Em um conjunto padrão de desafios de robótica doméstica, o sistema modificado ainda obteve sucesso quase noventa e seis por cento das vezes, um número quase idêntico ao modelo original, muito maior. Mesmo quando forçaram a desativação para cinquenta por cento, o robô manteve uma taxa de sucesso de cerca de noventa e cinco por cento. Isso sugere que uma vasta quantidade do poder computacional atualmente usado por estes robôs é redundante, e que uma versão mais enxuta e eficiente pode ser criada sem sacrificar a capacidade de agarrar, levantar ou colocar objetos.

Além dos números, o estudo destaca um insight fundamental sobre como essas mentes robóticas funcionam: elas não tratam toda a informação de forma igual. Os pesquisadores descobriram que as partes do cérebro responsáveis por compreender instruções de linguagem são muito mais tolerantes a serem podadas do que as partes responsáveis por gerar movimentos físicos. Se os engenheiros cortassem as seções geradoras de movimento, o robô rapidamente perderia sua capacidade de controlar seus braços. No entanto, o lado da linguagem pode ser significamente comprimido porque diferentes camadas do sistema dependem de quantidades diferentes de informação. Ao adaptar o processo de poda para respeitar essas diferenças, a equipe criou um sistema que reduz a pegada de memória do robô e diminui a energia necessária para operá-lo, mantendo suas mãos firmes e seu entendimento aguçado.

Este trabalho oferece um caminho prático para a implantação de robôs avançados em ambientes do mundo real onde a energia e o espaço são limitados. Ao provar que esses grandes modelos podem ser tornados menores sem quebrá-los, os pesquisadores abriram as portas para uma nova geração de robôs que podem operar de forma independente em hardware padrão. O método não requer um redesenho completo da arquitetura do robô, nem demanda uma fase de treinamento separada para recuperar habilidades perdidas após os cortes. Em vez disso, ele integra o processo de redução diretamente na fase de aprendizado, permitindo que o robô evolua para uma versão mais eficiente de si mesmo enquanto aprende a fazer seu trabalho. Os achados sugerem que o futuro do aprendizado robótico pode não depender da construção de cérebros maiores, mas de ensinar os existentes a serem mais inteligentes sobre como utilizam seus recursos.

Resumo Técnico: AdaDE para Adaptação de Denso para MoE em Políticas VLA Compactas

Definição do Problema

As políticas de Visão-Linguagem-Ação (VLA) emergiram como um paradigma escalável para o aprendizado robótico ao unificar percepção, condicionamento de linguagem e predição de ação. No entanto, o crescimento na contagem de parâmetros dos modelos VLA modernos cria desafios significativos de implantação para plataformas robóticas com recursos limitados de computação, memória e energia.

Uma observação crítica de experimentos preliminares é que o backbone de linguagem (LLM) das políticas VLA frequentemente constitui uma fração substancial dos parâmetros totais e exibe alta redundância, enquanto o Transformer de Visão (ViT) e os módulos de geração de ação são significativamente mais sensíveis à compressão. Os métodos de poda estruturada existentes normalmente exigem a remoção física de camadas ou canais, o que altera a função da rede pré-treinada e necessita de ajuste ou compensação adicional para recuperar o desempenho. Além disso, aplicar diretamente métodos de esparsidade padrão aos backbones densos de VLA é difícil devido a incompatibilidades arquiteturais com mecanismos de Mistura de Especialistas (MoE) e ao risco de interromper o comportamento da política pré-treinada, levando a um controle instável.

O objetivo central é reduzir o número de parâmetros do lado do LLM na política implantada, preservando o desempenho nas tarefas subsequentes, sem exigir uma etapa de recuperação de conversão separada.

Metodologia: AdaDE

Os autores propõem o AdaDE (Adaptive Dynamic Expert Deactivation - Desativação Dinâmica Adaptativa de Especialistas), um framework que adapta blocos feed-forward densos selecionados em camadas MoE e desativa especialistas dinamicamente durante o ajuste fino (fine-tuning). O pipeline consiste em duas fases principais:

1. Conversão Funcional de Denso para MoE (Dense2MoE)

Em vez de duplicar módulos FFN inteiros em múltiplos especialistas, o método reparametriza os blocos FFN densos particionando a dimensão oculta intermediária em fatias de canais contíguas. Cada fatia torna-se um "especialista".

Inicialização: O roteador é inicializado de modo que todos os especialistas receam probabilidades de roteamento idênticas.
Equivalência: Por meio de escalonamento e renormalização específicos, o bloco MoE convertido reproduz exatamente a saída do FFN denso original na inicialização ( $Output_{moe} \equiv Output_{dense}$ ). Isso garante que o modelo entre na parametrização MoE sem um deslocamento imediato de comportamento, permitindo que a desativação adaptativa comece imediatamente sem uma etapa de recuperação.

2. Desativação Adaptativa de Especialistas

Durante o ajuste fino da política, o AdaDE transiciona progressivamente o modelo de um estado totalmente ativo para um estado esparso usando os seguintes mecanismos:

Estimativa de Importância Baseada em EMA: O framework mantém uma Média Móvel Exponencial (EMA) dos escores de utilização dos especialistas para cada camada. Isso suprime o ruído de roteamento de curto prazo, garantindo que as decisões de desativação sejam baseadas em uso persistente, em vez de flutuações transitórias.
Atualizações de Máscara Dinâmicas: Ao contrário de cronogramas de esparsidade fixos, máscaras binárias por camada são atualizadas periodicamente com base nos escores de EMA. Especialistas com escores abaixo de um limiar $\tau_{deact}$ tornam-se candidatos à desativação.
Restrições de Estabilização:
- Warmup: Uma fase de aquecimento ( $T_{warm}$ ) estabiliza o roteamento antes de qualquer desativação ocorrer.
- Proteção Wanda: Especialistas estruturalmente importantes (identificados via critério Wanda) são bloqueados e excluídos dos candidatos à desativação para evitar colapso precoce.
- Restrições Locais: Um número mínimo de especialistas ativos ( $M_{min}$ ) é imposto por camada, e um número máximo de especialistas ( $K_{update}$ ) pode ser removido por etapa de atualização para garantir transições monótonas e estáveis.
Regularização de Roteamento Auxiliar: Uma perda auxiliar ( $L_{aux}$ ) penaliza camadas onde a probabilidade bruta mais fraca do roteador colapsa precocemente. Isso encoraja o roteador a formar uma competição significativa antes do início da desativação, distinta dos objetivos padrão de balanceamento de carga.

Cronograma de Treinamento

O treinamento procede em três estágios:

Warmup: Todos os especialistas ativos; otimização das perdas de tarefa e auxiliares.
Estágio AdaDE: Atualizações dinâmicas de estatísticas de EMA e máscaras de especialistas; desativação de especialistas persistentemente fracos.
Estágio de Congelamento (Freeze): As máscaras são fixadas, permitindo que a política se adapte à estrutura esparsa final.

Na inferência, as fatias de especialistas inativas são fisicamente removidas do checkpoint, mantendo apenas as linhas/colunas ativas das matrizes de pesos, reduzendo assim a contagem de parâmetros implantados e a computação.

Principais Contribuições

Conversão Dense2MoE Orientada a VLA: Um esquema de reparametrização para FFNs do lado do LLM (incluindo blocos de modelo de linguagem e de especialista de ação) que preserva as projeções acopladas de gate, up e down, criando um espaço de especialista estável para compressão subsequente.
Framework AdaDE: Um mecanismo de desativação adaptativa que utiliza estatísticas de roteamento por camada para determinar máscaras de retenção de especialistas, reduzindo os parâmetros ativos efetivos sem uma fase de recuperação separada.
Validação Empírica: Demonstração de que uma desativação substancial de especialistas (até 40-50% dos parâmetros do LLM) retém um forte desempenho de manipulação em diversos testes de simulação e robótica real.

Resultados Experimentais

Os autores avaliaram o AdaDE nos benchmarks LIBERO e RobotWin2.0, bem como em tarefas de robôs físicos.

LIBERO: Com 40% dos parâmetros do LLM desativados, o AdaDE reteve 95,7% de sucesso médio nas tarefas LIBERO. Com 50% de desativação, o sucesso permaneceu em torno de 95%, com reduções significativas de FLOPs e tamanho de modelo ativo.
RobotWin2.0: Em todas as 50 tarefas DemoClean, a configuração de 40% de desativação alcançou uma taxa de sucesso média de 42,0% (comparado a 46,7% do baseline denso), reduzindo os TFLOPs de 4,38 para 3,18.
Robô Real: Em tarefas de robôs físicos, o AdaDE alcançou 61,4% de sucesso médio, demonstrando que a estrutura esparsa aprendida se transfere além da simulação.
Comparação: Diferente dos métodos de poda (ex: LLM-Pruner, FLAP) que sofrem grandes quedas de desempenho exigindo recuperação de SFT separada, o AdaDE preserva o desempenho diretamente. Ele também reduz a memória GPU de pico em comparação com os baselines densos.

Insights de Ablação

Dinâmico vs. Fixo: A desativação adaptativa supera significativamente os cronogramas de remoção de especialistas fixos (95% vs. 88% de sucesso com 50% de desativação).
Proteção: A remoção da proteção baseada em Wanda leva à degradação do desempenho, confirmando a necessidade de preservar especialistas estruturalmente importantes.
Sensibilidade de Módulo: Módulos intensivos em ação são mais sensíveis à desativação do que módulos intensivos em linguagem, apoiando a necessidade de estratégias adaptativas e conscientes de módulo, em vez de razões de esparsidade globais.

Significância e Limitações

O artigo afirma que a adaptação densa-para-MoE com desativação dinâmica de especialistas é uma direção prática para reduzir o tamanho do modelo VLA ativo sem perda severa de desempenho. Os resultados sugerem que a compressão eficaz depende não apenas da esparsidade total, mas de como a desativação é distribuída entre as camadas e módulos funcionais.

Limitações:

A implementação atual foca primariamente nos blocos FFN do lado do LLM, pois experimentos preliminares indicaram que os componentes ViT e de fluxo são mais sensíveis à desativação agressiva.
O método introduz hiperparâmetros relacionados ao cronograma (duração do warmup, intervalo de atualização) que podem variar entre arquiteturas.
Latência: Embora o método reduza a pegada de parâmetros e a memória de pico, ele não reduz atualmente a latência de inferência de ponta a ponta. Em medições de batch-size-one, o modelo esparso foi ligeiramente mais lento (236ms vs. 212ms) devido ao overhead de roteamento e à falta de otimização de nível de kernel para a implementação do MoE.