💻 computer science

Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts

Este artigo demonstra que integrar a modelagem de espaço de estados seletiva baseada em Mamba no especialista de ação SmolVLA melhora significativamente o equilíbrio entre precisão e complexidade para modelos de Visão-Linguagem-Ação, alcançando taxas de sucesso superiores aos baselines Transformer durante a execução de longo horizonte, ao mesmo tempo em que reduz a complexidade de parâmetros em 24% sob replanejamento por ação.

Autores originais: Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs estão aprendendo a entender o mundo não apenas vendo-o, mas lendo instruções e, em seguida, movendo seus braços para realizar um trabalho. Este campo, conhecido como visão-linguagem-ação, baseia-se em cérebros computacionais poderosos que captam uma imagem de uma cena e uma frase descrevendo uma tarefa e, então, descobrem exatamente como mover uma mão robótica para completá-la. O desafio para os engenheiros é equilibrar velocidade com inteligência. Se um robô pensar demais antes de cada pequeno movimento, ele se move tão lentamente que se torna inútil. Mas se planejar uma sequência longa de movimentos de uma só vez para economizar tempo, corre o risco de cometer erros porque o mundo pode mudar enquanto ele está executando esses passos pré-planejados. O objetivo é encontrar uma maneira de o robô ser ao mesmo tempo rápido e preciso, um equilíbrio que tem sido difícil de alcançar.

Uma equipe de pesquisadores encontrou uma nova maneira de inclinar esse equilíbrio a favor da velocidade sem sacrificar a precisão. Eles testaram um novo tipo de arquitetura de computador, originalmente projetada para processar linguagem, dentro do cérebro de um robô. Ao substituir o motor de pensamento padrão por este novo design, descobriram que o robô poderia planejar sequências de movimentos muito mais longas e ainda assim ter sucesso. Em seus testes, quando o robô foi permitido executar uma sequência completa de cinquenta movimentos antes de verificar novamente seus arredores, o novo design teve sucesso em quase oito por cento mais vezes do que o design antigo. Essa melhoria é significativa porque significa que os robôs poderiam operar muito mais rápido no mundo real, fazendo menos pausas para pensar, enquanto ainda realizam o trabalho corretamente.

Os pesquisadores começaram com um cérebro robótico popular chamado SmolVLA, que já é conhecido por ser eficiente e preciso. Este sistema funciona olhando para um feed de câmera e uma instrução de texto, e então prevendo um "bloco" (chunk) de movimentos futuros. Em vez de decidir apenas um movimento de cada vez, ele prevê uma série inteira de ações, como um pequeno filme do que o braço deve fazer a seguir. O robô então executa os primeiros movimentos dessa série, para, observa o mundo novamente e planeja uma nova série. O número de movimentos que ele executa antes de parar é chamado de horizonte de execução. Se ele parar após cada movimento individual, é muito preciso, mas muito lento. Se ele executar toda a série sem parar, é rápido, mas propen o a erros se o ambiente mudar.

Para resolver isso, a equipe substituiu a parte do cérebro do robô que lida com o tempo dessas sequências de movimentos. O sistema original usava um método padrão chamado autoatenção (self-attention), que é como um holofote que permite que cada parte do plano de movimento olhe para todas as outras partes para manter a coordenação. Os pesquisadores trocaram isso por um método diferente chamado Mamba, que processa a informação de uma forma mais parecida com um fluxo constante de atualizações do que com um holofote. Este novo método é muito mais leve nos recursos computacionais, exigindo cerca de vinte e quatro por cento menos configurações para serem aprendidas, mas lida com o fluxo do tempo de forma diferente.

A equipe colocou ambas as versões do cérebro do robô à prova em um ambiente simulado repleto de quarenta tarefas diferentes, variando de empilhar blocos a mover objetos para objetivos específicos. Eles passaram os robôs por essas tarefas sob três condições diferentes: parando após cada movimento individual, parando após vinte e cinco movimentos e parando após a sequência completa de cinquenta movimentos. Quando os robôs paravam após cada movimento, ambas as versões performavam de forma quase idêntica, com o novo design igualando a taxa de sucesso do antigo. No entanto, conforme os robôs eram solicitados a executar sequências mais longas sem parar, a diferença tornou-se clara. O robô com o novo design Mamba manteve-se firme muito melhor. Quando solicitados a executar cinquenta movimentos antes de verificar novamente, o novo design teve sucesso em sessenta e um vírgula oito por cento dos testes, enquanto o design antigo teve sucesso em apenas cinquenta e três vírgula nove por cento.

Essa lacuna aumentou ainda mais em tipos específicos de tarefas. Quando o robô tinha que mover objetos para locais precisos, o novo design melhorou as taxas de sucesso em quase dezoito por cento no horizonte mais longo. Mesmo em tarefas envolvendo arranjos espaciais, ele melhorou em dez por cento. Os pesquisadores descobriram que o novo design era particularmente bom em manter os movimentos posteriores de uma sequência coordenados com os anteriores, mesmo quando o robô estava agindo com base em um plano que não estava mais sendo atualizado com informações visuais frescas. Isso sugere que a nova arquitetura tem uma vantagem natural em prever como uma sequência de ações deve se desenrolar ao longo do tempo.

O estudo confirma que a maneira como um robô planeja seus movimentos importa tanto quanto a frequência com que ele verifica seus arredores. Ao mudar o motor interno que coordena uma sequência de ações, os pesquisadores mostraram que os robôs podem ser tornados mais rápidos e eficientes sem se tornarem desajeitados. O novo design não apenas melhorou a taxa de sucesso para sequências longas, mas também reduziu o número total de configurações computacionais necessárias para rodar o sistema. Isso significa que, no futuro, os robôs poderão ser implantados em ambientes do mundo real onde precisam agir de forma rápida e contínua, confiando em planos mais longos que permanecem precisos por períodos mais extensos. O trabalho demonstra que a escolha da arquitetura certa pode desbloquear um melhor equilíbrio entre velocidade e precisão, aproximando o sonho de assistentes robóticos rápidos e confiáveis da realidade.

Resumo Técnico: Modelagem de Espaço de Estados Seletiva Baseada em Mamba para Especialistas VLA

1. Definição do Problema

Os modelos de Visão-Linguagem-Ação (VLA) enfrentam um compromisso fundamental entre taxas de sucesso na tarefa e latência computacional, governado pelo horizonte de execução ( $N$ ).

Alta Frequência ( $N=1$ ): A execução de uma única ação por inferência garante que a política permaneça próxima às observações atuais, mantendo uma alta precisão. No entanto, isso acarreta sobrecargas computacionais significativas devido às chamadas frequentes da política, tornando a implantação em tempo real inviável.
Baixa Frequência ( $N \gg 1$ ): A execução de horizontes de ação mais longos (chunks) antes do replanejamento reduz a complexidade e a latência computacionais. Contudo, o robô atua com base em observações obsoletas por períodos mais longos, o que tipicamente leva à degradação das taxas de sucesso da tarefa.

As abordagens atuais frequentemente abordam isso via mecanismos post-hoc (ex: inpainting de tempo de inferência ou truncamento de chunk) enquanto mantêm a arquitetura da política subjacente fixa. Este artigo investiga se os elementos arquiteturais temporais dentro do próprio especialista de ação podem ser otimizados para melhorar o compromisso entre precisão e complexidade, especificamente substituindo a autoatenção causal padrão por Modelos de Espaço de Estados (SSMs) Seletivos baseados em Mamba.

2. Metodologia

O estudo utiliza a arquitetura SmolVLA como backbone de referência, que combina um modelo de visão-linguagem (VLM) pré-treinado com um Especialista de Ação (AE) de correspondência de fluxo condicional (conditional flow-matching).

Modificação da Arquitetura Central

Os autores propõem uma substituição direta dentro do Especialista de Ação:

Baseline ( $B_0$ ): Utiliza a estrutura original do SmolVLA, onde o AE alterna entre camadas de ancoragem de atenção cruzada (conectando ações a entradas multimodais) e camadas de autoatenção causal (modelando dependências temporais dentro do chunk de ação).
Variante Proposta ( $M_1$ ): Mantém todas as camadas de ancoragem de atenção cruzada e o backbone VLM congelado, mas substitui as oito camadas de autoatenção causal intra-chunk por blocos de espaço de estado seletivo Mamba-1.

Racional Técnico

Viés Indutivo: Um chunk de ação é uma sequência ordenada onde comandos posteriores devem permanecer compatíveis com os anteriores. O Mamba implementa dinâmicas de espaço de estado dependentes da entrada através de recorrência causal. Os autores hipotetizam que essa representação recorrente seletiva fornece um viés indutivo mais adequado para a coordenação intra-chunk do que as máscaras causais explícitas usadas em Transformers.
Eficiência de Parâmetros: A variante baseada em Mamba reduz significativamente a contagem de parâmetros treináveis do Especialista de Ação de 99,9M para 76,3M (uma redução de ~24%), mantendo o backbone e as vias de ancoragem idênticos.
Treinamento e Inferência: Ambos os modelos são treinados usando um objetivo de correspondência de fluxo condicional no benchmark LIBERO. Na inferência, ambos geram um chunk fixo de $H=50$ ações. O horizonte de execução $N$ é testado através de $\{1, 25, 50\}$ para avaliar o desempenho sob variadas frequências de replanejamento.

3. Principais Contribuições

Investigação Arquitetural Inovadora: O artigo apresenta o primeiro estudo isolando o impacto da mistura temporal intra-chunk em especialistas VLA de correspondência de fluxo, substituindo a autoatenção de Transformer por SSMs Mamba.
Avaliação Consciente do Horizonte: Os modelos são rigorosamente avaliados através de três horizontes de execução ( $N=1, 25, 50$ ) utilizando os conjuntos de benchmarks LIBERO padrão (Spatial, Object, Goal, Long).
Melhoria Demonstrada no Compromisso (Tradeoff): O estudo mostra que o especialista Mamba melhora significativamente a retenção de sucesso conforme o horizonte de execução aumenta, superando o baseline Transformer em cenários de longo horizonte.
Ganhos de Eficiência: A variante Mamba alcança desempenho comparável ao baseline Transformer em $N=1$ , enquanto reduz a complexidade do modelo em 24%.

4. Resultados Experimentais

A avaliação foi conduzida no benchmark de simulação multi-tarefa LIBERO (40 tarefas através de 4 suítes) utilizando três sementes aleatórias.

Taxa de Sucesso vs. Horizonte de Execução

$N=1$ (Replanejamento por ação): A variante Mamba ( $M_1$ ) alcança uma taxa de sucesso média de 76,2%, igualando estatisticamente o baseline Transformer ( $B_0$ ) em 75,9%.
$N=25$ (Horizonte moderado): $M_1$ supera $B_0$ em 3,7% (74,7% vs. 71,0%).
$N=50$ (Execução de chunk total): $M_1$ supera significativamente $B_0$ em 7,8% (61,8% vs. 53,9%). Este é o achado mais crítico, pois $N=50$ corresponde à implantação em tempo real viável, onde o replanejamento é infrequente.

Retenção de Sucesso

Ao mover de $N=1$ para $N=50$ :

O baseline Transformer ( $B_0$ ) sofre uma queda de desempenho de 22,0 pontos percentuais.
A variante Mamba ( $M_1$ ) sofre uma queda de apenas 14,5 pontos percentuais.
Isso indica que $M_1$ retém 7,5 pontos adicionais de taxa de sucesso sob execução de malha aberta (open-loop) de longo prazo.

Análise por Suíte

A vantagem do Mamba não é uniforme:

Object Suite: Mostra o maior ganho, com $M_1$ ficando atrás de $B_0$ por 6,0 pontos em $N=1$ , mas superando-o em 17,7 pontos em $N=50$ .
Spatial Suite: $M_1$ ganha 10,0 pontos sobre $B_0$ em $N=50$ .
Goal Suite: $B_0$ mantém uma leve liderança (1,0 ponto) em $N=50$ .
Long Suite: Ambos os modelos têm dificuldades, mas $M_1$ mantém uma liderança estável e pequena (+4,7 pontos).

5. Significância e Alegações

O artigo afirma que a superioridade do especialista baseado em Mamba na execução de longo horizonte deve-se provavelmente à sua recorrência causal dependente da entrada, que oferece um viés indutivo mais eficaz para coordenar posições de ação ordenadas dentro de um chunk em comparação com as máscaras de atenção causal explícitas dos Transformers.

A significância deste trabalho reside em demonstrar que a modelagem temporal dentro do especialista de ação é um fator crítico para o desempenho VLA, independente da obsolescência da observação. Ao adotar o Mamba, o sistema alcança um melhor compromisso entre precisão e complexidade:

Ele permite uma implantação em tempo real viável (via horizontes de execução mais longos) sem a severa degradação de precisão vista nos baselines Transformer.
Reduz a pegada computacional (menos parâmetros treináveis) enquanto mantém ou melhora o desempenho.

Os autores concluem que trabalhos futuros devem validar essas descobertas em robôs físicos e em arquiteturas VLA adicionais, mas os resultados atuais estabelecem que os SSMs baseados em Mamba são uma alternativa viável e superior aos Transformers para a mistura temporal intra-chunk em políticas de correspondência de fluxo VLA.