💻 computer science

Wall-OSS-0.5 Technical Report

O artigo apresenta o Wall-OSS-0.5, um modelo de Visão-Linguagem-Ação de 4B de código aberto que demonstra que o pré-treinamento de VLA por si só gera comportamentos robóticos zero-shot diretamente executáveis em diversas incorporações, ao mesmo tempo em que aprimora o desempenho de ajuste fino subsequente e preserva as capacidades de visão-linguagem fundamentadas.

Autores originais: Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vince

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vincent Chen, Harrison Huang, James Wang, Dance Kuzi, Andy Zhai, Hang Su, Roy Gan, Lucy Liang, Hao Wang, Qian Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: "Pré-treinar uma Vez, Agir em Qualquer Lugar"

Imagine que você quer ensinar um robô a fazer tarefas domésticas. Normalmente, você tem que ensinar o básico (como o que é uma xícara) e depois passar meses ensinando habilidades específicas (como como pegar aquela xícara específica).

A equipe por trás do Wall-OSS-0.5 fez uma pergunta ousada: E se pudéssemos treinar um robô tão bem em conhecimento geral e movimento que ele pudesse realmente realizar tarefas reais logo de cara, sem precisar de treinamento extra para cada novo trabalho?

Eles construíram um cérebro de robô chamado Wall-OSS-0.5. É um modelo "Visão-Linguagem-Ação" (VLA). Pense nele como um robô que pode ver (Visão), entender instruções (Linguagem) e mover seus braços (Ação) ao mesmo tempo.

O Problema que Eles Resolveram: A Lacuna entre o "Livro Didático vs. Prática"

No passado, os cérebros dos robôs eram como estudantes que leram todos os livros da biblioteca, mas nunca tinham pisado em uma cozinha. Eles conheciam a teoria perfeitamente, mas congelavam quando lhes pediam para realmente cozinhar.

A maioria dos modelos de robôs anteriores era testada apenas após serem ajustados (re-treinados) para uma tarefa específica. Isso deixava um mistério: o treinamento inicial realmente ensinou o robô a se mover, ou apenas deu ao robô um bom ponto de partida?

O Wall-OSS-0.5 prova que o treinamento inicial realmente ensina o robô a se mover. Mesmo antes de qualquer treinamento de "escola de etiqueta" específico, o robô já conseguia realizar tarefas complexas como separar frutas, empilhar anéis e até apertar uma corda (uma tarefa muito difícil e maleável) apenas lendo uma instrução simples.

Como Eles Fizeram Isso: O "Banco de Três Pernas"

Para fazer isso funcionar, eles não apenas alimentaram o robô com dados; eles usaram uma receita de treinamento especial chamada Co-Treinamento com Ponte de Gradiente (Gradient-Bridged Co-Training). Imagine que o cérebro do robô está sendo treinado por três treinadores diferentes trabalhando juntos:

O "Treinador de Ação" (Tokens Discretos): Este treinador ensina o robô a prever o próximo movimento como se fosse uma palavra em uma frase. Ele é ótimo para ensinar ao cérebro a "gramática" do movimento. Ele atua como uma ponte, enviando sinais fortes para o cérebro principal aprender a controlar o corpo.
O "Treinador de Compreensão" (Dados Multimodais): Este treinador garante que o robô não esqueça como ler, ver e entender o mundo. Ele mantém o robô fundamentado na realidade para que ele saiba o que uma "xícara" parece e o que "colocar na pia" significa.
O "Treinador de Movimento Fluido" (Flow Matching): Este treinador ensina o robô a se mover de forma suave e contínua, como um dançarino, em vez de passos robóticos e travados. É isso que o robô realmente usa quando está trabalhando no mundo real.

O Truque de Mágica: Normalmente, esses treinadores brigam entre si. O "Treinador de Ação" quer ensinar o cérebro a se mover, mas o "Treinador de Movimento Fluido" usa uma linguagem diferente. O Wall-OSS-0.5 construiu uma ponte entre eles. O "Treinador de Ação" fala a linguagem que o cérebro entende melhor, enquanto o "Treinador de Movimento Fluido" garante que os movimentos finais sejam fluidos e precisos.

Os Resultados: Um Robô que Realmente Consegue Fazer Coisas

Eles testaram este robô em um braço robótico físico real em 17 tarefas diferentes.

Zero-Shot (Sem Treinamento Extra): Sem qualquer treinamento específico para essas tarefas, o robô completou várias delas com sucesso.
- Separação de Blocos: 100% de sucesso.
- Separação de Frutas: 96% de sucesso.
- Aperto de Corda: 82% de sucesso (Isso é enorme porque cordas são maleáveis e difíceis de controlar!).
Após o Ajuste Fino (Fine-Tuning): Quando deram ao robô um pouco de treinamento específico para 15 tarefas, ele se tornou ainda melhor, superando os melhores modelos de robôs anteriores por uma margem significativa (17,5% melhor).

Por Que Isso Importa (Em Termos Simples)

Antes disso, as pessoas pensavam que o pré-treinamento de um robô era como dar a um aluno um bom histórico escolar — ajuda a passar no exame final, mas ele ainda precisa estudar para a prova específica.

O Wall-OSS-0.5 mostra que o próprio pré-treinamento é o exame. O robô aprendeu "memória muscular" geral e "senso comum" durante sua grande fase de treinamento. É como uma criança que, após brincar com todo tipo de brinquedo e observar como os adultos se movem, consegue entrar em uma nova sala e descobrir como abrir uma porta ou pegar um brinquão sem que ninguém lhe diga exatamente como fazer isso primeiro.

O "Ingrediente Secreto" Técnico

O Cérebro: É construído sobre um "cérebro" de 3 bilhões de parâmetros (um grande modelo de linguagem) que foi atualizado para lidar com movimentos robóticos.
Os Dados: Eles treinaram-no com mais de um milhão de movimentos robóticos de mais de 20 tipos diferentes de robôs, além de uma biblioteca massiva de imagens e textos.
Velocidade: Eles fizeram o robô pensar rápido o suficiente para controlar um braço real em tempo real (15 vezes por segundo), o que é crucial para não deixar as coisas caírem.

Resumo

O Wall-OSS-0.5 é um avanço porque prova que, se você treinar o cérebro de um robô com dados diversos o suficiente usando as técnicas de "ponte" corretas, o robô não se torna apenas um observador inteligente; ele se torna um executor capaz imediatamente. Ele pode olhar para uma mesa bagunçada, entender a instrução "arrume tudo" e começar a separar os itens sem precisar de um manual para cada objeto sobre a mesa.

Resumo Técnico: Wall-OSS-0.5

Declaração do Problema

A comunidade de robótica tem adotado cada vez mais modelos de Visão-Linguagem-Ação (VLA) como fundamentos para políticas de robôs. No entanto, uma lacuna crítica permanece na avaliação desses modelos: os resultados mais fortes são quase invariavelmente relatados apenas após o ajuste fino (fine-tuning) específico para a tarefa. Isso deixa uma questão fundamental sem resposta: O pré-treinamento de VLA por si só gera um comportamento robótico executável, ou serve apenas como uma inicialização melhor para o aprendizado de políticas a jusante?

Evidências atuais sugerem que o pré-treinamento isolado pode não produzir uma política diretamente utilizável. O artigo postula que, para o pré-treinamento de VLA ser crível, o checkpoint pré-treinado deve demonstrar capacidades observáveis e executáveis em hardware físico antes de qualquer adaptação específica à tarefa.

Metodologia

O Wall-OSS-0.5 é um modelo VLA de código aberto com 4 bilhões de parâmetros, construído sobre um backbone de Modelo de Linguagem-Visão (VLM) de 3 bilhões (Qwen2.5-VL-3B-Instruct). A arquitetura e a estratégia de treinamento são projetadas para satisfazer três requisitos: executar habilidades de manipulação úteis nativamente (out-of-the-box), reter a competência de visão-linguagem derivada do VLM e fornecer priors fortes para adaptação a jusante.

1. Arquitetura: Mistura de Transformers (MoT)

O modelo emprega um backbone de Mistura de Transformers onde cada camada contém dois especialistas distintos:

Especialista VL: Processa visão, linguagem, propriocepção e tokens de ação discretos.
Especialista de Ação: Processa sinais de ação contínuos para geração por correspondência de fluxo (flow-matching).
Crucialmente, esses especialistas compartilham o mesmo contexto de atenção ao nível da sequência. Isso permite que o Especialista de Ação atenda às informações visuais e linguísticas ao gerar ações, mas, mais importante, garante o fluxo de gradiente end-to-end entre os especialistas. Isso é uma decomposição de roteamento e não um mecanismo de interrupção de gradiente, permitindo que o caminho de ação contínua molde o backbone durante o treinamento.

2. Co-treinamento com Ponte de Gradiente (Gradient-Bridged Co-Training)

A principal contribuição metodológica é uma receita de co-treinamento de estágio único que otimiza três objetivos complementares simultaneamente:

Predição de Token de Ação Discreto (A Ponte de Gradiente): O modelo prevê tokens de ação de Quantização Vetorial Residual (RVQ) de forma autorregressiva. Isso fornece um sinal de entropia cruzada forte e nativo do VLM que atualiza o backbone em uma direção alinhada com o controle. Atua como o principal motor para as atualizações do backbone.
Entropia Cruzada Multimodal (A Âncora): Treinado em dados de visão-linguagem fundamentados, este objetivo preserva o seguimento de instruções, o grounding visual e a compreensão de cena. Sua direção de atualização é amplamente ortogonal à otimização de ação, evitando que o modelo perca as capacidades gerais de VLM.
Correspondência de Fluxo Contínuo (A Interface de Implantação): O Especialista de Ação é treinado para gerar blocos de ação contínua usando correspondência de fluxo. Embora isso defina o objetivo de execução, estudos de ablação mostram que contribui com apenas uma pequena parte (~5%) das atualizações do backbone em comparação com as perdas de entropia cruzada.

Insight Chave: O caminho discreto serve primariamente como uma "ponte de gradiente" em tempo de treinamento para moldar o backbone, enquanto o caminho contínuo serve como a interface em tempo de implantação.

3. Tokenizador de Ação RVQ Alinhado à Visão

Para substituir tokenizadores baseados em regras (como o FAST), os autores introduzem um tokenizador de Quantização Vetorial Residual (RVQ) Alinhado à Visão aprendido. Ele comprime sequências de delta de ação condicionadas à observação em tokens discretos. Diferente de compressores padrão, ele é treinado com objetivos auxiliares:

Alinhamento Visão-Ação: Puxa os latentes de ação em direção aos recursos visuais do VLM.
Predição do Próximo Quadro: Incentiva os tokens a codificar as consequências da ação.
Reconstrução no Domínio DCT: Suprime o jitter de alta frequência.
Isso garante que os tokens discretos sejam semanticamente significativos para o backbone do VLM.

4. Supervisão do Espaço de Ação

Para o objetivo de correspondência de fluxo, os autores propõem a Supervisão do Espaço de Ação. Em vez de minimizar a perda na velocidade (flow matching padrão), a perda é definida na própria ação recuperada. Esta formulação efetivamente pondera a perda por $(1-\tau)^2$ , enfatizando os passos de tempo de alto ruído onde a forma global da trajetória é formada. Isso se alinha à estrutura espectral das ações robóticas, que concentram a estrutura útil da tarefa em tendências de baixa frequência.

5. Dados e Inferência

Dados: O modelo é pré-treinado em uma mistura de >1 milhão de trajetórias robóticas por época (de mais de 20 embodiments) e um corpus multimodal de 90 milhões de amostras. O corpus inclui amostras de "ponte incorporada" (embodied bridge) sintetizadas a partir de trajetórias de ação para ligar diretamente a compreensão multimodal ao comportamento executável.
Inferência: Uma pilha de inferência de nível de implantação usando CUDA Graphs e kernels fundidos alcança uma aceleração de 4× em relação ao modo PyTorch eager, sustentando 15 Hz de controle em alta resolução.

Principais Resultados

Desempenho Zero-Shot em Robô Real

Avaliado em um conjunto de 17 tarefas de robô real (incluindo tarefas deformáveis não testadas anteriormente) sem qualquer ajuste fino específico para a tarefa, o Wall-OSS-0.5 pré-treinado alcança comportamentos não triviais:

Classificação de Blocos: 100% de progresso da tarefa.
Classificação de Frutas: 96%.
Empilhamento de Anéis: 86%.
Esticamento de Corda (Deformável não testada): 82%.
O modelo demonstra que o pré-treinamento isolado gera capacidades de manipulação reutilizáveis, particularmente para tarefas dominadas pelo grounding semântico.

Desempenho de Ajuste Fino (Fine-Tuning)

Após o ajuste fino em 15 tarefas de robô real:

O Wall-OSS-0.5 atinge uma média de 60,5% de progresso da tarefa.
Ele supera o $\pi_{0.5}$ em 17,5% (60,5% vs 43,0%) e o DreamZero em 27,1%.
Ele lidera em 10 das 15 tarefas, mostrando ganhos significativos em manipulação (61,1% vs 35,0% para o $\pi_{0.5}$ ).

Compreensão Multimodal

O co-treinamento não erode a competência geral de visão-linguagem. Embora o desempenho geral de VQA sofra uma regressão leve (um compromisso pela especialização), o grounding incorporado melhora significamente:

Grounding Incorporado: Ganho de +21,8%.
Where2Place: Ganho de +11,0%.
Isso confirma que o modelo fortalece a percepção incorporada sem perder suas capacidades fundamentais de VLM.

Estudos de Ablação

Co-treinamento vs. Alternativas: A estratégia completa de co-treinamento com ponte de gradiente supera as abordagens "apenas fluxo", "stop-gradient" e "dois estágios" em 7,4 a 25,1 pontos percentuais em tarefas de robô real.
Perda no Espaço de Ação: Melhora a velocidade de convergência e o desempenho de pico (96,5% de taxa de sucesso) em comparação com a perda no espaço de velocidade em simulação.
Tokenizador RVQ: Supera os tokenizadores FAST tanto em precisão de VQA (+1,8%) quanto em progresso de tarefa (+18,9%).

Significância e Alegações

O artigo afirma reposicionar o pré-treinamento de VLA de uma mera estratégia de inicialização para uma fonte diretamente testável e já útil de capacidade robótica.

O Pré-treinamento Gera Comportamento Executável: Os resultados demonstram que o pré-treinamento de VLA em grande escala sozinho pode produzir comportamentos zero-shot mensuráveis e de alto progresso em robôs físicos, desafiando a noção de que o pré-treinamento é útil apenas para o ajuste fino a jusante.
A Ponte de Gradiente é Decisiva: Os autores argumentam que os tokens de ação discretos não são apenas um artefato de implantação, mas um mecanismo crítico de treinamento. Eles fornecem o forte sinal de gradiente necessário para moldar o backbone do VLM em direção ao controle, um papel que a correspondência de fluxo contínua sozinha não consegue cumprir efetivamente.
Arquitetura Unificada: Ao usar uma arquitetura MoT com atenção compartilhada, o Wall-OSS-0.5 integra com sucesso a geração de ações sem cortar o fluxo de gradiente para o backbone do VLM, permitindo que o modelo aprenda características relevantes ao controle enquanto retém a compreensão semântica.
Benchmark de Código Aberto: Ao lançar um modelo de 4B que funciona nativamente, os autores fornecem um novo baseline para avaliar a "capacidade pré-treinada" em vez de apenas a "capacidade ajustada".

Os autores concluem que o pré-treinamento de VLA suficientemente em larga escala pode produzir comportamento robótico no mundo real, e que o checkpoint resultante serve como um prior substancialmente mais forte para a adaptação a jusante do que abordagens anteriores.