💻 computer science

OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning

O artigo apresenta o OneTwoVLA, um modelo unificado de visão, linguagem e ação que supera as limitações das abordagens de dois sistemas ao alternar adaptativamente entre raciocínio e execução, permitindo que robôs realizem tarefas complexas de manipulação de longo prazo com maior planejamento, recuperação de erros e interação natural.

Autores originais: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

Publicado 2026-03-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a cozinhar um prato complexo, como um Hotpot (fondue) ou um coquetel. Antigamente, a abordagem era dividir o cérebro do robô em duas partes separadas: uma "mente lenta" que pensava no plano e uma "mão rápida" que executava os movimentos. O problema? Elas não conversavam bem entre si. A mente pensava em algo que a mão não conseguia fazer, ou demorava tanto para pensar que a mão já tinha cometido um erro.

O OneTwoVLA é como dar a esse robô um único cérebro unificado que consegue ser, ao mesmo tempo, o chef experiente e o garçom ágil.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Cérebro Único (Um Sistema, Duas Funções)

Pense no robô como um motorista de táxi.

O "Sistema 1" (Agir): É o motorista dirigindo. Ele olha para a frente, vira o volante e acelera. É rápido e automático.
O "Sistema 2" (Raciocinar): É o motorista pensando no mapa. "Será que devo virar à esquerda? O trânsito está parado. Preciso mudar a rota."

Antes, esses dois papéis eram feitos por duas pessoas diferentes que não se entendiam. O OneTwoVLA é um único motorista que sabe quando deve apenas dirigir (agir) e quando deve parar, olhar o mapa e planejar (raciocinar).

2. A Decisão Inteligente: "Parar para Pensar"

A grande mágica do OneTwoVLA é que ele não perde tempo pensando o tempo todo.

Na maior parte do tempo: Ele age rapidamente, como um atleta em movimento.
Nos momentos críticos: Ele sabe exatamente quando parar. Imagine que você está montando um móvel. Você não precisa pensar em cada parafuso. Mas, quando chega na parte difícil ou se o parafuso não encaixa, você para, lê o manual e pensa: "Opa, isso não está certo. O que eu faço agora?".
- O robô faz o mesmo: se ele derruba um ingrediente, percebe um erro ou precisa de ajuda de um humano, ele ativa o modo "Raciocínio", escreve um plano mental ("Vou pegar o copo de volta e tentar de novo") e só depois continua agindo.

3. O Treinamento: Aprendendo com a Realidade e com a Imaginação

Para ensinar esse robô, os pesquisadores usaram duas fontes de aprendizado:

Dados Reais (O Prático): Eles gravaram humanos fazendo tarefas reais com robôs. Mas, em vez de apenas gravar o movimento, eles criaram um "diário de bordo" mental. Cada vez que o humano parava para pensar, o robô aprendia a escrever esse pensamento: "O óleo está aqui, a panela ali, agora vou derramar".
Dados Sintéticos (A Imaginação): Como gravar milhões de horas de robôs é caro, eles usaram Inteligência Artificial para criar cenários virtuais. É como se o robô jogasse um videogame realista onde ele pratica cozinhar, misturar bebidas e organizar mesas em milhões de situações diferentes que nunca existiram na vida real. Isso ensina o robô a lidar com o inesperado (como encontrar um objeto que ele nunca viu antes).

4. O Que Ele Consegue Fazer?

Graças a essa mistura de "pensar e fazer", o OneTwoVLA mostrou habilidades impressionantes:

Planejamento de Longo Prazo: Consegue fazer uma receita de várias etapas (como fazer um coquetel Vodka Sunrise) sem esquecer o que já fez.
Recuperação de Erros: Se ele derruba o copo, ele não fica travado. Ele pensa: "Caiu. Vou pegar de novo com mais firmeza" e tenta de novo.
Interação Natural: Se você pedir para ele mudar a receita no meio do caminho ("Troque a vodka de laranja por limão"), ele entende, para o que está fazendo, ajusta o plano e continua.
Entender o Mundo: Ele consegue pegar o objeto certo mesmo se você disser "pegue o objeto para ver letras miúdas" (em vez de "pegue a lupa"), entendendo a função do objeto, não apenas o nome.

Resumo

O OneTwoVLA é um robô que parou de ser apenas um "braço mecânico" que segue ordens cegas. Ele agora tem uma mente integrada que sabe quando agir rápido e quando parar para pensar, aprendendo tanto com a prática real quanto com a imaginação criativa. É como transformar um robô que apenas "obedece" em um robô que "compreende".

Título: OneTwoVLA: Um Modelo Unificado Visão-Linguagem-Ação com Raciocínio Adaptativo

1. Problema e Motivação

Robôs de propósito geral necessitam de capacidades sinérgicas de raciocínio (planejamento de alto nível, compreensão de contexto) e ação (execução motora de baixo nível).

Abordagens Atuais (Sistemas Duplos): A maioria dos métodos recentes separa o raciocínio (Sistema 2, ex: Grandes Modelos de Linguagem - LLMs/VLMs) da ação (Sistema 1, ex: Modelos Visão-Linguagem-Ação - VLAs).
- Limitações: Essa separação explícita causa falta de consciência mútua das capacidades (o planejador pode gerar instruções que o controlador não consegue executar), problemas de latência (o planejador responde tarde demais) e ineficiência, pois o sistema de raciocínio é acionado constantemente, mesmo quando desnecessário.
Objetivo: Criar um modelo unificado que integre ambos os sistemas, permitindo que o robô decida autonomamente quando raciocinar e quando agir, imitando a inteligência física humana onde pensamento e ação são intercalados flexivelmente.

2. Metodologia

2.1. Arquitetura OneTwoVLA

O OneTwoVLA é um modelo único de Visão-Linguagem-Ação (VLA) que opera em dois modos adaptativos:

Modo de Raciocínio (System Two): O modelo gera texto explicativo contendo descrições da cena, planos de alto nível, resumos históricos e instruções para o próximo passo.
Modo de Ação (System One): O modelo gera diretamente os chunks de ação (comandos de controle do robô) baseados no raciocínio mais recente.

Inferência Adaptativa:
O modelo utiliza tokens de decisão especiais:

[BOR] (Beginning of Reasoning): O modelo entra no modo de raciocínio e gera texto até um token de fim de frase.
[BOA] (Beginning of Action): O modelo entra no modo de ação e gera os comandos de controle.
Vantagem: O raciocínio ocorre apenas em momentos críticos (ex: conclusão de subtarefa, detecção de erro, interação humana), enquanto a execução contínua ocorre no modo de ação, garantindo eficiência de inferência comparável a VLAs "planos" (sem raciocínio).

2.2. Curação de Dados Robóticos com Raciocínio Embutido

Para treinar o modelo, os autores criaram um novo formato de dados que associa trajetórias de demonstração humana a conteúdo de raciocínio:

Segmentação: As trajetórias são divididas em intervalos de raciocínio (passos críticos) e ação (execução contínua).
Conteúdo de Raciocínio: Inclui quatro componentes:
1. Descrição detalhada da cena (localização de objetos).
2. Plano de alto nível (sequência de passos).
3. Resumo histórico (progresso da tarefa).
4. Próximo passo imediato.
Interação e Recuperação: Os dados incluem contextos de interação humano-robô e exemplos de recuperação de falhas (ex: quando o robô escorrega ao segurar um objeto).

2.3. Síntese Escalável de Dados Visão-Linguagem

Para superar a limitação de dados robóticos reais (caros e escassos), foi desenvolvido um pipeline automatizado:

Geração de descrições textuais de layouts de mesa usando Gemini 2.5 Pro.
Síntese de imagens de alta qualidade usando o modelo de geração de imagens FLUX.1-dev, com aumentações (distorção de olho de peixe, gripper de robô) para simular observações reais.
Geração automática de instruções de tarefa e conteúdo de raciocínio correspondente para cada imagem.

Resultado: 16.000 amostras de dados sintéticos focadas em raciocínio, usadas para co-treinamento (treinamento conjunto) com dados robóticos reais.

3. Contribuições Principais

Modelo Unificado Adaptativo: Primeira abordagem que integra raciocínio e ação em um único modelo, decidindo dinamicamente quando alternar entre os modos, eliminando a latência e a desconexão dos sistemas duplos.
Pipeline de Dados Sintéticos: Um método escalável para gerar dados de visão-linguagem ricos em raciocínio corporal (embodied reasoning), permitindo que o modelo generalize para tarefas e objetos não vistos durante o treinamento robótico.
Desempenho Superior: Demonstração de que o raciocínio explícito e adaptativo melhora significativamente o planejamento de longo prazo, a recuperação de erros e a interação natural.

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de manipulação real com robôs (braço Franka e sistema ARX de dois braços).

Planejamento de Tarefas de Longo Alcance:
- O OneTwoVLA alcançou uma taxa de sucesso média de 87% em tarefas complexas (ex: fazer hotpot, coquetéis, ovo com tomate).
- Superou o VLA de base ( $\pi_0$ ) em 30% e a abordagem de sistema duplo em 24%.
- O modelo consegue rastrear o progresso da tarefa e ajustar planos dinamicamente, enquanto os baselines frequentemente perdem o passo ou falham em ações delicadas.
Detecção e Recuperação de Erros:
- O modelo detecta falhas em tempo real (ex: falha na preensão) e raciocina sobre estratégias de correção (ex: retrair, realinhar e tentar novamente).
- Taxa de recuperação de sucesso: 80% (OneTwoVLA) vs. 57% ( $\pi_0$ ) e 58% (Sistema Duplo). O sistema duplo falha devido à latência, reagindo tarde demais.
Interação Humano-Robô Natural:
- O OneTwoVLA lida com interrupções e ambiguidades proativamente (ex: pedir esclarecimentos sobre qual ingrediente usar).
- Sucesso em interações: 100% (OneTwoVLA) vs. 65% (Sistema Duplo).
Grounding Visual Generalizável:
- Em cenários "Open-World" com objetos nunca vistos nos dados robóticos, o modelo com co-treinamento (OneTwoVLA-VL) alcançou 73% de sucesso.
- Isso demonstra a transferência de conhecimento comum (web knowledge) dos dados sintéticos para o controle do robô, permitindo que o robô entenda instruções como "pegue o objeto para tarefas de computador" (identificando um mouse) ou "pegue o objeto para ver detalhes" (identificando uma lupa).

5. Significância e Conclusão

O OneTwoVLA representa um avanço significativo na robótica de aprendizado, provando que a unificação de raciocínio e ação em um único modelo é superior à separação em sistemas duplos.

Eficiência: Ao raciocinar apenas quando necessário, o modelo mantém a velocidade de execução necessária para tarefas em tempo real.
Generalização: A combinação de dados robóticos reais com dados sintéticos ricos em raciocínio permite que o robô opere em ambientes não vistos e com objetos desconhecidos.
Futuro: O trabalho sugere que a próxima geração de robôs inteligentes dependerá de arquiteturas unificadas que possam alternar fluidamente entre "pensar" e "fazer", superando as limitações de latência e falta de contexto dos sistemas hierárquicos atuais.

Limitações mencionadas: O modelo ainda depende de heurísticas para decidir quando raciocinar (potencialmente melhorável com Aprendizado por Reforço), requer uma pausa de 2-3 segundos durante o raciocínio (solucionável com arquiteturas assíncronas) e o custo de inferência pode aumentar com modelos maiores.