🤖 AI

Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

Este artigo apresenta o Raciocínio Intercalado Visão-Linguagem (IVLR), um framework de política que gera traços explícitos alternando entre subobjetivos textuais e quadros-chave visuais para habilitar a manipulação robótica robusta e de longo horizonte, combinando coerência lógica com ancoragem geométrica, alcançando taxas de sucesso state-of-the-art em benchmarks desafiadores.

Autores originais: Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

Publicado 2026-05-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a limpar uma cozinha bagunçada. A tarefa não é apenas "pegar a colher". É uma longa história: "Primeiro, mova o prato sujo para a pia, depois pegue a esponja, esfregue o balcão e, finalmente, devolva a esponja ao lugar."

Os cérebros atuais dos robôs (chamados políticas Visão-Linguagem-Ação) são como atores que são ótimos na próxima linha de diálogo, mas terríveis em lembrar todo o roteiro. Eles olham para a pia, veem um prato e o pegam. Mas se a tarefa exigir que peguem uma xícara antes do prato, podem ficar confusos, pegar a coisa errada ou esquecer por que estão ali em primeiro lugar. Eles são "miopes" — só veem o próximo passo imediato.

Este artigo apresenta uma nova maneira de os robôs pensarem, chamada IVLR (Raciocínio Visão-Linguagem Intercalado). Eis como funciona, usando analogias simples:

1. O Problema: O "Ato Amnésico"

Pense em um robô padrão como um ator que recebe um roteiro, mas precisa memorizá-lo linha por linha enquanto atua. Se a peça é curta, ele está bem. Mas se a peça é longa (uma tarefa de "longo horizonte"), ele esquece o enredo.

Planos apenas em texto são como um roteiro que diz "Pegue a xícara". Diz ao robô o que fazer, mas não onde exatamente ou como a cena deve parecer. É como uma receita sem fotos.
Planos apenas visuais são como uma bobine de filme do futuro. Mostra ao robô como a cena parece, mas sem palavras, o robô pode não entender por que a xícara está ali ou em que ordem as coisas aconteceram.

2. A Solução: O "Diretor de Storyboard"

Os autores dão ao robô um Storyboard. Antes mesmo de o robô mover um músculo, ele pausa e cria um "filme" completo de toda a tarefa em sua cabeça. Este storyboard é chamado de IVLR-Trace (Rastreamento IVLR).

Este rastro é especial porque mistura duas coisas, alternando como uma história em quadrinhos:

Painéis de Texto: "Pegue a caneca branca." (A lógica/ordem causal).
Painéis de Imagem: Uma foto da caneca branca sentada exatamente onde precisa ir. (O objetivo visual).

O robô gera este storyboard inteiro uma vez no início. É como um diretor dizendo: "Ok, aqui está o filme todo. Cena 1: Pegue a caneca. Cena 2: Coloque no prato. Cena 3: Pegue a caneca amarela..."

3. Como o Robô o Usa: O "GPS com Mapa"

Uma vez que o storyboard é feito, o robô não segue cegamente as imagens como um personagem de videogame. Em vez disso, ele mantém o storyboard "em cache" (salvo em sua memória de curto prazo) enquanto trabalha.

O Loop: A cada momento, o robô olha para o mundo real (o que vê agora) e verifica contra o storyboard (o que planejou ver).
A Analogia: Imagine que você está dirigindo para uma festa. Você tem um mapa (o storyboard) que mostra a rota e o destino. Mas você também tem olhos (a câmera ao vivo). Se você der uma volta errada, seus olhos dizem: "Ei, isso não é a rua no mapa!" Então você corrige a direção.
O robô faz isso constantemente. Usa o storyboard para lembrar a ordem dos eventos e o objetivo visual, mas usa seus olhos ao vivo para garantir que não bata em uma cadeira que não estava lá quando fez o plano.

4. Como Eles Ensinaram o Robô (A "Pseudo-Supervisão")

Robôs reais não vêm com storyboards; vêm apenas com vídeos de pessoas fazendo tarefas. Os autores tiveram que ensinar o robô a fazer seus próprios storyboards.

Eles pegaram vídeos de robôs fazendo tarefas e usaram uma IA inteligente para cortar o vídeo em "cenas" (etapas).
Depois, usaram outra IA para escrever uma legenda para cada cena (por exemplo, "O garfo move-se para a caneca") e escolher um "quadro-chave" (uma foto representativa daquele momento).
Eles alimentaram esses storyboards fictícios ao robô como dados de treinamento. É como dar a um aluno um livro didático com as respostas preenchidas, para que ele possa aprender a resolver os problemas sozinho mais tarde.

5. Os Resultados: Por Que Isso Importa

O artigo testou isso em simulações computacionais onde robôs tinham que fazer tarefas longas e multi-etapas (como empilhar blocos ou mover canecas).

Sem o storyboard: O robô falhou frequentemente, especialmente em tarefas longas (apenas cerca de 37% de sucesso). Perdeu-se no meio da história.
Com apenas texto ou apenas imagens: Funcionou melhor, mas não muito bem (cerca de 60-68%).
Com o storyboard completo (Texto + Imagens): O robô teve sucesso em 92,4% das vezes nas tarefas mais difíceis.

A descoberta chave é que você precisa de ambos. Você precisa do texto para lembrar a ordem (causalidade) e das imagens para lembrar a localização (geometria). Um sem o outro não é suficiente.

6. O Problema (Limitações)

O artigo é honesto sobre as desvantagens:

Tempo de Pensamento: O robô precisa "pensar" por cerca de 10 segundos antes de começar a mover-se para criar o storyboard. Isso é aceitável para uma tarefa lenta e cuidadosa, mas é muito lento para um robô que precisa desviar de uma bola em movimento rápido.
Planos Obsoletos: Se o mundo mudar depois de o robô fazer o plano (por exemplo, alguém move a xícara enquanto o robô está pensando), o storyboard fica errado. O robô pode tentar seguir um plano para um mundo que já não existe.
Apenas Simulação: Eles testaram isso em uma simulação computacional, não em um robô real em uma cozinha real.

Resumo

Este artigo propõe que, em vez de forçar um robô a adivinhar o próximo passo baseado apenas no que vê agora, devemos deixá-lo escrever um "álbum de histórias" de toda a tarefa primeiro. Ao misturar palavras (o plano) e imagens (o objetivo) em um único "rastro", o robô pode lembrar a imagem geral enquanto ainda reage ao mundo imediato. É uma mudança de "reagir" para "planejar e reagir".

1. Declaração do Problema

A manipulação robótica de longo horizonte exige políticas que satisfaçam dois requisitos conflitantes: coerência causal (manter a ordem lógica dos subobjetivos) e fundamentação geométrica (posicionamento espacial preciso).

Limitações dos Métodos Atuais:
- Políticas Padrão VLA (Visão-Linguagem-Ação): Geralmente ocultam o planejamento em estados latentes. Frequentemente sofrem de "miopia temporal", falhando em manter o estado ao longo de sequências longas ou executando etapas fora de ordem.
- Cadeia de Pensamento (CoT) Apenas em Texto: Codifica bem a ordem causal, mas carece do pose espacial específico, da geometria de contato e dos detalhes de posicionamento do alvo necessários para o controle de baixo nível.
- Previsão Visual/Modelos de Mundo: Fornecem pistas geométricas, mas frequentemente permanecem locais e semanticamente subconstrangidos, levando a futuros visuais plausíveis, mas incorretos para a tarefa.
A Lacuna: Há uma falta de uma representação intermediária explícita que capture simultaneamente a lógica semântica (texto) e o estado geométrico (visão) ao longo de todo o horizonte da tarefa.

2. Metodologia: Raciocínio Intercalado Visão-Linguagem (IVLR)

Os autores propõem o IVLR, um framework centrado no IVLR-Trace, uma representação intermediária explícita que alterna subobjetivos textuais com quadros-chave visuais.

A. Representação Central: IVLR-Trace

O rastro é uma sequência de estágios $z = [(c^{(1)}, k^{(1)}), \dots, (c^{(N)}, k^{(N)})]$ , onde:

$c^{(i)}$ : Um subobjetivo textual (legenda) descrevendo o papel causal do estágio.
$k^{(i)}$ : Um quadro-chave visual (imagem RGB) ancorando o estado espacial pretendido para aquele estágio.
Isso cria um "storyboard de horizonte completo" que torna o raciocínio do robô visível e passível de ablação.

B. Arquitetura

O sistema utiliza um único transformador multimodal nativo (inicializado a partir do Show-o2 1.5B) com duas fases distintas:

Fase de Raciocínio (t=0):
- Entrada: Observação inicial ( $o_0$ ) e instrução da tarefa ( $I$ ).
- Processo: O modelo gera o IVLR-Trace completo.
- Mecanismo: O texto é decodificado autoregressivamente via um cabeçote de linguagem; os quadros-chave visuais são gerados via um cabeçote de correspondência de fluxo (prevendo campos vetoriais para transportar ruído para latentes alvo).
Fase de Execução (t>0):
- Entrada: Observação atual ( $o_t$ ), instrução original ( $I$ ) e o rastro em cache ( $z$ ).
- Processo: Um decodificador de ação em malha fechada prevê ações contínuas ( $a_t$ ).
- Mecanismo: O token de ação atende ao rastro em cache completo e à observação ao vivo, permitindo que o modelo selecione dinamicamente partes relevantes do plano com base no estado atual, sem um ponteiro de estágio pré-programado.

C. Pipeline de Pseudo-Supervisão

Como conjuntos de dados robóticos padrão carecem de rastros intercalados, os autores construíram um pipeline para gerar pseudo-rastros para treinamento:

Segmentação: Uso do Universal Visual Decomposer (UVD) para dividir trajetórias de demonstração em estágios com base em quebras de monotonicidade em embeddings visuais.
Seleção de Quadro-Chave: O último quadro de cada segmento torna-se o quadro-chave visual ( $k^{(i)}$ ).
Legenda: Um Modelo de Linguagem-Visão (Qwen3-VL) gera uma legenda de texto estruturada ( $c^{(i)}$ ) descrevendo a interação garra-objeto e as relações espaciais para cada estágio.

D. Objetivo de Treinamento

A perda total combina três componentes:

$L_{text}$ : Entropia cruzada de próximo token para legendas.
$L_{flow}$ : Perda de correspondência de fluxo para quadros-chave visuais.
$L_{action}$ : Perda L1 para previsão de ação contínua.
Robustez: Ruído aleatório no rastro e mascaramento dinâmico de contexto são aplicados durante o treinamento para prevenir dependência excessiva de rastros perfeitos.

3. Contribuições Principais

IVLR-Trace Explícito: Formulação de uma sequência intercalada de horizonte completo de texto e quadros-chave RGB que serve como interface semântico-geométrica para controle VLA.
Arquitetura Unificada: Implementação em um único transformador multimodal nativo que gera o plano uma vez e condiciona a execução em malha fechada no rastro em cache.
Construção Escalável de Pseudo-Rastros: Um pipeline usando UVD e VLMs para adaptar demonstrações robóticas não estruturadas com supervisão multimodal em estágios.
Validação Empírica: Demonstração de que rastros intercalados superam significativamente baselines unimodais em tarefas de longo horizonte e são robustos a desvios moderados de execução e corrupção de rastros.

4. Resultados Experimentais

O método foi avaliado em LIBERO (manipulação simulada) e SimplerEnv-WidowX (deslocamento de distribuição visual).

Desempenho Principal (LIBERO):
- IVLR: Alcançou 95,5% de sucesso médio.
- LIBERO-Long (Longo horizonte): Alcançou 92,4%, superando significativamente CoT-VLA (69,0%) e VLA-0 (87,6%).
- SimplerEnv-WidowX: Alcançou 59,4% de sucesso geral, superando o SpatialVLA (42,7%).
Estudos de Ablação (A Necessidade da Intercalação):
- Sem Rastro: O sucesso cai para 37,7% no LIBERO-Long.
- Rastro Apenas em Texto: 62,0% (Bom para ordem, falta âncoras espaciais).
- Rastro Apenas em Visão: 68,4% (Bom para geometria, falta sequência semântica).
- IVLR Completo: 92,4% (Prova que texto e visão são complementares, não intercambiáveis).
Testes de Estresse de Robustez:
- Perturbação de Execução: Com um deslocamento aleatório de 2 cm no efetuador final, o sucesso caiu apenas moderadamente (95,5% $\to$ 92,1%), mostrando que a natureza em malha fechada pode recuperar pequenos deslizes.
- Corrupção de Rastro: O mascaramento de 30% dos tokens de texto ou visuais resultou em degradação moderada (para ~90-92%), indicando que o sistema tolera conteúdo local ausente.

5. Significado e Limitações

Significado:

Raciocínio Explícito: Muda o paradigma de planejamento latente implícito para raciocínio multimodal explícito, inspecionável e controlável.
Escalabilidade: Demonstra que rastros pseudo-supervisionados podem treinar efetivamente políticas para tarefas complexas e multiestágio sem planos simbólicos rotulados por humanos.
Complementaridade: Valida que combinar lógica semântica (texto) com fundamentação geométrica (visão) é crítico para o sucesso de longo horizonte.

Limitações:

Latência: Gerar o rastro completo leva ~10 segundos (em uma GPU H20) antes do início da execução, o que é um gargalo para ambientes dinâmicos.
Suposição Estática: O método assume um espaço de trabalho totalmente observado e estático em $t=0$ . Se a cena mudar drasticamente (ex.: remoção de objeto, oclusão) após o planejamento, o rastro em cache torna-se desatualizado.
Apenas Simulação: Os resultados são atualmente limitados a benchmarks simulados; a implantação em robôs reais requer validação adicional.

Direções Futuras:
Os autores sugerem explorar planejamento assíncrono durante a ação (gerando estágios futuros do rastro enquanto executa os atuais) e replanejamento acionado pelo próprio agente para lidar com mudanças dinâmicas na cena.