💻 computer science

Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation

Este artigo apresenta o ERVLA, um modelo de visão-linguagem-ação que aproveita um corpus de cadeia de pensamento incorporado em larga escala para supervisão de moldagem de representação em vez de inferência autorregressiva, alcançando generalização e estabilidade de estado da arte em tarefas de manipulação robótica.

Autores originais: Nan Sun, Yuan Zhang, Yongkun Yang, Wentao Zhao, Peiyan Li, Jun Guo, Wenxuan Song, Pengxiang Ding, Runze Suo, Yifei Su, Xin Xiao, Xinghang Li, Huaping Liu

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nan Sun, Yuan Zhang, Yongkun Yang, Wentao Zhao, Peiyan Li, Jun Guo, Wenxuan Song, Pengxiang Ding, Runze Suo, Yifei Su, Xin Xiao, Xinghang Li, Huaping Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a fazer tarefas domésticas, como colocar um carrinho de brinquedo em uma gaveta. No passado, cientistas tentavam ensinar robôs dando a eles um "cérebro" (um Modelo de Visão-Linguagem) que conseguia entender imagens e palavras, e uma "mão" (um Modelo de Ação) que conseguia se mover. Mas, frequentemente, o cérebro ficava confuso e a mão falhava.

Este artigo apresenta uma nova maneira de ensinar robôs chamada ERVLA (Raciocínio Incorporado de Visão-Linguagem-Ação). Aqui está a história de como eles fizeram isso, explicada de forma simples.

1. O Problema: O Robô Que Fala Demais (e Muito Devagar)

Imagine que você está dirigindo um carro e o seu GPS diz cada curva antes de você fazê-la. "Em 100 pés, vire à esquerda. Agora, vire à esquerda. Agora, vire à esquerda." Se o GPS cometer um erro minúsculo na primeira frase, o restante das direções ficará errado e você sofrerá um acidente.

Isso é o que acontecia com os métodos anteriores de "pensamento" de robôs (chamados de Cadeia de Pensamento Incorporada ou Embodied Chain-of-Thought). O robô era forçado a "pensar em voz alta" (escrever um longo plano de texto) antes de poder mover seu braço.

O Problema: Se o robô escrevesse uma frase levemente errada em seu plano, o restante do plano falharia. Era lento, e um pequeno erro arruinava toda a tarefa.
A Descoberta do Artigo: Eles descobriram que fazer o robô "falar mais" não o torna mais inteligente. Na verdade, forçar o robô a escrever um plano longo antes de se mover muitas vezes o torna pior.

2. A Solução: "Pensar" Enquanto Faz, Não Antes

Os autores perceberam que o robô não precisa dizer seus pensamentos em voz alta para ser inteligente. Ele só precisa ter os pensamentos dentro de seu cérebro enquanto se move.

Pense nisso como um chef mestre. Um chef novato pode escrever uma receita passo a passo em um pedaço de papel antes de cozinhar. Um chef mestre não escreve nada; ele apenas sabe o que fazer porque praticou os passos tantas vezes. Seu "pensamento" está incorporado em sua memória muscular.

O ERVLA ensina o robô a ser como o chef mestre:

O Treinamento: Eles deram ao robô uma biblioteca massiva de 978.000 movimentos de robôs (como um livro de receitas gigante).
O Truque: Eles ensinaram o robô a ler a "receita" (o plano) e a "ação" (o movimento) ao mesmo tempo.
O Ingrediente Secreto (Reasoning Dropout): Às vezes, durante o treinamento, eles diziam ao robô: "Não escreva a receita desta vez, apenas mova-se!" Isso forçou o robô a aprender como entender a ideia da tarefa sem precisar escrevê-la primeiro. Ele aprendeu a internalizar o raciocínio.

3. O Problema da "Contaminação de CoT"

O artigo também descobriu uma armadilha oculta. Quando eles usaram computadores para escrever automaticamente essas "receitas" para o robô, às vezes os computadores cometiam erros (como dizer que o copo está no lugar errado).

Se o robô tentasse memorizar essas receitas erradas, ele ficaria confuso. Isso é chamado de Contaminação de CoT.
A Correção: Eles ensinaram o robô a ignorar as partes da receita que pareciam instáveis ou pouco confiáveis, focando apenas nas instruções claras e sólidas.

4. Os Resultados: Um Robô Que Realmente Funciona

Eles testaram este novo robô (ERVLA) de duas maneiras:

No Simulador (Videogame): Ele se tornou o melhor robô do mundo em seus testes específicos, superando todos os modelos anteriores. Ele conseguiu lidar com situações complicadas onde a iluminação mudava ou objetos eram movidos.
No Mundo Real: Eles o colocaram em um braço robótico físico real.
- Quando solicitado a "guardar a coisa que não é uma fruta" (uma instrução complexa e vaga), outros robôs ficaram confusos. O ERVLA entendeu a lógica e o fez.
- Quando solicitado a realizar uma tarefa longa de várias etapas (como limpar uma mesa inteira), o ERVLA manteve a calma e terminou o trabalho, enquanto outros desistiram ou se perderam.

Analogia de Resumo

O Jeito Antigo: O robô é um estudante que deve escrever uma redação de 10 páginas antes de ter permissão para dar um único passo. Se ele errar a grafia de uma palavra na redação, ele falha no teste.
O Jeito ERVLA: O robô é um atleta experiente. Ele praticou tanto que entende o plano de jogo instantaneamente. Ele não precisa escrever uma redação para saber como jogar; a estratégia está incorporada em seus movimentos.

A Conclusão: O artigo mostra que, para os robôs serem inteligentes, eles não devem ser forçados a "conversar" para atravessar cada tarefa. Em vez disso, eles devem ser treinados para absorver a lógica da tarefa para que suas ações sigam naturalmente o caminho certo, mesmo quando as instruções são vagas ou o mundo é bagunçado. Eles também lançaram o "livro de receitas" massivo (conjunto de dados) e o "cérebro" do robô (modelo) para que outros possam usar.

Resumo Técnico: Revisitando o Chain-of-Thought Incorporado para Manipulação Robótica Generalizável

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) emergiram como um paradigma promissor para o controle robótico generalizável ao transferir priors semânticos de Modelos de Visão-Linguagem (VLMs) de larga escala para a tomada de decisão incorporada (embodied). No entanto, o aumento da percepção e a cobertura semântica mais ampla não garantem inerentemente uma melhor geração de ações. Os modelos VLA frequentemente enfrentam dificuldades em cenários complexos e fora da distribuição (out-of-distribution) que exigem deliberação antes da execução.

Embora métodos anteriores de Embodied Chain-of-Thought (ECoT) tenham tentado preencher essa lacuna supervisionando traços de raciocínio explícitos, várias questões críticas permanecem não resolvidas:

Forma e Integração: Não está claro quais formas de raciocínio incorporado (ex: compreensão de cena, ancoragem espacial, previsão de trajetória) realmente facilitam uma geração de ação eficaz versus aquelas que apenas adicionam sobrecarga verbal.
Interação com a Política: Primeiras formulações de ECoT modelam o raciocínio como um prefixo autorregressivo para a geração de ação. Esse design é frágil; traços de raciocínio longos aumentam a latência, e erros no prefixo de raciocínio se propagam durante a inferência, afetando negativamente os tokens de ação subsequentes.
Escalabilidade: O comportamento de escalonamento dos dados de CoT é incerto. Conjuntos de dados de CoT incorporados em larga escala são escassos devido ao alto custo de anotação, e não se sabe se o escalonamento da supervisão de raciocínio produz uma geração de ação mais forte ou introduz ruído que prejudica o aprendizado.
Contaminação de CoT: Em conjuntos de dados rotulados automaticamente em larga escala, rótulos ruidosos (ex: caixas delimitadoras instáveis, coordenadas de efetuador final à deriva) podem impor uma supervisão inconsistente em observações semanticamente similares, dificultando a adaptação.

Metodologia: ERVLA

Os autores propõem o ERVLA (Embodied Reasoning Vision-Language-Action), um modelo projetado para aproveitar efetivamente o raciocínio linguístico para manipulação robótica generalizável sem depender de um CoT obrigatório em tempo de teste.

1. Corpus de CoT Incorporado de Larga Escala

Os autores curaram o maior corpus de CoT incorporado até o momento, compreendendo:

978.743 trajetórias
226,3 milhões de amostras
2.592,5 horas de dados
As fontes incluem os conjuntos de dados Bridge, Fractal, Droid, MolmoAct e AgiBot.

Os dados são estruturados em um esquema hierárquico que decompõe o raciocínio em quatro categorias:

Compreensão (Understanding): Objetivos da tarefa e intenção.
Ancoragem (Grounding): Alinhamento espacial com entidades visuais (ex: caixas delimitadoras de objetos, posição do gripper).
Planejamento (Planning): Decomposição de sub-tarefas e monitoramento de progresso.
Ação (Acting): Descrições de movimento orientadas à ação e trajetórias de pontos futuros.

2. Arquitetura do Modelo

O ERVLA integra um módulo de Raciocínio Visão-Linguagem com um módulo de Ação baseado em Difusão:

Backbone: Um VLM (especificamente o Qwen3-VL-4B) processa observações visuais e instruções de texto. Diferente dos estilos "ThinkAct" que separam planejamento e ação, o ERVLA injeta supervisão sensível à ação diretamente no VLM.
Cabeça de Ação (Action Head): Um Transformer de Difusão (DiT) gera ações robóticas contínuas via flow matching.
Truncamento de Conhecimento (Knowledge Truncation): O DiT condiciona-se apenas no cache key-value (KV) do prefixo semântico (raciocínio) do VLM, excluindo tokens de consulta de controle anexados. Isso evita que o modelo de ação explore atalhos sintéticos e reduz a interferência de padrões de tokens específicos de treinamento.
Consultas de Ação Auxiliares (Auxiliary Action Queries): O VLM é treinado com uma perda de regressão de ação auxiliar através de tokens de consulta. Isso guia o backbone para compreender a semântica relevante à ação, não apenas para produzir texto.

3. Estratégia de Treinamento: CoT-Dropout

Uma inovação central é a estratégia de CoT-dropout. Durante o treinamento, o modelo é exposto a amostras com supervisão explícita de CoT e amostras sem ela (onde o intervalo de CoT está vazio) com uma certa probabilidade ( $p_{cot}$ ).

Propósito: Isso permite que o modelo aproveite traços de raciocínio ricos durante o treinamento para moldar suas representações internas, mas permite que ele preveja ações diretamente sem CoT durante a inferência.
Benefício: Isso contorna a instabilidade autorregressiva dos prefixos de CoT, mitiga a "contaminação de CoT" de rótulos ruidosos e trata o raciocínio como um sinal de treinamento que molda o espaço de representação, em vez de um output verbal obrigatório.

Principais Contribuições

Construção de Dataset: Criação do maior e mais abrangente corpus de CoT incorporado, apresentando configurações multi-visão e bimanual com anotações hierárquicas estruturadas.
Análise Empírica de Sinais de CoT: Através de extensos estudos de ablação, os autores identificam que:
- A compreensão semântica de alto nível sozinha produz ganhos marginais.
- O CoT eficaz deve ancorar a semântica de alto nível em orientação de ação linguística concreta (ex: movimento do efetuador final, trajetórias no espaço da imagem).
- O CoT explícito não escala de forma confiável como um prefixo de ação autorregressivo devido ao acúmulo de erros.
- Campos de ancoragem ruidosos (ex: caixas delimitadoras instáveis) podem ser prejudiciais, a menos que sejam regularizados via reasoning dropout.
Modelo ERVLA: Uma nova arquitetura VLA que internaliza o raciocínio em representações conscientes da ação. Ele alcança desempenho de estado da arte combinando supervisão de CoT explícita, reasoning dropout, consultas de ação auxiliares e condicionamento de conhecimento truncado.
Insights de Escalonamento: O artigo demonstra que o CoT incorporado escala efetivamente quando a supervisão de raciocínio e as perdas de ação são otimizadas conjuntamente no espaço de representação, em vez de serem tratadas como alvos autorregressivos literais.

Resultados Experimentais

Os autores avaliaram o ERVLA em benchmarks de simulação e plataformas de robôs reais.

Benchmarks de Simulação

LIBERO-Plus: O ERVLA alcançou uma taxa de sucesso de estado da arte de 86,9%, superando baselines competitivos como $\pi0.5$ (85,5%). Demonstrou forte generalização zero-shot, atingindo 100% de sucesso em variações de fundo e iluminação na trilha Spatial.
VLABench: O ERVLA alcançou uma taxa média de sucesso de 53,2%, superando baselines fortes em cenários desafiadores de fora da distribuição que exigem compreensão semântica e seguimento de instruções.
Escalonamento: Experimentos mostraram que o ERVLA se beneficia do aumento de dados de pré-treinamento de CoT incorporado, enquanto modelos de CoT autorregressivo + tokens de ação degradam conforme os dados escalam devido ao acúmulo de ruído.

Experimentos com Robôs Reais

Implantado em robôs físicos com câmeras de terceira pessoa e de pulso, o ERVLA foi testado em tarefas envolvendo colocação de gavetas e limpeza de mesa através de quatro níveis de dificuldade: Básico, Distratores, Semântico e Longo Horizonte (Long-horizon).

Desempenho: O ERVLA superou os baselines (ECoT, WorldVLA, UniVLA, $\pi0.5$ ), particularmente no tratamento de ambiguidade semântica (ex: "guarde o objeto que não é uma fruta") e tarefas de longo horizonte.
Robustez: Enquanto os baselines lutavam com latência autorregressiva e propagação de erro, a capacidade do ERVLA de internalizar o raciocínio permitiu uma execução mais robusta sob mudanças semânticas e distratores.

Significância e Alegações

O artigo argumenta que o CoT incorporado deve ser entendido menos como um formato de saída (um robô "dizendo mais") e mais como uma interface entre o raciocínio semântico e o aprendizado de ação.

Tese Central: O raciocínio beneficia as políticas robóticas não por ser mais longo ou mais explícito, mas quando sua supervisão é confiável, relevante para a ação e integrada à política de uma forma que molda representações, em vez de sobrecarregar a decodificação.
Modos de Falha: O trabalho destaca que o acoplamento autorregressivo ingênuo de CoT e tokens de ação leva a falhas de escalonamento e que sinais de ancoragem ruidosos podem contaminar o aprendizado se não forem regularizados.
Direção Futura: Os autores posicionam o ERVLA como uma base para trabalhos futuros em aprendizado robótico consciente de raciocínio, enfatizando a necessidade de supervisão de ancoragem confiável, raciocínio adaptativo em tempo de teste e arquiteturas que tratem o raciocínio como uma ponte aprendível da percepção para a ação, em vez de decoração verbal.

O artigo conclui que a chave para a manipulação robótica generalizável reside em converter priors semânticos pré-treinados em representações relevantes para a ação através de raciocínio estruturado e internalizado, em vez de depender de traços verbais explícitos durante a execução.