💻 computer science

Native Video-Action Pretraining for Generalizable Robot Control

O LingBot-VA 2.0 é um modelo de fundação de vídeo-ação projetado do zero para incorporação robótica, apresentando um tokenizador semântico de visão-ação, pré-treinamento causal, uma espinha dorsal MoE esparsa e um esquema de inferência assíncrona para alcançar um controle generalizável de poucos disparos (few-shot) e robusto em ambientes do mundo real.

Autores originais: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Gua

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a jogar um videogame. A maioria das pessoas hoje tenta fazer isso pegando uma IA de criação de filmes super inteligente, dando a ela alguns botões extras para "mover à esquerda" ou "pegar", e esperando que ela entenda o resto. Os autores deste artigo, no entanto, argumentam que isso é como tentar ensinar um peixe a andar de bicicleta apenas colocando um selim nele. É a ferramenta errada para o trabalho.

Em vez disso, eles construíram o LingBot-VA 2.0, um cérebro robótico projetado do zero especificamente para entender como o mundo físico se move e reage. Pense nisso não como um diretor de cinema, mas como um treinador de "visão do futuro" que observa uma cena, prevê exatamente como ela mudará em uma fração de segundo e diz ao robô exatamente o que fazer para que esse futuro aconteça.

Por que o jeito antigo não funcionou

O artigo argumenta explicitamente contra a tendência atual de "reaproveitar" geradores de vídeo. Esses modelos antigos foram treinados para fazer filmes bonitos onde o objetivo é apenas parecer realistas. Eles são "bidirecionais", o que significa que podem olhar para o futuro para ajudar a prever o passado, o que é ótimo para editar um filme, mas terrível para um robô que precisa agir agora baseando-se apenas no que vê agora mesmo.

Os autores encontraram três grandes problemas com a abordagem antiga:

É bonito demais, não físico o suficiente: Os modelos antigos focam em fazer os pixels parecerem bons, não em entender que, se você empurrar uma xícara, ela desliza. Eles não "entendem" realmente a causa e o efeito.
É lento demais: Robôs reais precisam pensar centenas de vezes por segundo. Os modelos antigos demoram muito para "denoising" (limpar/refinar) um quadro de vídeo, fazendo o robô travar ou sofrer atrasos (lag).
Esquece as regras: Tentar forçar um criador de filmes a aprender movimentos robóticos muitas vezes faz com que ele esqueça o conhecimento geral que aprendeu ao assistir bilhões de horas de vídeos da internet.

O Novo Tempero Secreto: Quatro Truques Mágicos

Para corrigir isso, a equipe construiu o LingBot-VA 2.0 usando quatro princípios de design inteligentes:

1. O "Tradutor Significativo" (Tokenizador Semântico)
Imagine que você tem um tradutor que não traduz apenas palavras, mas traduz o sentimento da frase. Os modelos antigos traduziam o vídeo em um monte de pequenos fragmentos de pixels. O LingBot-VA 2.0 usa um novo "tokenizador" que traduz o vídeo em um resumo compacto e de alto nível que entende o que as coisas são e como elas se movem. Ele alinha a visão do robô com um "cérebro visual" pré-treinado gigante para que ele entenda que uma "xícara" é uma xícara, não apenas uma coleção de cores. Crucialmente, ele também aprende "ações latentes" — um código secreto que representa a mudança entre dois momentos, como a força invisível de uma mão agarrando uma xícara, sem precisar que um humano rotule cada movimento.

2. A "Via de Mão Única" (Pré-treinamento Causal)
Editores de filmes podem saltar para frente e para trás no tempo. Robôs não podem. Os autores treinaram seu modelo em um caminho estrito de "via de mão única" (causal). Ele aprende apenas do passado para prever o futuro. Eles não apenas ajustaram um modelo antigo; eles treinaram todo este sistema do zero em dados de escala web. Isso garante que o cérebro do robô seja naturalmente programado para pensar para frente no tempo, evitando a "amnésia" que acontece quando se tenta forçar um modelo que olha para trás a agir para frente.

3. A Rede "Abelha Operária" (MoE Esparsa)
Para tornar o robô rápido o suficiente para pegar uma bola voadora, o modelo usa uma estrutura de "Mistura de Especialistas" (MoE - Mixture of Experts). Imagine uma biblioteca gigante onde, em vez de todos os bibliotecários lerem todos os livros, apenas o especialista específico necessário para o trabalho é chamado. Isso permite que o modelo seja enorme e inteligente (13 bilhões de parâmetros!), mas "desperte" apenas uma pequena fração de seu c्erebro (cerca de 1,9 bilhão) para cada etapa. Isso o mantém extremamente rápido sem perder sua inteligência.

4. A "Bola de Cristal" de Inferência (Raciocínio de Previsão)
Esta é a parte mais legal. Normalmente, um robô espera o computador terminar de pensar, depois se move, depois espera a câmera atualizar, depois pensa novamente. Isso é muito lento. O LingBot-VA 2.0 usa "Raciocínio de Previsão" (Foresight Reasoning). Enquanto o robô está movendo fisicamente seu braço para realizar a Tarefa A, o computador já está prevendo a Tarefa B em segundo plano.
Mas aqui está a rede de segurança: se a previsão do robote se desviar (como imaginar que a xícara ainda está na mesa quando na verdade está no chão), o sistema se "re-ancora" instantaneamente usando a imagem real mais recente da câmera. É como um piloto voando um avião olhando pela janela e checando os instrumentos simultaneamente, corrigindo a rota instantaneamente se a realidade não corresponder à previsão.

O Quão Bem Isso Realmente Funciona?

Os autores não apenas sonharam com isso; eles testaram rigorosamente.

No Mundo Real: Eles colocaram o robô em um laboratório para realizar tarefas como separar frutas, coletar canetas e arrumar gavetas. O LingBot-VA 2.0 superou significativamente os modelos anteriores (como o $\pi0.5$ e o LingBot-VA original). Por exemplo, em "Separação de Frutas", ele teve sucesso 77% das vezes, comparado a 64% do próximo melhor modelo.
Em Simulação: Eles o testaram em uma simulação complexa de robô de dois braços chamada RoboTwin. Ele alcançou uma taxa de sucesso de 93,6%, superando todos os outros competidores.
Velocidade: Graças aos seus truques de velocidade, o robô pode tomar decisões em uma frequência de pico de 225 Hz. Isso é mais de 200 vezes por segundo — rápido o suficiente para jogar air hockey ou pegar um objeto que está caindo.
Aprendizado Rápido: O robô pode aprender novas tarefas com pouquíssimos exemplos. Em um teste, ele aprendeu a organizar pratos e xícaras após ver apenas 15 demonstrações por tarefa, e conseguiu até se generalizar para novas combinações de objetos que nunca tinha visto antes apenas assistindo a um vídeo humano (uma técnica chamada "aprendizado em contexto").

A Conclusão

O artigo sugere que, para construir um robô verdadeiramente de propósito geral, não podemos apenas remendar velhas ferramentas de vídeo em braços robóticos. Precisamos construir um novo tipo de cérebro que entenda a física, se mova rápido e aprenda com a vasta internet de vídeos e dados reais de robôs simultaneamente. O LingBot-VA 2.0 prova que isso é possível, mostrando que um robô pode ser tanto um pensador rápido quanto um executor preciso, pronto para lidar com tarefas domésticas bagunçadas com apenas algumas instruções.

Resumo Técnico: Pré-treinamento Nativo de Vídeo-Ação para Controle Robótico Generalizável (LingBot-VA 2.0)

Declaração do Problema

Os atuais modelos de vídeo-ação para controle robótico reaproveitam amplamente arquiteturas genéricas de geração de vídeo (projetadas para criação de conteúdo digital) adicionando módulos de ação post-hoc. Os autores argumentam que essa abordagem é inerentemente inadequada para ambientes físicos devido a três limitações primárias:

Descompasso de Representação: Autoencoders Variacionais (VAEs) padrão otimizam para reconstrução de pixels, preservando detalhes visuais, mas falhando em capturar estrutura semântica ou dinâmica física. Consequentemente, estados do mundo e ações permanecem em espaços latentes mal alinhados.
Latência de Inferência: Tokens de vídeo de alta dimensão e processos de denoising iterativos tornam os modelos existentes lentos demais para o controle de malha fechada de alta frequência exigido por robôs reais.
Desalinhamento do Sinal de Pré-treinamento: Objetivos de pré-treinamento de vídeo em escala web não ensinam como as ações moldam o mundo. Adaptar modelos de vídeo bidirecionais para controle causal via fine-tuning frequentemente leva ao esquecimento catastrófico de priors amplos ou depende de dados robóticos escassos, limitando a escala do conhecimento de controle adquirido.

Além disso, existe um descompasso estrutural entre os mecanismos de atenção bidirecional dos backbones de vídeo pré-treinados e a natureza estritamente causal e progressiva no tempo do controle robótico de malha fechada.

Metodologia

O artigo apresenta o LingBot-VA 2.0, um modelo de fundação de vídeo-ação construído "do zero" para a corporeidade (embodiment). A arquitetura segue uma rota de pré-treinamento nativo, evitando o reaproveitamento de geradores de vídeo genéricos. O sistema consiste em quatro princípios de design centrais:

1. Tokenizador Semântico de Vídeo-Ação

Divergindo de VAEs focados em reconstrução, os autores introduzem um tokenizador que alinha representações visuais com semântica e ações.

Alinhamento Visual: O tokenizador visual alinha latentes orientados à reconstrução com um modelo de fundação visual congelado (Percepção Encoder) usando um objetivo de alinhamento semântico. Isso produz representações compactas e ricas em semântica, em vez de meras aproximações de pixels.
Extração de Ação Latente: Sem utilizar rótulos de ação explícitos, o tokenizador aprende ações latentes ( $\ell_t$ ) através de dinâmicas inversa e direta auto-supervisionadas. Um Modelo de Dinâmica Inversa (IDM) prevê uma transformação compacta entre latentes consecutivos, e um Modelo de Dinâmica Direta (FDM) reconstrói o próximo latente. Isso coloca estados do mundo e ações em um espaço latente semântico compartilhado, permitindo que vídeos da web sem rótulos forneçam supervisão relevante para ações.

2. Paradigma de Pré-treinamento Causal

O modelo adota uma estratégia de pré-treinamento causal para contornar o esquecimento catastrófico associado à adaptação de arquiteturas bidirecionais.

Arquitetura: O backbone é um Transformer de Difusão Causal (DiT). Ele emprega uma estrutura de Mistura de Especialistas (MoE) para o fluxo de vídeo (roteamento esparso), mantendo o fluxo de ação denso. Isso expande a capacidade do modelo sem comprometer a eficiência de inferência.
Objetivo de Treinamento: O modelo é pré-treinado em dados de imagem e vídeo em escala web usando um objetivo de próximo-latente causal. Isso garante que o modelo adquira priors amplos nativamente em uma forma causal.
Predição de Múltiplos Blocos (MCP): O MCP é introduzido como um objetivo auxiliar para evitar que o modelo apenas copie a aparência visual de curto prazo. Ele supervisiona a predição de múltiplos blocos futuros simultaneamente, forçando o espaço latente a codificar dinâmicas de nível de trajetória, em vez de apenas continuidade local.

3. Planejamento Hierárquico e Aprendizado em Contexto

Planejador Hierárquico: Um planejador de Modelo de Linguagem-Visão (VLM) de alto nível decompõe metas de longo horizonte em subtarefas estruturadas (instruções, pistas de geração, descrições de cena). Este planejador opera de forma assíncrona, fornecendo contexto ao policy de baixo nível sem bloquear o loop de controle.
Aprendizado em Contexto (ICL): O modelo suporta especificação de tarefas baseada em vídeo. Vídeos de demonstração humana são codificados no espaço latente compartilhado e usados como prompts visuais, permitindo que o robô infira pistas procedimentais para tarefas raras ou complexas sem atualizações de parâmetros.
Co-treinamento Humano-Robô: O modelo é treinado conjuntamente em dados robóticos e vídeos de manipulação humana egocêntrica. As poses das mãos humanas são mapeadas para um espaço funcional de garra robótica (pose raiz 6-DoF + abertura escalar), permitindo que o modelo de mundo compartilhado aprenda dinâmicas de cross-embodiment enquanto utiliza cabeças específicas de domínio para decodificação de ação de baixo nível.

4. Raciocínio de Previsão (Foresight Reasoning) para Controle em Tempo Real

Para resolver o gargalo serial onde a latência do modelo se torna latência de controle, os autores propõem o Foresight Reasoning, um esquema de inferência assíncrona.

Execução Paralela: Enquanto o robô executa o bloco de ação atual, o fluxo de predição simultaneamente prevê o próximo latente visual e o bloco de ação.
Re-fundamentação (Re-grounding): Para evitar o desvio causado por estados alucinados, o sistema re-fundamenta cada predição na observação real mais recente. Um passo de dinâmica direta aprendido dentro do próprio policy imagina o resultado da ação atual, que é então corrigido pelo feedback sensorial real antes do próximo passo.
Aceleração: O sistema utiliza destilação de consistência de poucos passos, execução compilada de baixa precisão (FP8, TensorRT), gerenciamento de cache KV paged/ragged e redução de overhead de runtime para alcançar performance em tempo real.

Principais Contribuições

Pré-treinamento Nativo de Vídeo-Ação: O primeiro pré-treinamento full-stack de um modelo de vídeo-ação (incluindo um tokenizador semântico e um DiT causal) especificamente para controle robótico usando auto-supervisão escalável, em vez de adaptar componentes de geração de vídeo genéricos.
Representação Semântica Compartilhada: Um espaço latente unificado para estados do mundo e ações, ancorado a um modelo de fundação visual alinhado com linguagem, o que estreita o alinhamento visão-linguagem-ação para melhor seguimento de instruções e precisão.
Controle Geral, Rápido e Preciso: A combinação de inferência MoE esparsa, destilação de poucos passos, Foresight Reasoning e implantação quantizada permite a execução de malha fechada em tempo real (frequência assíncrona de até 225 Hz). O modelo demonstra fortes capacidades de generalização few-shot e zero-shot.

Resultados Experimentais

O artigo valida o LingBot-VA 2.0 através de benchmarks de simulação e mundo real:

Implantação no Mundo Real: Avaliado em um benchmark robótico próprio (Classificação de Frutas, Coleta de Canetas, Arrumação de Gavetas, Entrega de Pratos). O LingBot-VA 2.0 superou bases fortes, incluindo o modelo VLA $\pi0.5$ e o modelo anterior de VA, o LingBot-VA, alcançando maiores taxas de sucesso e pontuações de progresso de tarefa, particularmente em tarefas contínuas de longo horizonte.
Simulação (RoboTwin): No benchmark bimanual RoboTwin, o modelo alcançou uma taxa média de sucesso de 93,6%, superando o $\pi0.5$ (79,8%) e o anterior LingBot-VA (92,2%). Demonstrou robustez com uma lacuna mínima de desempenho entre configurações limpas e com randomização de domínio.
Aprendizado em Contexto: O modelo transferiu com sucesso pistas procedimentais de demonstrações em vídeo humano para composições de tarefas e arranjos de objetos não vistos sem necessidade de fine-tuning.
Estudos de Ablação:
- Tokenizador: Substituir o VAE padrão pelo tokenizador semântico visual-ação melhorou significamente o desempenho, especialmente para horizontes de predição mais longos.
- MCP: A predição de múltiplos blocos acelerou a convergência (aceleração de 2.3x em passos de treinamento) e melhorou a precisão final.
- Aceleração: O pipeline de inferência reduziu a latência de 927ms para 142ms por bloco, aumentando a frequência de controle assíncrono de 35 Hz para 225 Hz.

Significância e Alegações

Os autores afirmam que o LingBot-VA 2.0 representa uma mudança de "reaproveitar" geradores de vídeo digital para "construir" modelos nativamente para a corporeidade física. Ao alinhar o objetivo de pré-treinamento, o espaço de representação e a arquitetura de inferência com os requisitos estritos de causalidade e dinâmica do controle robótico, o modelo alcança:

Escalabilidade: Aquisição de conhecimento de controle na escala de vídeos da web, em vez de ser limitado por demonstrações robóticas escassas.
Generalização: Capacidade de adaptar-se a novas tarefas com poucas demonstrações (10–15) e transferir entre diferentes tipos de corpos (embodiments) sem coleta de dados em larga escala.
Viabilidade em Tempo Real: Prova que modelos de fundação de vídeo-ação complexos podem operar dentro das restrições rigorosas de latência do controle de malha fechada no mundo real.

O artigo conclui que, embora o sistema atual seja uma fundação robusta, trabalhos futuros poderiam explorar o treinamento conjunto mais estreito de planejadores e políticas, incorporando sinais interativos de reforço e escalando para tipos de corporeidade mais amplos.