💻 computer science

JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling

O JEPA-WAM introduz um modelo de ação de mundo latente construído sobre um espaço V-JEPA pré-treinado que unifica a previsão futura espacialmente estruturada e a geração de ações contínuas através de um preditor compartilhado, alcançando um desempenho de estado da arte em benchmarks de manipulação robótica sem exigir o pré-treinamento de políticas em larga escala.

Autores originais: Yihan Lin, Jiawei He, Shifeng Bao, Chen Zhao, Yang Li, Xiaobo Wang, Yan Wang, Cheng Chi, Jing Zhang

Publicado 2026-08-11

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yihan Lin, Jiawei He, Shifeng Bao, Chen Zhao, Yang Li, Xiaobo Wang, Yan Wang, Cheng Chi, Jing Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a cozinhar. Você poderia apenas mostrar a ele um vídeo de um chef picando cebolas e dizer: "Faça isso". Mas se o robô apenas memorizar a aparência exata daquele vídeo específico, ele pode entrar em pânico se o chef usar um chapéu diferente ou se as luzes da cozinha mudarem. Este é o desafio dos modelos de Visão-Linguagem-Ação (VLA): eles são ótimos em seguir instruções em ambientes familiares, mas costem a falhar quando o mundo parece um pouco diferente do que foram treinados.

Para corrigir isso, cientistas tentaram ensinar os robôs a serem "preditores". Em vez de apenas reagir, o robô tenta imaginar o que acontecerá a seguir. Se ele puder prever que "se eu empurrar este copo, ele escorregará da mesa", ele pode planejar melhor. No entanto, fazer um robô gerar vídeos completos em alta definição do futuro é como pedir a um aluno que escreva um romance inteiro apenas para decidir o que fazer a seguir — isso leva muito tempo e poder de computação. Por isso, pesquisadores buscaram um atalho: um modelo "latente" que prevê a ideia do futuro sem desenhar a imagem inteira. Mas aqui está o problema: muitos desses atalhos ou perdem muitos detalhes ou tratam a previsão e a ação como duas tarefas separadas e desconectadas.

Isso nos traz ao JEPA-WAM, uma nova abordagem que tenta ensinar os robôs a "sentir" o fluxo do tempo sem se perderem tentando desenhar cada quadro individualmente. Ele faz uma pergunta simples: Podemos ensinar um robô a entender como o mundo muda e usar esse entendimento para se mover melhor, tudo em um único movimento fluido?

O Atalho do "Senso de Tempo" do Robô

Conheça o JEPA-WAM. Pense nele como um robô que não apenas olha para uma foto do presente e adivinha a próxima foto; em vez disso, ele aprende a relação entre as duas.

Imagine que você está assistindo a um truque de mágica. Um mágico coloca uma bola vermelha em uma caixa e, depois, retira uma bola azul. Um robô padrão poderia apenas memorizar "Bola Vermelha → Bola Azul". Mas o JEPA-WAM é como um detetive que nota a transição: "A bola vermelha desapareceu, a caixa balançou e uma bola azul apareceu". Ele aprende a história da mudança, não apenas o antes e o depois.

Os pesquisadores construíram este sistema sobre um "cérebro visual" pré-treinado chamado V-JEPA. Você pode pensar no V-JEPA como um robô que já assistiu a milhões de vídeos e aprendeu como os objetos se movem e interagem. O JEPA-WAM pega esse cérebro e adiciona um módulo especial de "viagem no tempo".

Aqui está o truque de mágica: Em vez de pedir ao robô para gerar um vídeo borrado do futuro (o que é lento e caro), o JEPA-WAM pede ao robô para prever um mapa conjunto. Imagine tirar uma foto da cozinha agora e uma foto da cozinha cinco segundos depois, e empilhá-las uma sobre a outra. O JEPA-WAM não tenta desenhar a foto do futuro do zero. Em vez disso, ele observa a diferença entre as duas fotos empilhadas e aprende a prever exatamente como os pixels se deslocaram. Ele aprende que "o copo moveu dois polegadas para a esquerda" e "a gaveta abriu", preservando os detalhes finos de onde as coisas aconteceram.

O Cérebro Compartilhado: Um Preditor, Dois Trabalhos

A parte mais inteligente do JEPA-WAM é como ele usa seu cérebro. Em muitos sistemas antigos, a parte que prevê o futuro e a parte que move os braços do robô eram como duas pessoas diferentes conversando através de uma parede. Uma adivinhava o futuro, e a outra tentava ouvir.

O JEPA-WAM utiliza um Preditor Compartilhado. Imagine um único estudante super inteligente fazendo uma prova.

Tarefa A: O estudante observa a cena atual e prevê como o mundo mudará (o "Senso de Tempo").
Tarefa B: O estudante usa esse mesmo entendimento para decidir como mover os braços do robô (a "Ação").

Como o estudante está realizando ambas as tarefas ao mesmo tempo, aprender a prever o futuro molda diretamente como o estudante decide se mover. O artigo sugere que esse acoplamento estreito torna o robô muito mais inteligente. É como um dançarino que não apenas memoriza passos, mas entende o ritmo da música; o movimento flui naturalmente porque a previsão e a ação nascem do mesmo entendimento.

Isso Realmente Funciona?

Os pesquisadores testaram essa ideia em três mundos diferentes: uma simulação de videogame padrão, uma simulação mais caótica com objetos aleatórios e um braço robótico real em um laboratório.

Nas Simulações:
Em um benchmark chamado LIBERO-Plus, que testa como os robôs lidam com mudanças no ambiente (como iluminação diferente ou posições de objetos), o JEPA-WAM obteve 79,2%. Este foi o melhor resultado entre robôs que não foram pré-treinados em quantidades massivas de dados robóticos. Ainda mais impressionante, quando aplicaram esse truque de "senso de tempo" a um cérebro robótico já poderoso chamado π0.5, a pontuação saltou de 84,5% para 86,3%. Isso sugere que até robôs inteligentes podem ficar mais inteligentes se aprenderem a prever o fluxo do tempo.

No Mundo Real:
A equipe levou seu robô a um laboratório real com uma configuração de braços duplos (dois braços robóticos trabalhando juntos). Eles pediram que realizasse tarefas como empilhar blocos, colocar frutas em um prato ou abrir uma gaveta.

Quando a configuração estava exatamente como o esperado (In-Distribution), o JEPA-WAM obteve cerca de 59,8%.
Quando eles alteraram o fundo ou moveram os objetos (Out-of-Distribution), o JEPA-WAM ainda conseguiu 54,2%.
Comparando com um robô padrão (π0), o desempenho caiu de 51,8% para um instável 22,5% quando o ambiente mudou.

Isso mostra que o JEPA-WAM é muito mais robusto. Ele não apenas memoriza uma cena específica; ele aprende a lógica de como os objetos se movem, podendo assim lidar com surpresas.

O Que Ele Não É (e o Que Ele Descarta)

O artigo é cuidadoso em apontar o que o JEPA-WAM não é.

Ele não é um gerador de vídeo. Ele não tenta criar um novo vídeo de alta definição do futuro. Os autores argumentam que tentar gerar cada pixel é muito caro e muitas vezes desnecessário para controlar um robô.
Ele não é apenas sobre prever o estado final. Os pesquisadores testaram uma versão que olhava apenas para a imagem "futura" sem a imagem "atual", e ela teve um desempenho inferior (77,3% vs 79,2%). Isso prova que entender a relação entre "agora" e "depois" é mais importante do que apenas adivinhar o resultado final.
Ele não é uma solução mágica para tudo. Os autores observam que, se a mesma cena visual levar a dois resultados muito diferentes baseados em uma instrução específica (ex: "empurre o copo" vs. "puxe o copo"), o modelo pode ter dificuldades porque foca em mudanças visuais em vez de objetivos específicos da linguagem.

Conclusão

O JEPA-WAM sugere que o segredo para tornar os robôs mais adaptáveis não é apenas dar a eles mais dados ou cérebros maiores, mas ensiná-los a entender o fluxo do tempo de uma forma que informe diretamente suas ações. Ao usar um cérebro compartilhado para prever como o mundo muda e decidir como se mover, o robô torna-se mais parecido com um humano habilidoso que consegue se adaptar a uma cozinha bagunçada sem entrar em pânico.

Os resultados, medidos em simulações e testes no mundo real, sugerem que essa abordagem de "previsão conjunta" é um caminho poderoso para construir robôs que possam lidar com a natureza imprevisível do mundo real. Embora não seja uma solução definitiva para todas as tarefas possíveis, oferece um novo caminho promissor para criar robôs que não sejam apenas obedientes, mas verdadeiramente adaptáveis.

Resumo Técnico: JEPA-WAM

Declaração do Problema

Políticas de Visão-Linguagem-Ação (VLA) têm demonstrado um forte desempenho em diversas tarefas de manipulação, mas frequentemente modelam as transições de estado apenas implicitamente, o que limita sua robustez sob mudanças de distribuição. Embora os Modelos de Ação de Mundo (WAMs) abordem isso ao modelar explicitamente estados futuros, os WAMs baseados em geração de vídeo incorrem em custos substanciais de implantação devido à predição iterativa do futuro. Os WAMs latentes existentes, que evitam a geração explícita de quadros, enfrentam duas limitações primárias:

Representação de Alvo: Eles frequentemente reutilizam características intermediárias de modelos generativos (otimizados para geração de quadros em vez de mudança de estado) ou comprimem observações futuras em um pequeno conjunto de tokens latentes/submetas, potencialmente perdendo a estrutura espacial detalhada.
Integração da Política: Eles ou utilizam representações futuras preditas como contexto adicional (introduzindo redundância) ou empregam módulos de objetivos/dinâmicas separados que influenciam fracamente as representações usadas para a geração de ações.

O desafio central é desenvolver um WAM latente que aprenda uma representação espacialmente estruturada de transições e utilize supervisão preditiva para moldar diretamente o backbone da política sem a geração explícita de quadros futuros.

Metodologia: JEPA-WAM

Os autores propõem o JEPA-WAM, um WAM latente construído dentro de um espaço de representação V-JEPA (Arquitetura Preditiva de Embedding Conjunto para Vídeo) pré-treinado. A arquitetura acopla a predição de transição latente com a geração de ação contínua através de um preditor compartilhado.

1. Espaço de Representação e Construção do Alvo

Representação Base: O JEPA-WAM utiliza um codificador V-JEPA 2.1 congelado para gerar representações densas, ao nível de patch, ( $Z_t$ ) para observações atuais. Essas representações mantêm a estrutura espacial (organização de patches) em vez de um pooling global.
Alvo Conjunto Atual–Futuro: Em vez de prever um estado futuro absoluto ou uma simples diferença, o modelo constrói um alvo conjunto atual–futuro ( $Y_{t,t+\delta}$ $Y_{t, t + δ}$ ). Este é criado empilhando observações atuais ( $O_t$ $O_{t}$ ) e futuras ( $O_{t+\delta}$ $O_{t + δ}$ ) ao longo da dimensão temporal e codificando-as conjuntamente.
- Este alvo captura a relação temporal visual entre os pontos finais, identificando regiões estáveis vs. em mudança e relações de objetos/espaciais em evolução.
- Ele preserva a correspondência densa ao nível de patch, evitando a compressão da informação de transição em tokens globais.

2. Arquitetura do Preditor Compartilhado

A inovação central é um preditor compartilhado ( $F_\theta$ ), instanciado com um LLM Qwen2.5-0.5B, que serve a duas funções simultâneas:

Predição de Transição: O preditor processa a representação visual atual e a instrução da tarefa para prever o alvo conjunto atual–futuro ( $\hat{Y}_{t,t+\delta}$ ). Este ramo é supervisionado via uma perda de distância de cosseno ao nível de patch ( $L_{wm}$ ).
Geração de Ação: O mesmo preditor produz representações dedicadas ( $C_t$ ) a partir de "tokens de placeholder de ação" específicos. Essas representações condicionam um especialista de ação Diffusion Transformer (DiT) para gerar blocos de ações contínuas via flow matching.

Escolha de Design Chave: Ao compartilhar o preditor, a supervisão de transição otimiza diretamente o backbone do qual as representações condicionadas à ação são extraídas. Na implantação, o ramo de alvo e o cabeçote de predição são removidos, retendo apenas o caminho de geração de ação.

3. Transferência para Políticas Pré-treinadas

Os autores demonstram que esta supervisão de transição pode ser instanciada em políticas VLA pré-treinadas existentes (ex: $\pi0.5$ ) sem modificar seus caminhos originais de percepção ou ação. Isso é alcançado introduzindo "tokens futuros" aprendíveis cujos estados ocultos são alinhados com o alvo conjunto atual–futuro, fornecendo supervisão de transição auxiliar ao backbone compartilhado.

Contribuições Principais

Arquitetura JEPA-WAM: Um WAM latente construído em um espaço V-JEPA pré-treinado que acopla a modelagem de transição latente com a geração de ação contínua através de um preditor compartilhado, eliminando a necessidade de geração explícita de quadros de vídeo.
Alvo Conjunto Espacialmente Estruturado: A construção de um alvo conjunto atual–futuro que preserva informações densas ao nível de patch, capturando a estrutura temporal visual compartilhada pela tarefa e mudanças localizadas sem comprimir a transição em tokens globais.
Validação Empírica: Demonstração de forte generalização Out-of-Distribution (OOD) em simulação (LIBERO-Plus, RoboTwin 2.0) e manipulação bimanual no mundo real, mostrando que a supervisão de transição beneficia tanto o treinamento do zero quanto o ajuste fino de políticas pré-treinadas.

Resultados Experimentais

O artigo avalia o JEPA-WAM em vários benchmarks, comparando-o com métodos com e sem pré-treinamento de política robótica em larga escala.

LIBERO-Plus (OOD): O JEPA-WAM alcança uma taxa de sucesso média de 79,2%, o melhor resultado entre os métodos sem pré-treinamento de política robótica em larga escala. Quando a supervisão de transição é aplicada à $\pi0.5$ pré-treinada, o desempenho melhora de 84,5% para 86,3%, atingindo o melhor resultado geral.
RoboTwin 2.0: O JEPA-WAM alcança 79,9% em configurações Clean e 36,9% em configurações Random (OOD), superando outros métodos não pré-treinados e igualando o desempenho Random da $\pi0.5$ pré-treinada. A instanciação da $\pi0.5$ com supervisão JEPA atinge 84,6% (Clean) e 37,5% (Random).
Manipulação no Mundo Real: Em uma plataforma bimanual AgileX, o JEPA-WAM mantém um forte desempenho sob mudanças visuais e espaciais (54,2% OOD vs. 22,5% para o baseline $\pi0$ ). A instanciação da $\pi0.5$ com supervisão JEPA atinge 84,7% de desempenho OOD.
Estudos de Ablação: Experimentos controlados confirmam que:
- O próprio espaço de representação V-JEPA fornece uma base sólida para o aprendizado OOD.
- O alvo conjunto atual–futuro supera os alvos de apenas futuro ou de diferença de endpoints.
- Preservar a estrutura espacial ao nível de patch é crítico (superando o alinhamento convolucional).
- A supervisão direta do backbone compartilhado é mais eficaz do que sinais intermediários ou condicionamento em estados ocultos completos.

Significância e Alegações

O artigo afirma que o JEPA-WAM consegue preencher a lacuna entre a modelagem explícita de transição de estado e a implantação eficiente. Ao aproveitar o espaço de representação V-JEPA e um preditor compartilhado, o método captura estruturas temporais visuais robustas (mudanças localizadas, relações de objetos) que se generalizam através de mudanças visuais e espaciais.

Os autores enfatizam que esta abordagem evita o overhead computacional da geração de vídeo enquanto fornece vieses indutivos mais fortes para transições de estado do que o treinamento VLA implícito. A capacidade de retroajustar esta supervisão em políticas pré-treinadas (como a $\pi0.5$ ) sugere um caminho escalável para melhorar a generalização em sistemas VLA existentes sem necessidade de retreinar do zero. Os resultados indicam que a modelagem explícita da relação entre os estados atuais e futuros, em vez de apenas o estado futuro em si, é um fator chave para melhorar a robustez sob mudanças de distribuição.