🤖 AI

UniJEPA: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning

UniJEPA é um framework unificado de política robótica que aproveita o pré-treinamento em larga escala em vídeos instrucionais para aprender representações contínuas e discretas combinadas, permitindo desempenho superior tanto em simulação quanto em tarefas do mundo real fora da distribuição em comparação com abordagens existentes de visão-linguagem e generativas.

Autores originais: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

Publicado 2026-05-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a fazer tarefas domésticas. O artigo apresenta um novo método chamado UniJEPA (Unificação de Previsão de Incorporação Conjunta e Ação) para tornar esses robôs mais inteligentes, mais flexíveis e melhores em lidar com coisas que nunca viram antes.

Aqui está a explicação de como funciona, usando analogias simples:

O Problema: O Robô de "Duas Cabeças"

Atualmente, os cérebros dos robôs geralmente se dividem em dois grupos, e ambos têm uma fraqueza:

O "Falante" (Modelos Visão-Linguagem): Esses robôs são ótimos em entender linguagem e imagens. Se você disser: "Pegue a xícara vermelha", eles sabem o que é uma xícara e o que significa "vermelho". Mas são ruins em prever a física. Eles não sabem intuitivamente como a xícara vai oscilar se forem pegá-la com muita força ou como ela vai rolar pela mesa.
O "Previsor" (Modelos Generativos): Esses robôs são ótimos em adivinhar o que acontece a seguir. Se veem uma bola rolando, conseguem prever onde ela estará em um segundo. Mas frequentemente carecem de "senso comum" ou compreensão de linguagem. Podem saber como se mover, mas não por que estão se movendo ou o que o humano realmente pediu para fazer.

A maioria dos robôs tenta usar um ou outro, ou tenta mesclá-los de uma forma que perde o melhor de ambos.

A Solução: O "Sonhador Bilíngue" (UniJEPA)

O UniJEPA é como um robô que aprende a falar dois idiomas e a sonhar de duas maneiras simultaneamente. Ele combina o "Falante" e o "Previsor" em um único cérebro.

Pense nisso como um estudante aprendendo a dirigir um carro:

Aprendizado Discreto (O "Falante"): É como aprender as regras da estrada e o vocabulário. "Placa de pare significa parar", "Verde significa ir". O robô aprende a entender instruções complexas e a descrever o que vê usando palavras.
Aprendizado Contínuo (O "Sonhador"): É como aprender a sensação do carro. Não se trata apenas das regras; trata-se de prever o fluxo suave do movimento. Se você virar o volante ligeiramente, como o carro deriva? O UniJEPA aprende a prever a cena visual futura não como um vídeo borrado, mas como uma "sensação" ou mapa de alto nível do que acontecerá a seguir.

Como Eles o Treinaram (O Processo de Duas Etapas)

Etapa 1: A Fase "Biblioteca e Cinema" (Pré-treinamento)
Antes do robô tocar em um objeto real, eles o deixaram "ler" e "assistir" quantidades massivas de dados.

Alimentaram-no com mais de 1 milhão de vídeos de humanos e robôs realizando tarefas (como abrir gavetas ou pegar brinquedos).
O Truque: Pediram ao robô para fazer duas coisas ao mesmo tempo:
1. Responder Perguntas: "O que o robô está fazendo?" (Isso afina sua linguagem e compreensão).
2. Prever o Futuro: "Se o robô mover o braço desta maneira, como será a imagem daqui a 1 segundo?" (Isso afina sua compreensão de física e movimento).
Ao fazer ambos, o robô constrói um modelo mental onde palavras e movimento físico estão perfeitamente ligados.

Etapa 2: A Fase "Escola de Direção" (Ajuste Fino)
Uma vez que o robô tem esse conhecimento geral, ensinam-no especificamente a mover seu próprio corpo.

Mostram-lhe dados do braço ou da mão do robô real.
O robô aprende a traduzir seus "sonhos" (previsões do futuro) e sua "compreensão" (instruções de linguagem) diretamente em tokens de ação (os comandos específicos para mover os motores).
Usa um sistema especial de "especialistas" (como uma equipe de especialistas) para lidar com a matemática complexa de mover um braço real sem colidir.

Os Resultados: Por Que É Melhor

O artigo testou esse robô de duas maneiras:

Em um Videogame (Simulação): Deram-lhe tarefas que nunca tinha visto antes, como mover um objeto específico de uma maneira específica. O UniJEPA superou todos os outros robôs de ponta por uma margem significativa (cerca de 9-12% melhor).
No Mundo Real: Colocaram-no em um braço robótico real e em uma sofisticada mão robótica de 12 dedos.
- A Magia: Quando deram ao robô uma tarefa com um objeto completamente novo (por exemplo, um brinquedo que nunca tinha visto, ou uma cor estranha), o UniJEPA não se confundiu. Como aprendeu o conceito de "agarrar" e "mover" em vez de apenas memorizar imagens específicas, conseguiu lidar com essas situações "fora da distribuição" (estranhas) muito melhor do que a concorrência.

A Conclusão

O UniJEPA é um cérebro robótico que não apenas memoriza instruções ou apenas adivinha a física. Ele aprende a entender o mundo através da linguagem enquanto simultaneamente simula o futuro através do movimento. Essa abordagem dupla permite que ele seja um "generalista" — um robô que pode se adaptar a novas tarefas e novos objetos sem precisar ser retreinado do zero toda vez.

Resumo Técnico: UniJEPA

Declaração do Problema

O desenvolvimento de políticas robóticas generalistas capazes de lidar com tarefas diversas em ambientes de final aberto permanece um desafio central na IA corporificada. As abordagens existentes normalmente dependem de Modelos Visão-Linguagem (VLMs) para compreensão semântica ou de modelos generativos para dinâmicas visuais. No entanto, esses métodos enfrentam limitações significativas:

Abordagens baseadas em VLM frequentemente sofrem com a degradação de capacidades fundamentais quando ajustadas finamente em conjuntos de dados robóticos escassos e heterogêneos. Elas frequentemente ignoram as discrepâncias fundamentais entre tarefas estáticas de visão-linguagem e tarefas dinâmicas de ação robótica.
Abordagens baseadas em geração (por exemplo, previsão de vídeo) facilitam a aprendizagem de representações dinâmicas, mas frequentemente falham em preservar o alinhamento crucial visão-linguagem inerente aos VLMs pré-treinados.
Modelos Unificados Atuais frequentemente tentam unificar compreensão e geração dentro de um framework de previsão de tokens discretos, o que pode comprometer a robustez do alinhamento visão-linguagem e a capacidade de modelar dinâmicas físicas contínuas de forma eficaz.

O artigo postula que a aprendizagem de políticas robóticas requer um paradigma que integre compreensão de tarefas discretas (compreensão) com aprendizagem de representação de estados futuros contínuos (planejamento e dinâmicas).

Metodologia: UniJEPA

Os autores propõem o UniJEPA, um framework Visão-Linguagem-Ação (VLA) que unifica a aprendizagem de representações discretas e contínuas através de uma estratégia de treinamento em duas etapas. A arquitetura utiliza um design de Mistura de Transformers (MoT) com especialistas especializados por modalidade.

1. Modelagem Unificada de Incorporação Visão-Linguagem (Etapa 1: Pré-treinamento)

A primeira etapa estabelece um paradigma de pré-treinamento cross-embodiment para aprender representações conjuntas texto-imagem.

Arquitetura: O modelo inicia com um VLM pré-treinado (especificamente Paligemma) e introduz um Especialista Gerador e um Especialista de Ação (em etapas posteriores) dentro do framework MoT.
Aprendizagem de Representação Discreta: O modelo é treinado em conjuntos de dados visão-linguagem em grande escala e descrições de tarefas corporificadas (anotadas em formatos estilo VQA) para aprender representações linguísticas de alta granularidade para compreender cenas e instruções.
Modelagem de Mundo Contínuo: Diferentemente de trabalhos anteriores que preveem pixels de imagem brutos, o UniJEPA prevê características visuais contínuas de alta dimensão. Um codificador visual congelado (por exemplo, SigLIP) codifica observações futuras, e o modelo aprende a prever essas características contínuas ( $\hat{o}_{t+h}$ ) juntamente com tokens de texto discretos ( $\hat{l}$ ).
Objetivo de Treinamento: O modelo emprega uma função de perda conjunta combinando a perda de Entropia Cruzada para o ramo de linguagem e a perda de Erro Quadrático Médio (MSE) para o ramo de previsão visual contínua.

2. Modelagem Unificada de Ação (Etapa 2: Ajuste Fino)

Na segunda etapa, o modelo é ajustado finamente em dados específicos de embodiment para mapear representações preditivas em tokens de ação.

Especialista de Ação: Um especialista distinto é treinado do zero para lidar com o espaço de ação. Ele utiliza correspondência de fluxo para capturar a distribuição contínua e inerentemente multimodal das ações.
Otimização Conjunta: O modelo é treinado para prever simultaneamente estados visuais futuros contínuos e executar sequências de ação. A função objetivo combina a perda de previsão visual contínua com uma perda de correspondência de fluxo para geração de ação.
Estratégia de Dados: O pré-treinamento utiliza uma mistura de vídeos de robôs (com descrições de subtarefas), vídeos de demonstração humana e dados genéricos de QA visão-linguagem. O ajuste fino é realizado exclusivamente em dados VLA de robôs em simulação e do mundo real.

Contribuições Principais

Arquitetura VLA Inovadora: A introdução de um framework VLA que integra previsão de tokens discretos (para compreensão) com previsão visual contínua (para dinâmicas) dentro de uma arquitetura MoT unificada.
Framework de Treinamento em Duas Etapas: Uma estratégia que alinha representações de ação enquanto preserva as representações intermediárias aprendidas durante o pré-treinamento em grande escala, transferindo efetivamente conhecimento de dados em escala de internet para tarefas robóticas.
Previsão de Características Contínuas: A demonstração de que prever características visuais contínuas (em vez de pixels brutos ou tokens discretos) serve como um sinal mais eficaz para aprender informações dinâmicas cruciais para a geração de ação.

Resultados Experimentais

O UniJEPA foi avaliado em dois benchmarks de simulação e duas plataformas robóticas do mundo real (um braço Franka Emika Panda de 7-DoF e uma mão destreza de 12-DoF).

Benchmarks de Simulação:
- Benchmark Calvin: O UniJEPA alcançou um comprimento médio de sequência de subtarefas de 4,11, superando o melhor anterior (UP-VLA em 4,08) e superando significativamente baselines como GR-1 (3,06).
- SimplerEnv: Nas plataformas WindowX e Google Robot, o UniJEPA alcançou taxas de sucesso state-of-the-art de 71,0% e 78,4%, respectivamente. Ele demonstrou alto desempenho consistente em todas as subtarefas, evitando perfis de desempenho "pontudos" de outros métodos.
Experimentos no Mundo Real:
- Braço Franka Panda: O UniJEPA alcançou as maiores taxas de sucesso em todas as quatro categorias de tarefas (Pegar e Colocar, Pressionar Botão, Roteamento de Cabo, Gaveta), inclusive em tarefas não vistas envolvendo objetos novos.
- Mão Destreza de 12-DoF: O modelo alcançou a maior taxa de sucesso média em nove categorias de habilidades, mostrando uma melhoria de 12% em tarefas não vistas em comparação com as baselines.
Estudos de Ablação:
- A remoção do pré-treinamento resultou em uma queda de ~16% na taxa de sucesso em tarefas de pegar e colocar no mundo real.
- O uso de características visuais contínuas para previsão resultou em um aumento de ~20% no desempenho em comparação com modelos sem esse componente.
- Entre os métodos de codificação contínua, as características SigLIP forneceram o melhor alinhamento com o backbone do VLM, superando abordagens baseadas em DINO e destilação.

Significado e Alegações

O artigo alega que o UniJEPA aborda com sucesso o trade-off entre compreensão semântica e previsão dinâmica na aprendizagem de políticas robóticas. Ao aproveitar o pré-treinamento em grande escala em dados de demonstração de robôs e humanos, o modelo adquire capacidades robustas de generalização.

Os autores enfatizam que sua abordagem permite que robôs lidem com objetos completamente novos e cenários fora da distribuição (OOD) de forma mais eficaz do que os métodos existentes. A integração da aprendizagem de representação de futuro contínuo permite que a política antecipe melhor as dinâmicas físicas, enquanto o alinhamento visão-linguagem preservado garante a interpretação precisa de instruções complexas. Os resultados sugerem que uma abordagem unificada combinando compreensão, planejamento e aprendizagem de representação contínua é um caminho viável para políticas robóticas generalistas.