💬 NLP

Temporal-Distance JEPA: Plan-Aware Representation Learning for Latent World Model Predictive Control

Este artigo propõe o Temporal-Distance JEPA (TD-JEPA), uma abordagem de modelo de mundo que extrai custos temporais direcionados de trajetórias offline sem recompensa para preencher a lacuna entre o aprendizado de representação e o planejamento, superando assim os planejadores baseados em JEPA existentes em múltiplos ambientes ao permitir uma classificação de progresso de meta mais eficaz sem depender de reconstrução de pixels ou recompensas explícitas.

Autores originais: Jiaxin Bai, Jiaxuan Xiong

Publicado 2026-07-29

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiaxin Bai, Jiaxuan Xiong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar em um novo mundo, mas não pode dar a ele um mapa ou uma lista de regras. Tudo o que você tem é um vídeo de um humano realizando a tarefa perfeitamente. Este é o desafio do "aprendizado offline" na robótica: como ensinar uma IA a planejar seus movimentos futuros apenas assistindo a filmagens antigas. Cientistas usam algo chamado "modelo de mundo" para resolver isso. Pense em um modelo de mundo como uma máquina de sonhos dentro do cérebro do robô. Em vez de tentar redesenhar cada pixel do vídeo (o que é como tentar pintar uma obra-prima de memória), o robô aprende a prever a essência do que acontece a seguir. Ele comprime o mundo em um "espaço latente" simplificado e abstrato — um mapa mental onde situações semelhantes estão próximas umas das outras.

A grande questão é: uma vez que o robô possui esse mapa mental, como ele decide qual caminho tomar? Geralmente, o robô apenas mede a distância em linha reta entre onde ele está e onde deseja chegar em seu mapa mental. Mas aqui está o problema: no mundo real, a linha reta mais curta em um mapa nem sempre é o caminho mais rápido para chegar lá. Você pode até conseguir desenhar uma linha reta através de uma parede, mas o robô não pode atravessar paredes. Ele precisa entender o tempo e a sequência. Se o robô apenas olhar para a distância, ele pode se confundir sobre se está se aproximando do objetivo ou apenas girando em círculos. Este artigo aborda exatamente esse problema: como ensinar um robô a entender o "fluxo" do tempo em seus sonhos para que ele possa planejar melhor, sem precisar de recompensas extras ou professores humanos.

O Problema do Pensamento de "Linha Reta"

Os pesquisadores começaram com um sistema poderoso já existente chamado LeWM (Modelo de Mundo Latente). Este sistema é excelente em prever o que acontece a seguir em seu mapa mental abstrato. No entanto, quando tenta planejar um caminho para um objetivo, ele depende de uma regra simples: "Quanto mais próxima a imagem mental do futuro estiver da imagem do objetivo, melhor". Isso é como tentar navegar em uma cidade olhando apenas para a distância em linha reta entre dois pontos. Funciona razoavelmente bem em campos abertos, mas se você precisar contornar um prédio ou subir uma escada, essa distância em linha reta irá te enganar.

Os autores observaram que, embora o mapa mental do robô fosse bom em prever o próximo passo, não era muito bom em classificar as possibilidades futuras pelo quanto elas realmente progrediam. Em um vídeo de um humano empurrando um bloco, o robô poderia prever o próximo quadro, mas não sabia inerentemente que o quadro 10 está "mais próximo" do objetivo do que o quadro 5 apenas devido à ordem em que ocorreram. Faltava-lhe um senso de tempo direcionado.

A Solução: Minerando o Tempo do Passado

Para corrigir isso, a equipe criou um novo sistema chamado TD-JEPA (Arquitetura de Embedding Conjunto de Distância Temporal). Em vez de apenas deixar o robô adivinhar a distância, eles o ensinaram a "minerar" o conceito de tempo diretamente dos vídeos de demonstração.

Eles fizeram isso da seguinte forma, usando uma analogia simples: Imagine que você está assistindo a um programa de culinária. Você não precisa de um cronômetro para saber que quebrar um ovo acontece antes de batê-lo, e bater o ovo acontece antes de assá-lo. A ordem dos eventos é o progresso. O TD-JEPA observa os vídeos de treinamento do robô e diz: "Se o humano fez o passo A, depois o passo B, depois o passo C, então o passo C está definitivamente mais avançado no caminho para o objetivo do que o passo A".

O sistema aprende um "custo direcionado" especial. Diferente de uma distância normal que é a mesma indo para frente ou para trás (como a distância entre sua casa e o parque ser a mesma em ambos os sentidos), este novo custo entende a direção. Ele sabe que ir de "Início" para "Objetivo" exige esforço, mas ir de "Objetivo" de volta para o "Início" é um tipo de jornada diferente. Ao aprender esse fluxo direcionado dos vídeos, o robô constrói um mapa mental onde a "distância" até o objetivo realmente reflete o número de passos necessários para chegar lá, não apenas o quão semelhantes as imagens parecem ser.

Duas Maneiras Diferentes de Usar a Nova Habilidade

Uma das descobertas mais interessantes é que esta nova habilidade "consciente do tempo" funciona de forma diferente dependendo do que o robô está tentando fazer. Os autores descobriram que a melhor maneira de usar esse novo conhecimento depende da tarefa:

Para Navegação e Alcance (Tarefas Topológicas): Quando o robô precisa se mover pelo espaço, como navegar em um labirinto ou alcançar um objeto no ar, o novo "custo de tempo direcionado" é a ferramenta perfeita. Ele atua como uma bússola que aponta diretamente para o objetivo, ignorando becos sem saída. Em seus testes, o uso deste novo custo ajudou o robô a resolver uma tarefa de navegação de "Dois Cômodos" 100% das vezes, superando o sistema antigo que teve sucesso em 97,4% das vezes.
Para Manipulação Rica em Contato (Tarefas Geométricas): Quando o robô tem que empurrar, deslizar ou empilhar objetos (como na tarefa "Push-T", onde ele empurra um bloco em forma de T), as coisas ficam complicadas. Aqui, a forma exata e o ângulo do contato importam mais do que a direção geral. Nesses casos, o novo sistema consciente do tempo funciona melhor quando ele ajuda o método antigo de "distância em linha reta", em vez de substituí-lo. Ele refina o mapa mental do robô para que a distância em linha reta se torne mais precisa. Na tarefa "OGB-Cube", essa combinação melhorou as taxas de sucesso em 14,2 pontos em comparação com o sistema antigo.

O Que Eles Descobriram (e o Que Não Descobriram)

Os pesquisadores realizaram testes rigorosos onde mantiveram tudo igual, exceto o método de planejamento. Eles descobriram que o TD-JEPA consistentemente igualou ou superou os melhores métodos anteriores (LeWM e um método chamado RC-aux) em todos os ambientes.

No entanto, eles também encontraram um limite. Quando tentaram usar apenas o novo custo baseado no tempo para a complexa tarefa "Push-T", o robô teve um desempenho inferior (69% de sucesso) do que quando usou a antiga distância geométrica (86% de sucesso). Por quê? Porque empurrar um bloco requer controle refinado de ângulos e pontos de contato. O sinal de "tempo" dizia ao robô que ele estava se aproximando, mas não fornecia detalhes suficientes sobre como tocar o bloco corretamente. O robô precisava da informação de "forma" geométrica para ter sucesso. Isso prova que, embora entender o tempo seja crucial, ele não substitui a necessidade de entender a geometria física em todas as situações.

A Conclusão

O artigo mostra que você pode ensinar um robô a entender o "fluxo" do tempo apenas assistindo a vídeos, sem a necessidade de recompensas extras ou feedback humano. Ao minerar a ordem dos eventos nos registros de demonstração, eles criaram um sistema que sabe qual futuro está verdadeiramente "mais próximo" do objetivo. Este novo sistema, o TD-JEPA, reduz a lacuna entre o que o robô aprende e como ele planeja. Ele sugere que, para algumas tarefas, o robô deve seguir o fluxo do tempo como um rio, enquanto para outras, deve usar esse fluxo para aguçar seu senso de forma física. O resultado é um robô mais inteligente e adaptável, capaz de planejar melhor no mundo real, seja navegando por uma sala ou empurrando um bloco sobre uma mesa.

Resumo Técnico: Temporal-Distance JEPA (TD-JEPA)

Definição do Problema

Arquiteturas de Predição de Embedding Conjunto (JEPAs) emergiram como backbones eficazes para modelos de mundo latentes, aprendendo a prever representações futuras em vez de reconstruir pixels. No entanto, existe uma lacuna estrutural entre o objetivo de treinamento dos JEPAs e os requisitos do Controle Preditivo de Modelo (MPC).

A Lacuna Treino-Planejamento (Train-Plan Gap): O treinamento de JEPA tipicamente otimiza a predição latente de curto horizonte. Em contraste, o planejamento requer o ranqueamento de futuros imaginados de múltiplos passos com base no progresso em direção ao objetivo.
A Limitação Geométrica: Os planejadores de JEPA existentes (ex: LeWM) dependem da distância Euclidiana latente como um custo de planejamento de facto. Embora essa geometria possa correlacionar-se com o progresso em alguns contextos, ela é um subproduto do aprendizado de representação, não um sinal explicitamente minerado para "passos até o objetivo" ou alcançabilidade direcionada.
O Desafio: Como logs de demonstrações offline sem recompensa podem fornecer uma estrutura de progresso temporal que estreite essa lacuna? Além disso, quando essa estrutura minerada deve ser implantada diretamente como um custo de planejamento versus usada para moldar representações para planejamento geométrico?

Metodologia: TD-JEPA

Os autores propõem o Temporal-Distance JEPA (TD-JEPA), que mantém o backbone de encoder–preditor do LeWM, mas o aumenta com um mecanismo de mineração de custo temporal direcionado. O método consiste em três componentes principais:

1. Backbone e Predição

O TD-JEPA utiliza a arquitetura padrão do LeWM: um encoder condicionado à ação ( $Enc_\theta$ ) e um preditor ( $Pred_\phi$ ) que mapeiam observações para estados latentes e preveem futuros embeddings. Ele preserva a regularização SIGReg para evitar o colapso da representação e a perda de predição de passo único padrão ( $\mathcal{L}_{pred}$ ).

2. Mineração de Custo Temporal Direcionado

Em vez de depender apenas da distância Euclidiana, o TD-JEPA aprende uma função de energia não negativa e direcionada $d_\psi(z_s, z_g)$ , representando o custo de alcançar um objetivo latente $z_g$ a partir de um estado latente de origem $z_s$ .

Arquitetura (Cabeça MRN): A cabeça de custo utiliza uma parametrização de Rede de Resíduo Métrico (MRN). Ela decompõe o custo em um termo de configuração simétrico e um resíduo assimétrico:
$d_\psi(z_s, z_g) = \|\phi_{sym}(z_s) - \phi_{sym}(z_g)\|_2 + \max_k \text{ReLU}(\phi_{asym, k}(z_s) - \phi_{asym, k}(z_g))$
Este design garante que o custo seja não negativo e inerentemente assimétrico ( $d_\psi(z_s, z_g) \neq d_\psi(z_g, z_s)$ ), refletindo a natureza direcionada do alcance de objetivos.
Supervisão (Rótulos Temporais): O modelo é treinado em logs de demonstração offline sem recompensas densas.
- Positivos: Para índices $i < j$ na mesma trajetória, o intervalo temporal $\tau(i, j) = j - i$ serve como um proxy para passos até o subobjetivo. O modelo faz a regressão de $d_\psi(z_i, z_j)$ em direção a $\tau(i, j)$ .
- Negativos: Pares de trajetórias cruzadas atuam como negativos heurísticos, penalizando custos estranhamente baixos para pares de estados não relacionados via uma perda de dobradiça (hinge loss).
Consistência de Rollout: Uma perda de teacher-forcing de múltiplos passos ( $\mathcal{L}_{roll}$ ) é adicionada para alinhar o custo aprendido com o horizonte de malha aberta usado pelo planejador, reduzindo erros de composição durante o rollout de $H$ passos.

3. Planejamento e Implantação

No teste, o planejador (usando o Método de Cruzamento de Entropia ou iCEM) busca sequências de ações que minimizem a energia terminal após um rollout latente de $H$ passos.

Estratégia de Implantação Dual: O artigo identifica dois papéis distintos para o sinal minerado com base na estrutura da tarefa:
1. Tarefas Dominadas por Topologia (ex: Navegação): O custo direcionado minerado $d_\psi$ é implantado diretamente como o objetivo de planejamento.
2. Tarefas Ricas em Contato (ex: Manipulação): O mesmo checkpoint treinado temporalmente é utilizado, mas o planejador depende da distância Euclidiana latente ( $\ell_2$ ). Aqui, a supervisão temporal atua como um sinal de representação para moldar o espaço latente, melhorando a eficácia do planejamento geométrico.

Principais Contribuições

Diagnóstico da Lacuna Treino-Planejamento de JEPA: Os autores demonstram que JEPAs preditivos aprendem a dinâmica de logs, mas o planejamento frequentemente depende da geometria de embedding não treinada. Eles mostram que a mineração de um custo temporal direcionado de logs reduz significativamente esse descompasso de ranqueamento (o $\rho$ de Spearman aumenta de 0.65 para a distância Euclidiana para 0.95 para o custo minerado no Push-T).
Framework de Mineração de Distância Temporal: O TD-JEPA introduz um método para extrair a estrutura de progresso de objetivos de logs sem recompensa usando supervisão temporal direcionada, negativos de trajetórias cruzadas e consistência de rollout compatível com o horizonte.
Co-Design de Custo e Implantação: O artigo fornece evidências de que a escolha do custo de planejamento (temporal minerado vs. geométrico) deve ser co-projetada com a estrutura da tarefa. Custos temporais são excelentes para navegação topológica, enquanto custos geométricos permanecem superiores para manipulação rica em contato, mesmo quando a representação subjacente é treinada com sinais temporais.

Resultados Experimentais

O método foi avaliado em quatro ambientes: Two-Room (navegação), Reacher (alcance), Push-T (manipulação) e OGB-Cube (manipulação rica em contato). As avaliações foram conduzidas sob um protocolo "travado" (sementes, checkpoints e manifestos de episódios fixos) para garantir uma comparação justa contra LeWM e a linha de base concorrente RC-aux.

Navegação e Alcance: A implantação do custo minerado $d_\psi$ $d_{ψ}$ melhorou significativamente as taxas de sucesso.
- Two-Room: Alcançou 100.0% de sucesso (vs. 97.4% do LeWM).
- Reacher: Alcançou 97.0% de sucesso (vs. 96.0% do LeWM).
Manipulação: Em tarefas ricas em contato, o treinamento temporal melhorou a representação latente, beneficiando o planejamento geométrico.
- OGB-Cube: O uso do checkpoint treinado temporalmente com planejamento $\ell_2$ elevou o sucesso em 14.2 pontos percentuais sobre o LeWM (82.2% vs. 68.0%).
- Push-T: Melhorou de 83.6% (LeWM) para 86.0%.
Estudos de Ablação: Remover o resíduo direcionado (cabeça simétrica), os negativos de trajetórias cruzadas ou a consistência de rollout resultou em degradação de desempenho, confirmando a necessidade de cada componente.
Análise de Falhas: No Push-T, o custo temporal puro ( $d_\psi$ ) teve desempenho inferior ao custo geométrico ( $\ell_2$ ), pois as falhas ocorreram principalmente durante o alinhamento pós-contato, onde a geometria local é mais crítica do que o ranqueamento de progresso temporal.

Significância e Alegações

O artigo afirma que o TD-JEPA estreita a lacuna treino-planejamento para planejadores de modelo de mundo JEPA ao descobrir a estrutura de progresso temporal em logs offline e co-projetar a forma do custo com a implantação em tempo de plano.

Alegações Modestas: Os autores não alegam que custos temporais substituem universalmente os custos geométricos. Em vez disso, defendem uma estratégia de implantação condicional: use o custo direcionado minerado quando o progresso é topológico, e use-o como um sinal de representação para planejamento geométrico quando a geometria de contato domina.
Validação Empírica: Sob avaliação travada, o TD-JEPA iguala ou supera tanto o LeWM quanto o RC-aux em todos os ambientes, demonstrando que a mineração temporal sem recompensa é um caminho viável para melhorar o MPC latente sem exigir modelos de recompensa ou interação online.

O código está disponível no repositório GitHub fornecido.