💻 computer science

Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data

Este artigo apresenta um modelo de mundo JEPA regularizado por profundidade que aproveita priors geométricos e regularização latente para aprender representações mais transferíveis e robustas a partir de dados robóticos outdoor do mundo real, superando significativamente os baselines em odometria visual, detecção de surpresa e predição de múltiplos passos sem aumentar o overhead de inferência.

Autores originais: Usman M. Khan

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Usman M. Khan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a dirigir um trator por um campo. O robô tem uma câmera, mas o mundo que ele vê é bagunçado: o sol brilha intensamente, sombras se esticam e encolhem, folhas balançam ao vento e o chão parece diferente toda vez que ele vira uma esquina. Se você pedir ao robô para memorizar cada pixel de cada imagem, ele ficará sobrecarregado e confuso. Em vez disso, cientistas estão tentando ensinar aos robôs "Modelos de Mundo". Pense em um Modelo de Mundo como o devaneio interno do robô. Em vez de tentar redesenhar a imagem inteira, ele aprende a prever o que acontecerá a seguir de uma forma simplificada e abstrata. É como um jogador de xadrez que não memoriza a cor exata de cada quadrado no tabuleiro, mas entende as regras de como as peças se movem e como o jogo evolui.

O tipo específico de "devaneio" em que este artigo foca é chamado de JEPA (Arquitetura Preditiva de Incorporação Conjunta). Imagine um aluno fazendo uma prova onde ele tem que adivinhar a próxima frase de uma história com base nas anteriores, mas não pode escrever a frase inteira — ele apenas tem que adivinhar a vibe ou a essência da próxima parte. Isso é ótimo porque ignora os detalhes chatos (como a cor da fonte) e foca nas coisas importantes (o enredo). No entanto, quando esses robôs tentam aprender com vídeos reais ao ar livre, seus palpites de "vibe" interna costumam ficar bagunçados ou colapsar em algo sem sentido porque o mundo real é muito caótico. A grande questão é: Como ensinamos esses robôs a entender a física do mundo real — como as coisas estão organizadas no espaço 3D — sem precisar de um cérebro supercomplexo que os deixe lentos?

Este artigo introduz um truque inteligente para resolver esse problema. Os pesquisadores pegaram um cérebro de robô compacto (um modelo de 18 milhões de parâmetros chamado LeWorldModel) e deram a ele um "tutor" especial de "apenas para treinamento": informação de profundidade. Imagine que você está aprendendo a desenhar uma paisagem. Você tem uma foto normal (RGB), mas também tem um mapa 3D que mostra exatamente a que distância cada árvore e rocha está. Os pesquisadores deixaram o robô olhar tanto para a foto quanto para o mapa 3D enquanto ele estudava (treinamento). Eles disseram ao robô: "Seu palpite sobre a próxima cena deve corresponder à estrutura 3D que você vê no mapa". Mas aqui está a mágica: assim que o robô terminou o dever de casa, eles tiraram o mapa 3D. Quando o robô sai para trabalhar no mundo real, ele usa apenas a foto da câmera, como antes. No entanto, como ele aprendeu com o mapa 3D, sua compreensão interna do mundo é agora muito mais nítida e fundamentada na realidade.

Os resultados mostram que esse simples truque funciona maravilhas. Ao usar a profundidade apenas durante o treinamento, o "devaneio" interno do robô tornou-se muito melhor em entender como o mundo se move. Quando os pesquisadores o testaram, a capacidade do robô de prever seu próprio movimento (odometria visual) melhorou em 33%, tornando-o muito mais preciso. Ele também ficou muito melhor em detectar coisas "estranhas". Se você teletransportasse o robô repentinamente para um lugar diferente ou invertesse o vídeo para trás, o alarme interno do robô dispararia de forma muito mais alta e clara do que antes. Surpreendentemente, isso até ajudou o robô a entender coisas que não são estritamente 3D, como mudanças repentinas na iluminação ou sombras, sugerindo que entender a forma do mundo ajuda o robô a fazer sentido de todo o resto também.

O artigo também descobriu que este robô "treinado com profundidade" era muito mais flexível quando se movia para um ambiente completamente novo (um robô diferente em um campo diferente). Enquanto o robô padrão lutava para manter suas previsões precisas ao longo do tempo naquele novo lugar, o robô treinado com profundidade manteve a calma, e suas previsões permaneceram precisas por períodos mais longos. Os pesquisadores sugerem que, ao fundamentar o aprendizado do robô na geometria física do mundo, eles criaram um cérebro mais robusto e transferível. É um pouco como ensinar uma criança a andar de bicicleta em uma pista suave e marcada com uma barra de equilíbrio por perto; uma vez que ela aprende o equilíbrio, pode andar em qualquer caminho acidentado sem a barra, porque ela realmente entendeu como se manter em pé. Essa abordagem oferece uma maneira prática de tornar os cérebros pequenos e eficientes dos robôs mais inteligentes e adaptáveis sem a necessidade de sensores caros ou supercomputadores quando eles estão realmente trabalhando.

Resumo Técnico: Modelos de Mundo JEPA com Regularização de Profundidade para Dados Reais de Robótica em Ambientes Externos

Declaração do Problema

Embora as Arquiteturas de Predição de Embedding Conjunto (JEPA) tenham demonstrado sucesso no aprendizado de dinâmicas ambientais robustas, sua aplicação a dados de robótica externa, visualmente complexos e do mundo real, permanece desafiadora. As abordagens existentes frequentemente dependem da reconstrução ao nível de pixels, o que é vulnerável a variações de incômodo (ex: mudanças de iluminação, desordem de folhagem) em ambientes não estruturados. Por outro lado, modelos JEPA de espaço latente, como o LeWorldModel (LeWM), oferecem uma abstração mais estável ao prever representações latentes futuras em vez de pixels. No entanto, o LeWM e modelos compactos similares foram validados primariamente em configurações controladas ou simuladas em ambientes internos. Quando aplicados a dados externos reais, esses modelos correm o risco de colapso representacional ou falha em capturar dinâmicas fisicamente significativas sem adições de restrições estruturais. O desafio central é aumentar a robustez e a transferibilidade de modelos JEPA compactos treinados em dados do mundo real sem aumentar os custos computacionais de inferência ou exigir sensores auxiliares (como câmeras de profundidade) durante a implantação.

Metodologia

Os autores propõem uma intervenção durante o treinamento que aumenta a arquitetura padrão do LeWorldModel (LeWM) com um objetivo de regularização de profundidade e sobreparametrização do lado do preditor.

1. Arquitetura Base

O modelo é uma variante compacta e end-to-end de JEPA (18M de parâmetros) baseada no LeWM. Ele recebe um histórico de frames RGB e ações como entrada, codifica-os através de um codificador-projetor compartilhado e utiliza um preditor para prever o próximo embedding latente. O objetivo de treinamento consiste tipicamente em uma perda de predição ( $L_{pred}$ ) e um regularizador latente (SIGReg) que incentiva distribuições Gaussianas isotrópicas para prevenir o colapso de modo.

2. Regularização de Profundidade Apenas Durante o Treinamento

Para injetar estrutura geométrica no espaço latente sem exigir profundidade na inferência, os autores introduzem uma perda de alinhamento de profundidade ( $L_{depth}$ ):

Treinamento de Modalidade Dupla: Durante o treinamento, o modelo processa observações pareadas de RGB e profundidade estéreo através da mesma pilha de codificador-projetor.
Objetivo de Alinhamento: O embedding RGB é otimizado para alinhar-se com o correspondente embedding de profundidade (computado com um stop-gradient) usando uma perda de similaridade de cosseno.
Papéis Complementares: O termo SIGReg maximiza a entropia (promovendo diversidade agnóstica à tarefa), enquanto o termo de profundidade atua como uma restrição geométrica, organizando essa diversidade ao longo de direções fisicamente significativas. O objetivo combinado busca a representação de maior entropia consistente com a geometria da cena.
Inferência: No momento do teste, o ramo de profundidade é descartado; o modelo opera exclusivamente em entradas RGB.

3. Sobreparametrização do Preditor

Para acomodar o aumento da complexidade de satisfazer tanto as restrições isotrópicas quanto as geométricas dentro de uma capacidade fixa, os autores introduzem a sobreparametrização apenas durante o treinamento.

Mecanismo: Durante o treinamento, ramos RepLinear de baixo posto (rank-16) são adicionados às camadas de up-projection e down-projection MLP do preditor.
Fusão: Após o treinamento, esses ramos são algebricamente fundidos aos pesos base do preditor. Isso garante que o modelo implantado permaneça arquiteturalmente idêntico ao modelo de referência, sem sobrecarga de inferência.

4. Dados e Avaliação

O modelo foi treinado em aproximadamente 31.000 frames de um único robô agrícola real (Aigen Element) e avaliado em:

In-domain: Conjunto de validação Aigen.
Out-of-Domain (OOD): Benchmark TartanGround (diferente robô, ambiente e lacuna sim-to-real).
Métricas: Sondas de Odometria Visual (VO) de embedding congelado, detecção de surpresa baseada no preditor (sob perturbações sintéticas) e fidelidade de rolagem latente de múltiplos passos.

Principais Contribuições

Treinamento no Mundo Real: Demonstrou que um modelo de mundo JEPA compacto e end-to-end pode ser treinado com sucesso diretamente em dados de robótica agrícola externa real, um cenário anteriormente não relatado para esta família de arquiteturas.
Prior Geométrico Apenas no Treinamento: Introduziu um objetivo de alinhamento de profundidade que injeta estrutura geométrica nas representações JEPA. Isso melhora a compreensão física e a robustez sem exigir sensores de profundidade, rótulos de tarefas ou encoders pré-treinados na inferência.
Avaliação Abrangente: Forneceu um protocolo de avaliação consistente mostrando que a regularização de profundidade melhora a qualidade da representação, a nitidez do preditor e a robustez OOD através de odometria visual, detecção de surpresa e rollouts de múltiplos passos.

Resultados

O modelo regularizado por profundidade superou consistentemente o baseline vanilla LeWM, particularmente em cenários de transferência:

Qualidade da Representação: O modelo regularizado por profundidade reduziu o erro de Odometria Visual (VO) em 33% (o MSE caiu de 0.0022 para 0.0015) em comparação com o baseline, superando uma referência DINOv2 congelada.
Detecção de Surpresa: O modelo mostrou uma separação significativamente melhorada entre transições plausíveis e implausíveis.
- In-domain: A separação de surpresa aumentou de 0.067 para 0.120.
- Out-of-domain (TartanGround): A separação aumentou quase 3 vezes, de 0.035 para 0.099.
- Ganhos Não-Geométricos: Notavelmente, o modelo também melhorou em perturbações não geométricas (saltos de brilho, trocas de cores), sugerindo que o prior geométrico induz um arcabouço para consistência física geral.
Generalização Out-of-Domain: Embora o baseline tenha superado ligeiramente o modelo de profundidade em domínio interno, o modelo regularizado por profundidade demonstrou robustez superior sob mudança de domínio. No TartanGround, alcançou maior similaridade de objetivo (0.745 vs 0.716 no horizonte $h=10$ ) e similaridade de trajetória, com a diferença de desempenho aumentando em horizontes mais longos ( $h=20$ ).
Geometria Latente: A análise de subespaços principais revelou que o modelo regularizado por profundidade produziu espaços latentes com maior sobreposição entre domínios no regime de rank médio ( $k \approx 5-50$ ), indicando uma geometria mais transferível para estrutura relevante à tarefa.

Significância e Alegações

O artigo argumenta que um prior geométrico leve, aplicado durante o treinamento, pode aumentar significativamente a utilidade e a transferibilidade de modelos de mundo JEPA compactos para implantação no mundo real.

Praticidade: A abordagem é "barata no tempo de treinamento e gratuita no tempo de teste", pois o sinal de profundidade e a sobreparametrização são removidos ou fundidos antes da implantação.
Generalização: Os resultados sugerem que mover o objetivo de treinamento de pura isotropia para uma anisotropia informada pela geometria cria um espaço latente mais robusto. Isso ocorre mesmo para tarefas não diretamente ligadas à geometria 3D (ex: consistência de iluminação), implicando que fundamentar representações em estrutura física melhora as expectativas preditivas gerais.
Limitações: Os autores reconhecem que o estudo é uma prova de conceito usando métricas offline em uma única plataforma robótica e um conjunto de dados relativamente pequeno. Eles observam que o desempenho de planejamento em malha fechada (closed-loop) e a escalabilidade para modelos e dados maiores permanecem não testados.

Em conclusão, o trabalho demonstra que incorporar priors fundamentados fisicamente, como a profundidade, durante o treinamento pode diminuir a lacuna entre benchmarks de simulação controlada e a realidade complexa da robótica externa, permitindo que modelos compactos aprendam dinâmicas mais transferíveis e fisicamente conscientes.