⚡ electrical engineering

Ground-JEPA: Learning Physically Grounded Latent World Models for Zero-Shot Dynamics Generalization of Legged Robots

O Ground-JEPA introduz um modelo de mundo latente mínimo e fundamentado na física que alcança generalização de dinâmica zero-shot e desempenho de controle superior para robôs pernas em ambientes de altos graus de liberdade sem depender de recompensas específicas de tarefas, desafiando, assim, a suposição de que o aprendizado livre de recompensas é inerentemente inferior para sistemas robóticos complexos.

Autores originais: Yu-Xiang Wu, Yuyan Wu

Publicado 2026-07-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yu-Xiang Wu, Yuyan Wu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Bússola Interna do Robô

Imagine tentar ensinar um robô a caminhar através de um campo rochoso. Você poderia dar a ele um conjunto estrito de regras, como "levante o pé exatamente 10 centímetros", mas o mundo real é bagunçado; as pedras se movem, o chão é escorregadio e as pernas do robô podem ser ligeiramente mais pesadas do que o esperado. Este é o desafio do controle de robôs pernas: fazer com que as máquinas se movam de forma suave e segura em ambientes imprevisíveis. Por muito tempo, cientistas tentaram resolver isso construindo "modelos de dinâmica" — essencialmente, um mapa mental dentro do robô que prevê o que acontecerá a seguir se ele se mover de uma certa maneira.

Tradicionalmente, esses mapas mentais eram construídos recompensando o robô por fazer coisas boas (como manter-se em pé) e punindo-o por coisas ruins (como cair). Isso é chamado de aprendizado baseado em recompensa. No entanto, há um problema: se o robô cometer um erro minúsculo em sua previsão, esse erro pode se acumular ao longo do tempo, como uma bola de neve rolando ladeira abaixo, até que o mapa mental do robô esteja completamente errado e ele colida. Outra abordagem, chamada Arquiteturas de Previsão de Incorporação Conjunta (JEPAs), tenta pular os detalhes confusos do mundo real. Em vez de prever exatamente onde cada pixel da câmera do robô estará, ela prevê uma versão "resumida" ou "latente" do futuro. Pense nisso como um músico prevendo a próxima nota de uma música ao sentir o ritmo, em vez de calcular a vibração exata do ar. A grande questão que os cientistas têm feito é: Pode um robô aprender a caminhar perfeitamente apenas entendendo este ritmo interno, sem precisar de um professor dizendo constantemente "bom trabalho" ou "tente novamente"?

Ground-JEPA: O Robô que Aprendeu a Caminhar Sentindo a Batida

Uma equipe de pesquisadores introduziu um novo sistema chamado Ground-JEPA, que sugere que os robôs podem não precisar de elogios ou punições constantes para aprender movimentos complexos. Em vez disso, eles podem aprender simplesmente tentando manter seu "sentimento" interno do futuro consistente com a realidade.

Imagine um robô aprendendo a caminhar não sendo instruído sobre "não cair", mas tentando garantir que seu senso interno de "para onde estou indo" corresponda ao seu movimento real. Neste novo sistema, o robô não tenta reconstruir um vídeo perfeito do futuro. Em vez disso, ele comprime sua experiência em um "espaço latente" pequeno e eficiente — uma espécie de abreviação mental abstrata. O truque central aqui é uma sonda inspirada na física. Embora o mapa interno do robô seja abstrato, esta sonda atua como um tradutor, convertendo esses pensamentos abstratos de volta para a física do mundo real, como posição, velocidade e orientação. É como ter um robão que pensa em conceitos puros, mas possui um tradutor integrado que garante que esses conceitos ainda obedeçam às leis da gravidade e do momento.

Os pesquisadores descobriram que o segredo para fazer isso funcionar não era apenas a tradução, mas o horizonte de planejamento. Tentativas anteriores falharam porque o robô estava olhando apenas alguns passos à frente — como tentar caminhar olhando apenas para os próprios dedos dos pés. O sistema Ground-JEPA força o robô a olhar muito mais longe, especificamente 12 passos no futuro. Isso é crucial porque um ciclo completo de caminhada (uma passada) leva cerca de esse tempo. Ao olhar para o ciclo completo, o robô pode ver o "quadro geral" de seu movimento, em vez de apenas otimizar o próximo passo minúsculo. Isso permite que o sistema aprenda padrões de caminhada estáveis puramente através da autossupervisão, o que significa que ele aprende verificando se suas previsões internas são consistentes, sem a necessidade de recompensas externas.

Os resultados de suas simulações são bastante surpreendentes. Em um robô quadrupedal simulado, este sistema livre de recompensas alcançou uma pontuação de desempenho de 510 ± 68, que foi, na verdade, melhor do que o sistema tradicional baseado em recompensa, que pontuou 450 ± 234. Ainda mais impressionante, eles aplicaram isso com sucesso a um robô humanoide (um robô com corpo semelhante ao humano) pela primeira vez, alcançando uma pontuação de 350 ± 50 sem quaisquer sinais de recompensa. O método tradicional falhou completamente no humanoide nesta configuração.

Uma das descobertas mais empolgantes é o quão bem este sistema lida com mudanças "extremas". Os pesquisadores testaram o robô em cenários onde a física foi drasticamente alterada: a massa do robô foi alterada em ±30%, o atrito do solo foi multiplicado por 2,5 ou reduzido para 0,4, e houve um atraso de 50 ms nos motores. Em um cenário composto onde todas essas mudanças aconteceram ao mesmo tempo, o modelo Ground-JEPA manteve 78% de seu desempenho original. Em contraste, um modelo tradicional baseado em recompensa, mesmo quando treinado com variações aleatórias, manteve apenas 21% de seu desempenho. Isso sugere que, ao aprender a "variedade" ou a forma fundamental do movimento, o robô torna-se muito mais robusto a mudanças no mundo.

A equipe também descobriu que o tamanho do modelo não precisava ser massivo. Todo este sistema roda em uma GPU de notebook e usa apenas cerca de 1,3 milhão de parâmetros, o que é minúsculo comparado a outros modelos de IA massivos que exigem bilhões de parâmetros. Eles mostraram que o "colapso" (onde o robô para de aprender) visto em estudos anteriores não ocorreu porque o método era falho, mas porque o robô estava usando o tipo errado de mapa interno (especificamente, um mapa normalizado chamado SimNorm) e olhando muito longe à frente sem a estrutura correta. Ao usar representações latentes brutas e o horizonte de planejamento correto, o sistema funciona maravilhosamente.

No entanto, os autores fazem questão de notar que estes resultados baseiam-se atualmente em simulações. Embora o robô tenha aprendido a caminhar em um mundo virtual com mudanças extremas, o sistema ainda não foi testado em um robô físico no mundo real. Além disso, embora tenham resolvido o problema de um humanoide parado, fazer um humanoide caminhar dinamicamente sobre duas pernas continua sendo um desafio devido à complexa física de equilibrar-se em um pé.

Em última análise, o Ground-JEPA sugere um novo caminho para a robótica: em vez de passar meses projetando funções de recompensa perfeitas para ensinar um robô a caminhar, podemos apenas precisar ensiná-lo a manter seu ritmo interno consistente com as leis da física. Isso pode democratizar o controle robótico avançado, permitindo que laboratórios menores com notebooks padrão construam robôs que possam se adaptar ao mundo real sem a necessidade de supercomputadores massivos ou um ciclo infinito de tentativa e erro de recompensas.

Resumo Técnico: Ground-JEPA

Definição do Problema

Modelos de dinâmica precisos são essenciais para o controle baseado em modelo de robôs de pernas, particularmente para tarefas que exigem planejamento de longo horizonte para garantir estabilidade e evitar quedas. No entanto, as abordagens existentes de redes neurais frequentemente dependem de predição autorregressiva no espaço de estados, o que leva a uma acumulação significativa de erro ao longo do tempo. Além disso, tentativas anteriores de aplicar Arquiteturas Preditivas de Embedding Conjunto (JEPAs) à robótica enfrentaram dois grandes obstáculos:

Escalabilidade: Implementações bem-sucedidas de JEPA (ex: V-JEPA) exigiram pré-treinamento massivo em escalas de modelos de fundação (bilhões de parâmetros), tornando-as inacessíveis para laboratórios com recursos limitados.
Limitações de Ausência de Recompensa (Reward-Free): Pesquisas anteriores sugeriram que o aprendizado sem recompensa via consistência latente degrada severamente em ambientes de altos graus de liberdade (DoF) (ex: quadrúpedes e humanoides), levando à hipótese de que a consistência latente é fundamentalmente subdeterminada para dinâmicas complexas.

Metodologia

Os autores introduzem o Ground-JEPA, um modelo de mundo latente minimalista (~1,3 milhão de parâmetros) projetado para controlar robôs de pernas inteiramente através de consistência latente, sem depender de funções de recompensa específicas para tarefas. O sistema compreende três componentes principais:

Encoder ( $E_\phi$ ): Um MLP de 3 camadas que mapeia observações proprioceptivas ( $o_t$ ) para uma representação latente ( $z_t$ ).
Predictor ( $P_\psi$ ): Um preditor condicionado à ação que prevê estados latentes futuros ( $\hat{z}_{t+1}$ $\overset{z}{^}_{t + 1}$ ).
- Para tarefas de alto DoF (quadrúpedes, humanoides), os autores empregam um Transformer Decoder leve com atenção cruzada entre embeddings latentes e de ação para capturar dependências temporais de longo alcance, essenciais para a coordenação da marcha.
- Para tarefas de baixo DoF (cheetah), um GRU de 2 camadas é utilizado.
Prober Inspirado na Física: Um componente inovador que mapeia representações latentes congeladas para estados físicos interpretáveis (posição, velocidade, orientação, velocidade angular). Diferente de um decoder padrão, este prober incorpora vieses indutivos cinemáticos (ex: $p_{t+1} = p_t + v_t \Delta t + \frac{1}{2}a_{comp}\Delta t^2$ ) para unir a dinâmica latente abstrata com restrições físicas.
Planner: Um planejador de Integral de Caminho de Trajetória de Modelo Preditivo (MPPI) otimiza sequências de ações no espaço latente. Crucialmente, o horizonte de planejamento ( $H$ ) é estendido para 12 passos para capturar ciclos completos de marcha, abordando as limitações de horizontes mais curtos encontradas em trabalhos anteriores.

Objetivo de Treinamento:
O modelo é treinado usando um objetivo JEPA que minimiza o erro quadrático entre o estado latente previsto e o estado latente alvo (derivado de um codificador de alvo EMA), sem uma cabeça de valor ou sinal de recompensa:
$L = \mathbb{E}[\| \text{sg}(E_\phi(o_{t+1})) - P_\psi(E_\phi(o_t), a_t) \|^2]$

Principais Contribuições

Controle JEPA em Escala de Laptop: Demonstra que o controle baseado em JEPA para robôs de pernas pode igualar ou exceder baselines fundamentados em recompensa usando um modelo de apenas ~1,3M de parâmetros, treinado em menos de 20 minutos em uma GPU de laptop, eliminando a necessidade de modelos de fundação de bilhões de parâmetros.
Probing Inspirado na Física: Introduz um mecanismo de sondagem que impõe interpretabilidade física e estrutura às representações latentes, reduzindo significativamente os erros de predição de posição e orientação em comparação com probes lineares ou de MLP padrão.
Reavaliação do Aprendizado Sem Recompensa: Desafia a hipótesa predominante de que o aprendizado sem recompensa falha em sistemas de alto DoF. Os autores identificam que as falhas anteriores foram artefatos de horizontes de planejamento insuficientes (ex: $H=3$ ) e parametrização latente inapropriada (ex: SimNorm), em vez de uma falha fundamental na consistência latente.
Generalização Zero-Shot: Estabelece que o aprendizado autossupervisionado por consistência latente fornece um sinal robusto para transferência sim-to-real, alcançando alta retenção de desempenho sob mudanças extremas de dinâmica composta sem ajuste fino.

Resultados

Desempenho em Tarefas de Controle

O Ground-JEPA foi avaliado na suíte dm_control. O modelo sem recompensa (treinado sem recompensas de tarefa) superou ou igualou os baselines fundamentados em recompensa:

Cheetah-Run (6-DoF): 530 ± 45 (Sem Recompensa) vs. 522 ± 139 (Com Recompensa).
Quadruped-Walk (12-DoF): 510 ± 68 (Sem Recompensa) vs. 450 ± 234 (Com Recompensa). O modelo sem recompensa mostrou variância significativamente menor.
Humanoid-Stand (21-DoF): 350 ± 50 (Sem Recompensa). Este marca a primeira demonstração bem-sucedida de controle JEPA sem recompensa em uma plataforma humanoide, onde os baselines com recompensa falharam.

Impacto do Horizonte de Planejamento

Estudos de ablação na tarefa Quadruped-Walk revelaram que o horizonte de planejamento é crítico:

H=3 (Trabalho Anterior): 184 ± 141 (Marcha caótica, sem coordenação de fase).
H=12 (O Nosso): 510 ± 68 (Marcha de trote estável, fase travada).
H=20: 420 ± 85 (Desempenho degradado devido ao acúmulo de ruído).
Os resultados indicam que um horizonte que cubra um ciclo completo de marcha é necessário para fornecer sinal estrutural suficiente para o objetivo de consistência.

Parametrização Latente

Os autores descobriram que o "colapso" no aprendizado sem recompensa é um artefato da parametrização latente, não da ausência de recompensas.

Latentes Brutos (Raw Latents): O treinamento sem recompensa alcançou 496 ± 31, igualando o desempenho com recompensa.
Latentes SimNorm: O treinamento sem recompensa colapsou completamente (retorno $\to$ 4), confirmando que espaços latentes brutos preservam uma estrutura representacional mais rica para aprendizado autossupervisionado.

Generalização Zero-Shot

Sob mudanças extremas de dinâmica composta (Massa ±30%, Fricção 2.5×, Latência de Atuador +50ms), o Ground-JEPA reteve 78% de seu desempenho nominal. Em contraste, um baseline com recompensa treinado com randomização de domínio reteve apenas 21%, pois sua função de recompensa tornou-se desalinhada com as dinâmicas alteradas.

Significância e Alegações

O artigo alega redefinir fundamentalmente o papel das recompensas no controle baseado em modelo para robôs de pernas. Os autores argumentam que, em sistemas dinâmicos estruturados, a física inerente (cinemática e contatos) serve como um viés indutivo mais forte do que recompensas de tarefas esparsas, desde que o horizonte de planejamento seja suficientemente longo.

As principais implicações destacadas pelos autores incluem:

Democratização: O controle baseado em modelo de estado da arte torna-se acessível a laboratórios com recursos limitados, sem exigir pré-treinamento massivo ou modelos de fundação.
Algoritmo vs. Escala: O sucesso é impulsionado por avanços algorítmicos (sondagem inspirada na física, consistência de longo horizonte) em vez da escala do modelo.
Robustez: O aprendizado autossupervisionado captura naturalmente o manifold fundamental do movimento de pernas, levando a uma generalização superior a dinâmicas não vistas em comparação com abordagens de engenharia de recompensa.

Limitações: Os autores observam que todos os experimentos foram conduzidos em simulação. A validação em robôs físicos é adiada para trabalhos futuros. Além disso, embora o "humanoid-stand" tenha sido alcançado, a caminhada bípede dinâmica permanece um desafio aberto devido ao mal-condicionamento de tornozelos subatuados, o que os autores sugerem que pode exigir extensões hierárquicas.