Resumo Técnico: Demo-JEPA

Declaração do Problema

A aprendizagem por imitação robótica enfrenta um gargalo fundamental conhecido como lacuna de corporificação (embodiment gap): a incompatibilidade física e cinemática entre um demonstrador (por exemplo, um humano ou um robô diferente) e o aprendiz. Abordagens tradicionais tentam superar essa lacuna por meio do alinhamento ao nível da ação, dependendo de espaços de ação compartilhados, correspondências explícitas de ação, remapeamento heurístico ou co-treinamento em larga escala com múltiplas corporificações. No entanto, esses métodos são fundamentalmente limitados para agentes heterogêneos, porque intenções semânticas idênticas (por exemplo, "agarrar um objeto") frequentemente exigem comandos motores radicalmente diferentes, perfis de torque e configurações de juntas, dependendo da morfologia específica. Consequentemente, aprender habilidades entre corporificações distintas via alinhamento de ações de baixo nível luta para generalizar entre morfologias incompatíveis sem quantidades massivas de dados alinhados.

Metodologia: Demo-JEPA

Os autores propõem o Demo-JEPA (Arquitetura Preditiva de Incorporação Conjunta), um quadro que reformula a imitação entre corporificações não como reprodução de ações, mas como planejamento condicional a objetivos latentes. A hipótese central é que as demonstrações devem ser vistas como especificações implícitas de objetivos futuros (qual estado o demonstrador está tentando realizar) e não como sequências de primitivas motoras (como eles executam isso).

O quadro opera em três etapas principais dentro de um espaço de representação preditiva compartilhado:

1. Modelo de Mundo Condicional à Ação

O agente alvo utiliza um modelo de mundo baseado em JEPA (especificamente V-JEPA 2.1) para aprender a dinâmica de sua própria corporificação.

• Codificador ($E$): Mapeia observações visuais ($o_t$) para estados latentes ($z_t$).
• Preditor de Dinâmica ($F_{wm}$): Modela transições condicionadas ao estado latente atual, estado do robô ($s_t$) e ação ($a_t$): $\hat{z}_{t+1} = F_{wm}(z_t, s_t, a_t)$.
• Planejamento: Dado um objetivo latente alvo, o agente usa o Método de Entropia Cruzada (CEM) para otimizar uma sequência de ações que minimize a distância entre o estado latente futuro previsto e o objetivo.

2. Preditor Sonhador (Inferência de Objetivo Consciente da Corporificação)

Este é o componente novel responsável por traduzir demonstrações de origem em objetivos compatíveis com o alvo.

• Entrada: A observação alvo atual ($o^t_k$) e um par de quadros de origem ($o^s_k, o^s_{k+n}$) representando um deslocamento temporal na demonstração.
• Mecanismo:
  • Um codificador JEPA compartilhado mapeia observações para representações latentes ($z^t_k, z^s_k, z^s_{k+n}$).
  • Módulos de Atenção Cruzada: Dois módulos capturam (1) correspondência entre corporificações ($f_{emb}$) e (2) evolução temporal do comportamento ($f_{mot}$).
  • Fusão Convolucional 3D: As características são agregadas via uma convolução 3D ($\phi$) para preservar a estrutura espaço-temporal, seguida por um preditor Transformer ($T$) para decodificar as características fundidas em um objetivo latente compatível com o alvo ($\hat{z}^t_{goal}$).
• Treinamento: O preditor é treinado na Etapa 1 usando demonstrações entre corporificações livres de ação para minimizar a perda de reconstrução latente ($L_{pred} = \|\hat{z}^t_{goal} - z^t_{k+n}\|^2_2$). Perturbação temporal é aplicada aos quadros de origem para aumentar a robustez.

3. Co-treinamento de Ações (Etapa 2)

Uma vez que o Preditor Sonhador é congelado, o preditor de dinâmica do modelo de mundo ($F_{wm}$) é ajustado finamente. O objetivo é alinhar os rolagens latentes do modelo de mundo com a distribuição de objetivos fornecida pelo Preditor Sonhador, otimizando uma perda de planejamento ($L_{plan}$).

Inferência com Atualização Adaptativa de Objetivo

Durante a execução, o sistema não avança o quadro de referência de origem em uma frequência fixa. Em vez disso, calcula a discrepância latente ($D_k$) entre o estado alvo recém-observado e o objetivo atual. O sistema avança apenas para o próximo par de referência de origem se $D_k < \epsilon$ (o objetivo foi alcançado). Este mecanismo adaptativo previne erros cumulativos causados por incompatibilidades cinemáticas.

Contribuições Principais

1. Formulação Novel: O artigo propõe reformular a imitação entre corporificações como planejamento condicional a objetivos latentes, contornando efetivamente o gargalo do alinhamento explícito de ações.
2. Quadro Demo-JEPA: Introdução de um quadro puramente orientado por visão, apresentando um Preditor Sonhador consciente da corporificação. Este componente supera a lacuna morfológica inferindo estados latentes futuros compatíveis com o alvo a partir de demonstrações de origem, sem exigir correspondências ao nível da ação ou espaços de ação compartilhados.
3. Validação Empírica: Avaliação extensa tanto em tarefas de manipulação robótica simuladas (RLBench) quanto no mundo real demonstra que o Demo-JEPA alcança generalização superior para tarefas não vistas e configurações de corporificação radicalmente diferentes em comparação com linhas de base anteriores.

Resultados Experimentais

O quadro foi avaliado em três conjuntos com deslocamentos de distribuição crescentes: Fundamentação de Comportamento (tarefas vistas), Ponte entre Corporificações (ações não vistas) e Generalização Zero-Shot (configurações não vistas).

• Simulação (RLBench): O Demo-JEPA igualou planejadores especializados em domínio na fundamentação de comportamento, mas superou significativamente as linhas de base (VPP, XSkill) à medida que o deslocamento de distribuição aumentou. Na Generalização Zero-Shot, o Demo-JEPA alcançou uma taxa de sucesso média de 0,36, enquanto VPP e XSkill alcançaram apenas 0,04 e 0,03, respectivamente.
• Mundo Real: Em experimentos físicos (origem UR5e $\to$ alvo Franka), o Demo-JEPA alcançou uma taxa de sucesso média de 0,55 na Ponte entre Corporificações e 0,25 na Generalização Zero-Shot, superando VPP e XSkill, que falharam significativamente em cenários zero-shot.
• Estudos de Ablação:
  • Remover o módulo de fusão convolucional 3D degradou o desempenho em tarefas complexas e articuladas (por exemplo, "Mudar Canal"), destacando a importância da modelagem espaço-temporal explícita.
  • Comparações com linhas de base "Ingênua" (transferência latente direta) e "Oráculo" (futuro alvo de verdade) confirmaram que o Preditor Sonhador converte com sucesso demonstrações heterogêneas em objetivos compatíveis com o alvo, aproximando-se do desempenho do oráculo sem informações privilegiadas.
• Escala: O estudo descobriu que a diversidade de tarefas (exposição a semânticas de tarefas diversas) é um motor mais crítico para mapeamentos latentes transferíveis do que o volume de trajetórias por tarefa.

Significado e Alegações

O artigo alega que o Demo-JEPA traduz com sucesso a progressão abstrata da tarefa em um espaço de objetivos compatível com a corporificação, capturando a dinâmica preditiva subjacente de uma demonstração em vez de memorizar estatísticas de superfície.

• Robustez: O método demonstra que inferir objetivos latentes é mais eficaz do que usar demonstrações como sequências de ações fixas ou protótipos de habilidade, particularmente quando os deslocamentos de distribuição são severos.
• Flexibilidade: Ao evitar correspondência ao nível da ação, o quadro suporta imitação flexível entre corporificações heterogêneas usando apenas demonstrações visuais e a própria experiência de interação do agente alvo.
• Limitações: Os autores modestamente reconhecem que o desempenho está atualmente limitado pelos gargalos de modelagem dos modelos de mundo condicionados à ação existentes, o que limita a eficácia em tarefas altamente complexas e de alta precisão. Além disso, o pipeline atual ainda requer alinhamento temporal ou consciente do progresso durante o treinamento, e trabalhos futuros visam desenvolver estratégias de aprendizado totalmente desalinhadas.