EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

Resumo Técnico: EPM-JEPA – Modulação de Experiência do Lado do Operador em Modelos de Mundo da Família JEPA

Definição do Problema
Arquiteturas de Embedding Conjunto Preditivo (JEPA) predizem estados futuros no espaço latente para evitar a intratabilidade de modelar detalhes perceptuais irrelevantes. No entanto, os preditores JEPA padrão são estáticos; seus pesos não se adaptam quando as dinâmicas de teste divergem das distribuições de treinamento (ex: mudanças na gravidade ou fricção). Embora modelos existentes aumentados por memória (ex: Transformers com memória externa) abordem isso injetando experiência como um dado adicional (lado do operando), eles deixam os pesos do preditor inalterados. Este artigo investiga se a modulação do lado do operador — usando a experiência acumulada para modificar diretamente os pesos do preditor — oferece um mecanismo superior para a adaptação a mudanças de distribuição.

Metodologia
Os autores propõem o EPM-JEPA (JEPA com Modulação de Experiência) e o comparam contra dois basais na tarefa Moving MNIST com uma mudança de gravidade (0.0 a 0.5 px/frame²). Todos os modelos compartilham um codificador, um codificador alvo EMA e um preditor base, diferenciando-se apenas em como a experiência é utilizada:

1. Track A (Vanilla JEPA): Um baseline sem mecanismo de memória.
2. Track B (EI-JEPA): Uma abordagem de lado do operando onde uma representação de experiência comprimida é adicionada como um resíduo ao estado oculto do preditor.
3. Track C (EPM-JEPA): Uma abordagem de lado do operador onde a representação de experiência gera deltas de peso de baixo posto ($\Delta W$) via LoRA (Adaptação de Baixo Posto). Esses deltas são aplicados às camadas lineares do preditor, alterando efetivamente a computação em si com base no histórico recente.

Subsistema de Memória
As Tracks B e C utilizam um pipeline de memória compartilhado:

• Detecção de Fronteira: Monitora a surpresa da média do lote para identificar "eventos de fronteira" (erros de predição significativos).
• Buffer de Experiência: Um buffer FIFO (capacidade 256) armazena transições latentes em eventos de fronteira.
• Codificação & Agregação: Um codificador transformer processa pares armazenados, e um mecanismo de atenção agrega-os em um único vetor ($e_{agg}$) condicionado ao estado latente atual.
• Modulação: No EPM-JEPA, $e_{agg}$ impulsiona um módulo LoRA para produzir $\Delta W = U \cdot \text{diag}(\delta) \cdot V^\top$, que é adicionado aos pesos congelados do preditor.

Resultados Principais
Os experimentos foram conduzidos em um framework de comparação pré-registrado com três classes de resultados. A métrica primária é $D^{shift}_{n=50}$, o erro de predição normalizado médio na distribuição deslocada.

• Comparação Pré-Registrada (Track C vs. Track B): A diferença no desempenho foi $\delta = 4,74\%$. De acordo com os critérios do artigo ($\left| \delta \right| < 5\%$), isso constitui o Resultado C: um resultado nulo. O EPM-JEPA não superou estatisticamente a injeção de lado do operando (EI-JEPA) no teste de hipótese primário.
• Observação Secundária (Track C vs. Track A): O EPM-JEPA melhorou o erro de predição em 1,90% sobre o baseline sem memória (Track A) consistentemente através de três sementes (seeds). Por outro lado, o EI-JEPA (Track B) teve um desempenho inferior ao baseline, sugerindo que a injeção de entrada ingênua é ineficaz neste cenário, enquanto a modulação ao nível de peso oferece um benefício modesto, porém consistente.
• Análise de Mecanismo: A trajetória de desempenho do EPM-JEPA não é uma convergência para um equilíbrio estável, mas é governada por três processos dinâmicos independentes:
  1. Ciclo de Buffer: O buffer finito satura e cicla, influenciando a formação de picos.
  2. Deriva do Alvo EMA: O codificador alvo EMA, que se move lentamente, continua a deslocar o alvo da predição após os pesos LoRA terem se estabilizado, causando a divergência de desempenho pós-pico.
  3. Transiente de Assentamento LoRA: Um aumento intrínseco de +0,021 no erro ocorre conforme os pesos LoRA se assentam sob uma taxa de aprendizado decrescente, independentemente do tempo de congelamento.

Significância e Alegações
O artigo afirma explicitamente que sua principal contribuição científica não é a falsificação da hipótese do lado do operador (que resultou em um resultado nulo), mas sim a análise de mecanismo da dinâmica do sistema.

• Validade Científica de Resultados Nulos: Os autores enfatizam que o Resultado C é um resultado científico válido sob seus critérios pré-registrados, deslocando o foco de "vencer" uma comparação para entender por que os sistemas se comportam como se comportam.
• Limitações Dinâmicas: O estudo revela que o pico de desempenho é uma configuração transiente causada pela interação entre o ciclo do buffer, a deriva do EMA e o assentamento do LoRA, em vez de um estado ótimo estável.
• Tensão Estrutural: Existe um compromisso (trade-off) entre a otimalidade da predição e a diversidade da representação. As melhores configurações de LoRA contraem o manifold de saída (reduzindo $\sigma_{embed}$ abaixo do limite de segurança de 0,5), enquanto o aumento da regularização para restaurar a diversidade degrada o desempenho da predição.
• Direção Futura: Essas descobertas motivam o PEM-JEPA, um sucessor proposto que introduz estruturas latentes fundamentadas na física (estados cinemáticos explícitos) para restringir a distribuição alvo e mitigar as limitações de pico dinâmico identificadas.

Os autores concluem que, embora a modulação do lado do operador via LoRA ofereça um caminho específico para a adaptação distinto da injeção de entrada, a arquitetura atual é limitada por transientes dinâmicos intrínsecos que exigem mudanças estruturais (em vez de apenas ajustes no cronograma de treinamento) para serem resolvidos.