Resumo Técnico: "Seu JEPA Probabilístico é Secretamente um Modelo de Markov Oculto"

Problema

As Arquiteturas de Embedding Conjunto Preditivo (JEPAs) aprendem prevendo representações de alvos a partir de contextos observados, em vez de reconstruir observações brutas. O VJEPA (Variational JEPA) estende isso ao prever uma distribuição condicional sobre estados latentes futuros, e a extensão do Gargalo de Informação Preditiva (PIB) torna a representação atual estocástica para controlar a retenção de informação.

Apesar de suas semelhanças estruturais com modelos de espaço de estados, um mapeamento probabilístico preciso entre JEPAs temporais totalmente estocásticos e Modelos de Markov Ocultos (HMMs) clássicos permanecia incerto. Especificamente, era ambíguo se o codificador de contexto estocástico em um JEPA atua como um modelo de emissão ou uma distribuição de filtragem, e sob quais condições a dinâmica latente aprendida satisfaz os requisitos rigorosos de consistência de um HMM (ex: consistência de Chapman–Kolmogorov, equivalência de filtragem).

Metodologia

O artigo propõe uma interpretação de espaço de estados para o PIB-VJEPA completo e indexado no tempo, decompondo sua arquitetura em três papéis análogos a um HMM:

1. Inferência de Estado (Filtragem): O codificador de contexto estocástico $q_\theta(Z_t | X_{\le t})$ infere uma crença sobre o estado latente atual a partir do histórico de observações.
2. Transição de Estado: Um preditor probabilístico $p_\phi(Z_{t+1} | Z_t, \xi_t)$ propaga o estado latente para frente.
3. Emissão: Um decodificador $p_\psi(X_{t+1} | Z_{t+1})$, um codificador inverso, ou um mapeamento condicional implícito induzido, fornece o mapeamento estado-observação.

Para tornar essa correspondência concreta e analiticamente tratável, o autor introduz o Markov-Chain JEPA (MCJEPA). Nesta formulação:

• O estado latente $Z_t$ é categórico (discreto).
• O preditor é substituído por uma matriz de transição aprendida e estocástica por linha $A$.
• Previsões de múltiplos passos são computadas via potências de matriz ($\hat{q}_{t+h} = q_t A^h$), garantindo exata consistência de Chapman–Kolmogorov (ou seja, previsões de horizontes diretos e compostos são idênticas).

O artigo generaliza este framework para:

• Transições condicionadas: Onde $A$ é uma função de informações laterais $\xi_t$.
• Estados contínuos: Substituindo a matriz por um kernel de Markov (ex: transições Gaussianas).
• Tempo contínuo: Usando matrizes geradoras ou equações diferenciais estocásticas.
• Limites determinísticos: Mostrando que o JEPA determinístico padrão é um caso degenerado onde o kernel de transição torna-se uma Delta de Dirac.

O autor define quatro níveis progressivamente mais fortes de correspondência entre JEPA e HMMs:

1. Correspondência Computacional: Compartilhar o pipeline de codificação-transição-emissão.
2. Representação de Emissão Completa: Possuir um condicional válido estado-observação.
3. Equivalência de Sequência de Nível HMM: Satisfazer condições de Markov, consistência marginal e consistência de filtragem (formalizadas no Teorema 1).
4. Equivalência de Modelo e Objetivo: Treinar o modelo usando verossimilhança de sequência estilo HMM além dos objetivos de JEPA.

Além disso, o artigo interpreta o aprendizado do Gargalo de Informação Peditiva como um processo de Markovização: a compressão promove a minimalidade (removendo o histórico redundante), enquanto a previsibilidade residual testa a suficiência (garantindo que nenhuma informação relevante para a transição foi descartada).

Contribuições Principais

1. Construção do MCJEPA: A introdução do MCJEPA, que impõe consistência de caminho de múltiplos horizontos através de uma matriz de transição compartilhada, fornecendo uma ponte transparente entre preditores neurais e cadeias de Markov clássicas.
2. Condições Formais de Equivalência de HMM: A derivação de condições suficientes (Teorema 1) sob as quais um JEPA temporal probabilístico admite uma representação exata de HMM de nível de sequência, esclarecendo a distinção entre o papel do codificador (filtragem) e a direção da emissão.
3. Framework de Diagnóstico: O desenvolvimento de diagnósticos de "previsibilidade residual" para testar se um estado aprendido é Markov suficiente. Se o histórico antigo melhora a previsão além do estado atual, a representação é insuficiente.
4. Continuum de Objetivos: A demonstração de que a mesma arquitetura de estado latente pode ser treinada via um continuum de objetivos: predição latente pura de JEPA, verossimilhança de sequência pura de HMM, ou um híbrido de ambos.

Resultados Experimentais

O autor conduziu quatro experimentos controlados em processos sintéticos com estruturas de verdade fundamental (ground-truth) conhecidas:

• Experimento 1 (Recuperação de HMM Finito): O MCJEPA recuperou com sucesso uma matriz de transição de HMM de 4 estados com alta precisão (ARI $\approx$ 0.98) e quase zero discordância de caminho ($D_{path} = 0$) devido à restrição de matriz compartilhada. Em contraste, preditores específicos de horizonte (aprendendo matrizes independentes para cada passo) alcançaram maior flexibilidade em regimes ambíguos, mas falharam em manter uma lei de transição coerente e composicional.
• Experimento 2 (Filtragem vs. Evidência Local): Usando posteriors ótimos (oracle), o estudo mostrou que a filtragem dependente de histórico ($p(S_t | X_{\le t})$) supera significativamente a evidência local ($p(S_t | X_t)$) conforme a ambiguidade da emissão aumenta, validando a interpretação do codificador de contexto do JEPA como um filtro amortizado.
• Experimento 3 (Compressão Preditiva): Em um processo binário de segunda ordem, o modelo comprimiu com sucesso um histórico de 3 bits em uma representação mínima suficiente de 4 estados ($Z_t = (X_{t-1}, X_t)$), removendo o $X_{t-2}$ redundante sem perder o poder preditivo. A compressão adicional para um único bit resultou em perda de informação preditiva, detectada por um aumento acentuado no ganho de histórico residual ($\Delta_{hist}$).
• Experimento 4 (Comparação de Objetivos): Comparando regimes de treinamento apenas-JEPA, estilo-HMM e Híbrido na mesma arquitetura:
  • Apenas-JEPA aprendeu um estado latente significativo, mas teve maior NLL de sequência e erro de transição.
  • Estilo-HMM (verossimilhança de sequência + destilação de filtro) alcançou a recuperação de estado mais forte (ARI $\approx$ 0.9945) e o menor NLL de sequência.
  • Híbrido (JEPA + objetivos de HMM) quase fechou a lacuna para o desempenho do estilo-HMM (98,6% da lacuna de NLL de sequência) enquanto retinha o objetivo original de predição latente do JEPA.
  • Crucialmente, o regime estilo-HMM alcançou resultados fortes sem a perda de predição latente do JE ($L_{MC}$), provando que a arquitetura é flexível ao objetivo de treinamento.

Significância e Alegações

O artigo afirma que o JEPA temporal probabilístico não é meramente uma alternativa aos HMMs, mas pode ser rigorosamente interpretado como um sob condições estruturais e de treinamento específicas.

• Insight Estrutural: O codificador de contexto estocástico no PIB-VJEPA desempenha o papel de uma distribuição de filtragem (inferindo estados ocultos a partir do histórico), não um modelo de emissão. A direção da emissão é fornecida separadamente por um decodificador ou codificador inverso.
• Princípio da Markovização: O aprendizado do Gargalo de Informação Preditiva é enquadrado como a construção de um estado de Markov compacto e suficiente. A compressão impulsiona a minimalidade, enquanto os diagnósticos residuais garantem a suficiência.
• Dependência de Objetivo: A "natureza de HMM" de um JEPA não é determinada unicamente por sua arquitetura, mas por seu objetivo de treinamento. Embora a arquitetura suporte semântica de HMM, o treinamento padrão de JEPA otimiza o alinhamento latente, não a verossimilhança de sequência. A equivalência total requer supervisão explícita de nível de sequência.
• Generalidade: A correspondência estende-se além do MCJEPA para preditores neurais gerais (contínuos, recorrentes ou de ordem superior) desde que o estado latente (possivelmente aumentado com memória) satisfaça a propriedade de Markov de primeira ordem.

O artigo conclui que estes resultados fornecem uma interpretação de espaço de estados principada para o JEPA temporal, distinguindo entre papéis computacionais, completude representacional e a semântica probabilística imposta pelo objetivo de treinamento.