Resumen Técnico: "Su JEPA Probabilística es Secretamente un Modelo Oculto de Markov"

Declaración del Problema

Las Arquitecturas de Embebimiento Conjunto Predictivo (JEPAs, por sus siglas en inglés) aprenden prediciendo representaciones de objetivos a partir de contextos observados, en lugar de reconstruir observaciones puras. La VJEPA (Variational JEPA) extiende esto al predecir una distribución condicional sobre estados latentes futuros, y la extensión de la Cuello de Botella de Información Predictiva (PIB) hace que la representación actual sea estocástica para controlar la retención de información.

A pesar de sus similitudes estructurales con los modelos de espacio de estados, la correspondencia probabilística precisa entre las JEPAs temporales totalmente estocásticas y los Modelos Ocultos de Markov (HMMs) clásicos ha permanecido poco clara. Específicamente, es ambiguo si el codificador de contexto estocástico en una JEPA actúa como un modelo de emisión o una distribución de filtrado, y bajo qué condiciones la dinámica latente aprendida satisface los rigurosos requisitos de consistencia de un HMM (por ejemplo, la consistencia de Chapman–Kolmogorov y la equivalencia de filtrado).

Metodología

El artículo propone una interpretación de espacio de estados para la PIB-VJEPA completa e indexada en el tiempo, descomponiendo su arquitectura en tres roles análogos a un HMM:

1. Inferencia de Estado (Filtrado): El codificador de contexto estocástico $q_\theta(Z_t | X_{\le t})$ infiere una creencia sobre el estado latente actual a partir de la historia de observaciones.
2. Transición de Estado: Un predictor probabilístico $p_\phi(Z_{t+1} | Z_t, \xi_t)$ propaga el estado latente hacia adelante.
3. Emisión: Un decodificador $p_\psi(X_{t+1} | Z_{t+1})$, un codificador inverso invertible, o un mapeo condicional implícito inducido, suministra el mapeo de estado a observación.

Para hacer esta correspondencia concreta y analíticamente tratable, el autor introduce la JEPA de Cadena de Markov (MCJEPA). En esta formulación:

• El estado latente $Z_t$ es categórico (discreto).
• El predictor es reemplazado por una matriz de transición aprendida y estocástica por filas $A$.
• Las predicciones de múltiples pasos se computan mediante potencias de matrices ($\hat{q}_{t+h} = q_t A^h$), garantizando una consistencia de Chapman–Kolmogorov exacta (es decir, las predicciones directas y compuestas de múltiples horizontes son idénticas).

El artículo generaliza este marco a:

• Transiciones condicionadas: Donde $A$ es una función de información lateral $\xi_t$.
• Estados continuos: Reemplazando la matriz con un núcleo de Markov (por ejemplo, transiciones Gaussianas).
• Tiempo continuo: Utilizando matrices generadoras o ecuaciones diferenciales estocásticas.
• Límites deterministas: Mostrando que la JEPA determinista estándar es un caso degenerado donde el núcleo de transición se convierte en una delta de Dirac.

El autor define cuatro niveles progresivamente más fuertes de correspondencia entre JEPA y HMM:

1. Correspondencia Computacional: Comparten el flujo de codificación-transición-emisión.
2. Representación Completa de Emisión: Posee un válido condicional de estado a observación.
3. Equivalencia de Nivel de Secuencia de HMM: Satisface las condiciones de Markov, consistencia marginal y consistencia de filtrado (formalizadas en el Teorema 1).
4. Equivalencia de Modelo y Objetivo: Entrenar el modelo utilizando la verosimilitud de secuencia estilo HMM además de los objetivos de JEPA.

Además, el artículo interpreta el aprendizaje del Cuello de Botella de Información Predictiva como un proceso de Markovización: la compresión promueve la minimalidad (eliminación de la historia redundante), mientras que la predictibilidad residual pone a prueba la suficiencia (asegurando que no se descarte información relevante para la transición).

Contribuciones Clave

1. Construcción de MCJEPA: La introducción de MCJEPA, que impone una consistencia de trayectoria exacta de múltiples horizontes a través de una matriz de transición compartida, proporcionando un puente transparente entre los predictores neuronales y las cadenas de Markov clásicas.
2. Condiciones Formales de Equivalencia de HMM: La derivación de condiciones suficientes (Teorema 1) bajo las cuales una JEPA temporal probabilística admite una representación exacta de HMM a nivel de secuencia, aclarando la distincción entre el rol del codificador (filtrado) y la dirección de la emisión.
3. Marco de Diagnóstico: El desarrollo de diagnósticos de "predictibilidad residual" para probar si un estado aprendido es Markov-suficiente. Si la historia más antigua mejora la predicción más allá del estado actual, la representación es insuficiente.
4. Continuo de Objetivos: La demostración de que la misma arquitectura de estado latente puede entrenarse mediante un continuo de objetivos: pura predicción latente de JEPA, pura verosimilitud de secuencia de HMM, o un híbrido de ambos.

Resultados Experimentales

El autor realizó cuatro experimentos controlados en procesos sintéticos con estructuras latentes de verdad fundamental conocidas:

• Experimento 1 (Recuperación de HMM Finito): MCJEPA recuperó con éxito una matriz de transición de HMM de 4 estados con alta precisión (ARI $\approx$ 0.98) y un desacuerdo de trayectoria casi nulo ($D_{path} = 0$) debido a la restricción de la matriz compartida. En contraste, los predictores específicos de horizonte (que aprenden matrices independientes para cada paso) lograron una mayor flexibilidad en regímenes ambiguos pero fallaron en mantener una ley de transición coherente y compositiva.
• Experimento 2 (Filtrado vs. Evidencia Local): Utilizando posteriors de oráculo, el estudio mostró que el filtrado dependiente de la historia ($p(S_t | X_{\le t})$) supera significativamente a la evidencia local ($p(S_t | X_t)$) a medida que aumenta la ambigüedad de la emisión, validando la interpretación del codificador de contexto de la JEPA como un filtro amortizado.
• Experimento 3 (Compresión Predictiva): En un proceso binario de segundo orden, el modelo comprimió con éxito una historia de 3 bits en una representación mínima suficiente de 4 estados ($Z_t = (X_{t-1}, X_t)$), eliminando la redundancia de $X_{t-2}$ sin perder poder predictivo. Una mayor compresión a un solo bit resultó en una pérdida de información predictiva, detectada por un aumento agudo en la ganancia de historia residual ($\Delta_{hist}$).
• Experimento 4 (Comparación de Objetivos): Comparando regímenes de entrenamiento de solo JEPA, estilo HMM y Híbrido sobre la misma arquitectura:
  • Solo JEPA aprendió un estado latente significativo pero tuvo una mayor NLL de secuencia y error de transición.
  • Estilo HMM (verosimilitud de secuencia + destilación de filtro) logró la recuperación de estado más fuerte (ARI $\approx$ 0.9945) y la NLL de secuencia más baja.
  • Híbrido (JEPA + objetivos de HMM) casi cerró la brecha con el rendimiento de estilo HMM (98.6% de la brecha de NLL de secuencia) mientras retenía el objetivo original de predicción latente de la JEPA.
  • Crucialmente, el régimen de estilo HMM logró resultados sólidos sin la pérdida de predicción latente de la JEPA ($L_{MC}$), probando que la arquitectura es flexible al objetivo de entrenamiento.

Significancia y Reivindicaciones

El artículo afirma que la JEPA temporal probabilística no es simplemente una alternativa a los HMM, sino que puede interpretarse rigurosamente como uno bajo condiciones estructurales y de entrenamiento específicas.

• Perspectiva Estructural: El codificador de contexto estocástico en PIB-VJEPA desempeña el papel de una distribución de filtrado (infiriendo estados ocultos a partir de la historia), no un modelo de emisión. La dirección de la emisión es suministrada por separado por un decodificador o un codificador inverso.
• Principio de Markovización: El aprendizaje del Cuello de Botella de Información Predictiva se enmarca como la construcción de un estado de Markov compacto y suficiente. La compresión impulsa la minimalidad, mientras que los diagnósticos residuales aseguran la suficiencia.
• Dependencia del Objetivo: La "naturaleza de HMM" de una JEPA no está determinada únicamente por su arquitectura, sino por su objetivo de entrenamiento. Aunque la arquitectura soporta la semántica de HMM, el entrenamiento estándar de la JEPA optimiza la alineación latente, no la verosimilitud de la secuencia. La equivalencia total requiere una supervisión explícita a nivel de secuencia.
• Generalidad: La correspondencia se extiende más allá de MCJEPA a los predictores neuronales generales (continuos, recurrentes o de orden superior) siempre que el estado latente (posiblemente aumentado con memoria) satisfaga la propiedad de Markov de primer orden.

El artículo concluye que estos resultados proporcionan una interpretación de espacio de estados fundamentada para la JEPA temporal, distinguiendo entre roles computacionales, completitud representacional y la semántica probabilística impuesta por el objetivo de entrenamiento.