Technische Samenvatting: "Uw Probabilistische JEPA is in het geheim een Hidden Markov Model"

Probleemstelling

Joint-Embedding Predictive Architectures (JEPAs) leren door doelrepresentaties te voorspellen vanuit geobserveerde contexten in plaats van ruwe observaties te reconstrueren. Variational JEPA (VJEPA) breidt dit uit door een conditionele distributie over toekomstige latente toestanden te voorspellen, en de Predictive Information Bottleneck (PIB) uitbreiding maakt de huidige representatie verder stochastisch om de informatiebehoud te controleren.

Ondanks hun structurele gelijkenissen met state-space modellen, is een precieze probabilistische mapping tussen volledig stochastische temporele JEPAs en klassieke Hidden Markov Models (HMMs) onduidelijk gebleven. Specifiek is het ambigu of de stochastische context-encoder in een JEPA fungeert als een emissiemodel of een filtering-distributie, en onder welke voorwaarden de geleerde latente dynamica voldoet aan de strikte consistentievereisten van een HMM (bijv. Chapman–Kolmogorov consistentie, filtering-equivalentie).

Methodologie

Het artikel stelt een state-space interpretatie voor van de volledige, tijd-geïndexeerde PIB-VJEPA door de architectuur te decomponeren in drie rollen die analoog zijn aan een HMM:

1. State Inference (Filtering): De stochastische context-encoder $q_\theta(Z_t | X_{\le t})$ leidt een belief af over de huidige latente toestand op basis van de observatiegeschiedenis.
2. State Transition: Een probabilistische voorspeller $p_\phi(Z_{t+1} | Z_t, \xi_t)$ propageert de latente toestand vooruit.
3. Emission: Een decoder $p_\psi(X_{t+1} | Z_{t+1})$, een inverseerbare target-encoder, of een geïnduceerde impliciete functie levert de state-naar-observatie mapping.

Om deze correspondentie concreet en analytisch hanteerbaar te maken, introduceert de auteur Markov-Chain JEPA (MCJEPA). In deze formulering:

• Is de latente toestand $Z_t$ categorisch (discreet).
• Wordt de voorspeller vervangen door een geleerde, rij-stochastische transitie-matrix $A$.
• Worden multi-stap voorspellingen berekend via matrix-machten ($\hat{q}_{t+h} = q_t A^h$), wat exacte Chapman–Kolmogorov consistentie garandeert (d.w.z. directe en samengestelde multi-horizon voorspellingen zijn identiek).

De auteur generaliseert dit framework naar:

• Geconditioneerde transities: Waarbij $A$ een functie is van zij-informatie $\xi_t$.
• Continue toestanden: Het vervangen van de matrix door een Markov-kernel (bijv. Gaussische transities).
• Continue tijd: Het gebruik van generator-matrices of stochastische differentiaalvergelijkingen.
• Deterministische limieten: Het aantonen dat een standaard deterministische JEPA een gedegenereerd geval is waarbij de transitie-kernel een Dirac-delta wordt.

De auteur definieert vier progressief sterkere niveaus van correspondentie tussen JEPA en HMMs:

1. Computationele Correspondentie: Het delen van de encode-transitie-emit pipeline.
2. Emission-Complete Representatie: Het bezitten van een geldige state-naar-observatie conditional.
3. Sequence-Level HMM Equivalentie: Het voldoen aan Markov, marginal-consistentie en filtering-consistentie condities (geformaliseerd in Theorem 1).
4. Model-en-Objective Equivalentie: Het trainen van het model met behulp van HMM-stijl sequentie-likelihood naast JEPA-objectieven.

Verder interpreteert het artikel het Predictive Information Bottleneck-leren als een proces van Markovisering: compressie bevordert minimaliteit (het verwijderen van redundante geschiedenis), terwijl residuele voorspelbaarheid sufficientie test (waarborgen dat er geen transitie-relevante informatie verloren gaat).

Belangrijkste Bijdragen

1. MCJEPA Constructie: De introductie van MCJEPA, die exacte multi-horizon pad-consistentie afdwingt via een gedeelde transitie-matrix, wat een transparante brug slaat tussen neurale voorspellers en klassieke Markov-ketens.
2. Formele HMM Equivalentie Condities: De afleiding van voldoende voorwaarden (Theorem 1) waaronder een probabilistische temporele JEPA een exacte sequence-level HMM representatie toelaat, wat het onderscheid verheldert tussen de rol van de encoder (filtering) en de emissie-richting.
3. Diagnostisch Framework: De ontwikkeling van "residuele voorspelbaarheid" diagnostiek om te testen of een geleerde staat Markov-sufficient is. Als oudere geschiedenis de voorspelling verbetert buiten de huidige staat om, is de representatie onvoldoende.
4. Objective Continuum: De demonstratie dat dezelfde latente-toestand architectuur getraind kan worden via een continuüm van objectieven: pure JEPA latente voorspelling, pure HMM sequentie-likelihood, of een hybride van beide.

Experimentele Resultaten

De auteur heeft vier gecontroleerde experimenten uitgevoerd op synthetische processen met bekende ground-truth latente structuren:

• Experiment 1 (Finite-HMM Recovery): MCJEPA slaagde er succesvol in om een 4-state HMM transitie-matrix te herstellen met hoge nauwkeurigheid (ARI $\approx$ 0.98) en bijna nul pad-discrepantie ($D_{path} = 0$) dankzij de gedeelde matrix-restrictie. In contrast hiermee bereikten horizon-specifieke voorspellers (die onafhankelijke matrices leerden voor elke stap) een iets betere flexibiliteit in ambigue regimes, maar faalden ze in het handhaven van een coherente, compositionele transitie-wet.
• Experiment 2 (Filtering vs. Local Evidence): Gebruikmakend van oracle posteriors, toonde de studie aan dat geschiedenis-afhankelijke filtering ($p(S_t | X_{\le t})$) significant beter presteert dan lokale evidence ($p(S_t | X_t)$) naarmate de emissie-ambiguïteit toeneemt, wat de interpretatie van de JEPA context-encoder als een geamortiseerde filter valideert.
• Experiment 3 (Predictive Compression): In een tweede-orde binair proces slaagde het model erin om een 3-bit geschiedenis te comprimeren tot een 4-state minimale sufficiente representatie ($Z_t = (X_{t-1}, X_t)$), waarbij de redundante $X_{t-2}$ werd verwijderd zonder voorspellende kracht te verliezen. Verdere compressie naar één bit resulteerde in een verlies van voorspellende informatie, gedetecteerd door een scherpe toename in residuele geschiedenis-winst ($\Delta_{hist}$).
• Experiment 4 (Objective Comparison): Vergelijking van JEPA-only, HMM-stijl, en Hybride trainingsregimes op dezelfde architectuur:
  • JEPA-only leerde een betekenisvolle latente staat maar had een hogere sequentie NLL en transitie-fout.
  • HMM-stijl (sequentie-likelihood + filter-distillatie) bereikte de sterkste state recovery (ARI $\approx$ 0.9945) en de laagste sequentie NLL.
  • Hybride training (JEPA + HMM objectieven) verkleinde de kloof naar HMM-stijl prestaties bijna volledig (98,6% van de sequentie NLL kloof) terwijl de oorspronkelijke JEPA latente-voorspellings-objectief behouden bleef.
  • Cruciaal was dat de HMM-stijl regime sterke resultaten behaalde zonder de JEPA latente-voorspellings-loss ($L_{MC}$), wat bewijst dat de architectuur flexibel is ten opzichte van het trainings-objectief.

Betekenis en Claims

Het artikel claimt dat een probabilistische temporele JEPA niet louter een alternatief voor HMMs is, maar er onder specifieke structurele en trainingscondities rigoureus als zodanig geïnterpreteerd kan worden.

• Structureel Inzicht: De stochastische context-encoder in PIB-VJEPA vervult de rol van een filtering-distributie (het afleiden van verborgen staten uit geschiedenis), niet een emissie-model. De emissie-richting wordt apart geleverd door een decoder of inverse encoder.
• Markovization Principe: Het Predictive Information Bottleneck-leren wordt geframed als de constructie van een compacte, sufficiente Markov-staat. Compressie drijft minimaliteit aan, terwijl residuele diagnostiek sufficientie waarborgt.
• Objective Dependence: De "HMM-heid" van een JEPA wordt niet enkel bepaald door de architectuur, maar door het trainings-objectief. Hoewel de architectuur HMM-semantiek ondersteunt, optimaliseert standaard JEPA-training voor latente alignment, niet voor sequentie-likelihood. Volledige equivalentie vereist expliciete sequentie-level supervisie.
• Generaliteit: De correspondentie strekt zich uit voorbij MCJEPA naar algemene neurale voorspellers (continu, recurrent of hoger-orde), mits de latente staat (mogelijk uitgebreid met geheugen) voldoet aan de eerste-orde Markov-eigenschap.

Het artikel concludeert dat deze resultaten een geprincipeerde state-space interpretatie bieden voor temporele JEPA, waarbij onderscheid wordt gemaakt tussen computationele rollen, representationele volledigheid en de probabilistische semantiek die door het trainings-objectief wordt afgedwongen.