ملخص تقني: "بنية JEPA الاحتمالية الخاصة بك هي في الواقع نموذج ماركوف الخفي"

بيان المشكلة

تتعلم بنيات التضمين المشترك التنبؤية (JEPAs) من خلال التنبؤ بالتمثيلات المستهدفة من السياقات الملحوظة بدلاً من إعادة بناء الملاحظات الخام. وتوسع بنية (Variational JEPA - VJEPA) هذا المفهوم عبر التنبؤ بتوزيع شرطي على الحالات الكامنة المستقبلية، كما يعمل امتداد "عنق زجاجة المعلومات التنبؤية" (PIB) على جعل تمثيل السياق الحالي عشوائياً للتحكم في الاحتفاظ بالمعلومات.

وعلى الرغم من تشابههما الهيكلي مع نماذج فضاء الحالة (State-Space Models)، إلا أن الربط الاحتمالي الدقيق بين بنيات JEPA الزمنية العشوائية الكاملة ونماذج ماركوف الخفية (HMMs) الكلاسيكية ظل غير واضح. وتحديداً، يظل غامضاً ما إذا كان مشفر السياق العشوائي في JEPA يعمل كنموذج انبعاث (Emission Model) أم كتوزيع تصفية (Filtering Distribution)، وتحت أي ظروف تحقق الديناميكيات الكامنة المتعلمة متطلبات الاتساق الصارمة لنموذج HMM (مثل اتساق تشابمان-كولموغوروف، وتكافؤ التصفية).

المنهجية

تقترح الورقة تفسيراً لفضاء الحالة لبنية (PIB-VJEPA) كاملة ومؤشرة زمنياً، وذلك عبر تفكيك بنيتها إلى ثلاثة أدوار مماثلة لنموذج HMM:

1. استدلال الحالة (التصفية): يقوم مشفر السياج العشوائي $q_\theta(Z_t | X_{\le t})$ باستنتاج اعتقاد حول الحالة الكامنة الحالية من تاريخ الملاحظات.
2. انتقال الحالة: يقوم المتنبئ الاحتمالي $p_\phi(Z_{t+1} | Z_t, \xi_t)$ بنقل الحالة الكامنة إلى الأمام.
3. الانبعاث: يقوم فك التشفير $p_\psi(X_{t+1} | Z_{t+1})$، أو مشفر الهدف العكسي، أو الشرط الضمني المستحث، بتوفير عملية الربط من الحالة إلى الملاحظة.

ولجعل هذا التناظر ملموساً وقابلاً للتحليل، قدم المؤلف نموذج ماركوف-تشين JEPA (المعروف بـ MCJEPA). في هذه الصيغة:

• الحالة الكامنة $Z_t$ هي فئة منفصلة (Categorical).
• يتم استبدال المتنبئ بمصفوفة انتقال متعلمة ذات احتمالية صفية (Row-stochastic).
• يتم حساب التنبؤات متعددة الخطوات عبر قوى المصفوفة ($\hat{q}_{t+h} = q_t A^h$)، مما يضمن اتساق تشابمان-كولموغوراف (أي أن التنبؤات المباشرة والمركبة لآفاق زمنية متعددة تكون متطابقة).

تعمم الورقة هذا الإطار ليشمل:

• الانتقالات المشروطة: حيث تكون $A$ دالة لمعلومات جانبية $\xi_t$.
• الحالات المستمرة: باستبدال المصفوفة بنواة ماركوف (مثل الانتقالات الغاوسية).
• الزمن المستمر: باستخدام مصفوفات المولد (Generator Matrices) أو المعادلات التفاضلية العشوائية.
• الحدود الحتمية: بإظهار أن JEPA الحتمية القياسية هي حالة متدهورة حيث تصبح نواة الانتقال دالة ديراك (Dirac delta).

يعرف المؤلف أربعة مستويات متدرجة القوة من التناظر بين JEPA وHMMs:

1. التناظر الحسابي: المشاركة في مسار (التشفير-الانتقال-الانبعاث).
2. التمثيل الكامل للانبعاث: امتلاك شرط صالح من الحالة إلى الملاحظة.
3. تكافؤ HMM على مستوى التسلسل: استيفاء شروط ماركوف، والاتساق الهامشي، واتساق التصفية (المصاغة في النظرية 1).
4. تكافؤ النموذج والهدف: تدريب النموذج باستخدام احتمالية التسلسل بأسلوب HMM بالإضافة إلى أهداف JEPA.

علاوة على ذلك، تفسر الورقة تعلم "عنق زجاجة المعلومات التنبؤية" كعملية "ماركوفية" (Markovization): فالضغط يعزز الحد الأدنى (إزالة التاريخ الزائد)، بينما يختبر التنبؤ المتبقي الكفاية (ضمان عدم التخلص من أي معلومات ذات صلة بالانتقال).

المساهمات الرئيسية

1. بناء MCJEPA: تقديم MCJEPA، الذي يفرض اتساق المسار الدقيق متعدد الآفاق عبر مصفوفة انتقال مشتركة، مما يوفر جسراً شفافاً بين المتنبئات العصبية وسلاسل ماركوف الكلاسيكية.
2. شروط تكافؤ HMM الرسمية: اشتقاق الشروط الكافية (النظرية 1) التي تسمح لـ JEPA زمنية احتمالية بامتلاك تمثيل HMM دقيق على مستوى التسلسل، مع توضيح دور المشفر (التصفية) واتجاه الانبعاث.
3. إطار تشخيصي: تطوير تشخيصات "القدرة التنبؤية المتبقية" لاختبار ما إذا كانت الحالة المتعلمة كافية من منظور ماركوف. إذا كان التاريخ القديم يحسن التنبؤ بما يتجاوز الحالة الحالية، فإن التمثيل يكون غير كافٍ.
4. تدرج الأهداف: إثبات أن نفس البنية الكامنة يمكن تدريبها عبر طيف من الأهداف: تنبؤ JEPA الكامن الصرف، أو احتمالية تسلسل HMM الصرفة، أو مزيج من كليهما.

النتائج التجريبية

أجرى المؤلف أربع تجارب محكومة على عمليات اصطناعية ذات هياكل كامنة معروفة (Ground-truth):

• التجربة 1 (استعادة HMM المحدود): نجح MCJEPA في استعادة مصفوفة انتقال HMM مكونة من 4 حالات بدقة عالية (ARI $\approx$ 0.98) واختلاف مسار شبه معدوم ($D_{path} = 0$) بسبب قيد المصفوفة المشتركة. وفي المقابل، حققت المتنبئات الخاصة بكل أفق (التي تتعلم مصفوفات مستقلة لكل خطوة) مرونة أكبر قليلاً في السيناريوهات الغامضة، لكنها فشلت في الحفاظ على قانون انتقال متماسك ومركب.
• التجربة 2 (التصفية مقابل الدليل المحلي): باستخدام التوزيعات اللاحقة المثالية (Oracle Posteriors)، أظهرت الدراسة أن التصفية المعتمدة على التاريخ ($p(S_t | X_{\le t})$) تتفوق بشكل كبير على الدليل المحلي ($p(S_t | X_t)$) مع زيادة غموض الانبعاث، مما يؤكد تفسير مشفر سياق JEPA كمرشح (Filter) مُقرب.
• التجربة 3 (الضغط التنبئي): في عملية ثنائية من الدرجة الثانية، نجح النموذج في ضغط تاريخ مكون من 3 بتات إلى تمثيل كافٍ وأدنى مكون من 4 حالات ($Z_t = (X_{t-1}, X_t)$)، حيث أزال $X_{t-2}$ الزائد دون فقدان القدرة التنبؤية. وأدى الضغط الإضافي إلى بت واحد إلى فقدان المعلومات التنبؤية، وهو ما تم اكتشافه عبر زيادة حادة في كسب التاريخ المتبقي ($\Delta_{hist}$).
• التجربة 4 (مقارنة الأهداف): مقارنة أنظمة التدريب (JESTA-only، وHMM-style، وHybrid) على نفس البنية:
  • تدريب JEPA فقط: تعلم حالة كامنة ذات معنى، لكنه سجل احتمالية سالبة أعلى (NLL) وخطأ في الانتقال.
  • تدريب أسلوب HMM: حقق أقوى استعادة للحالة (ARI $\approx$ 0.9945) وأقل NLL للتسلسل.
  • التدريب الهجين (Hybrid): أغلق الفجوة تقريباً مع أداء أسلوب HMM (بنسبة 98.6% من فجوة NLL) مع الاحتفاظ بهدف تنبؤ JEPA الأصلي.
  • والأهم من ذلك، حقق نظام أسلوب HMM نتائج قوية بدون خسارة تنبؤ JEPA ($L_{MC}$)، مما يثبت مرونة البنية تجاه هدف التدريب.

الأهمية والادعاءات

تزعم الورقة أن JEPA الزمنية الاحتمالية ليست مجرد بديل لـ HMMs، بل يمكن تفسيرها بصرامة كواحد منها تحت شروط هيكلية وتدريبية محددة.

• الرؤية الهيكلية: يلعب مشفر السياق العشوائي في PIB-VJEPA دور توزيع التصفية (استنتاج الحالات الخفية من التاريخ)، وليس نموذج انبعاث. أما اتجاه الانبعاث فيتم توفيره بشكل منفصل عبر فك التشفير أو المشفر العكسي.
  {% endfilter %}
• مبدأ الماركوفية: يتم تأطير تعلم "عنق زجاجة المعلومات التنبؤية" كبناء حالة ماركوف كافية وموجزة. الضغط يدفع نحو الحد الأدنى، بينما تضمن التشخيصات المتبقية الكفاية.
• الاعتماد على الهدف: إن "ماهية HMM" في JEPA لا تتحدد فقط ببنيتها، بل بهدف تدريبها. وبينما تدعم البنية دلالات HMM، فإن تدريب JEPA القياسي يحسن المحاذاة الكامنة وليس احتمالية التسلسل. ويتطلب التكافؤ الكامل إشرافاً صريحاً على مستوى التسلسل.
• العمومية: يمتد هذا التناظر إلى ما وراء MCJEPA ليشمل متنبئات عصبية عامة (مستمرة، أو متكررة، أو من رتب عليا) طالما أن الحالة الكامنة (التي قد تكون مدعومة بالذاكرة) تستوفي خاصية ماركوف من الدرجة الأولى.

تخلص الورقة إلى أن هذه النتائج توفر تفسيراً مبنياً على فضاء الحالة لـ JEPA الزمنية، مما يميز بين الأدوار الحسابية، والاكتمال التمثيلي، والدلالات الاحتمالية التي يفرضها هدف التدريب.