Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

ملخص تقني: الديناميكيات الكامنة المُجزأة لنموذج Video JEPA

بيان المشكلة
برزت بنى التضمين المشترك التنبؤية (JEPA) كإطار عمل واعد للتعلم الممثل للفيديو عبر التعلم الخاضع للإشراف الذاتي، لا سيما من خلال نموذج Video-JEPA (V-JEPA)، الذي يتنبأ بالتضمينات الكامنة للمناطق الزمكانية المقنعة بدلاً من إعادة بناء البكسلات. ومع ذلك، لا يزال سلوك الأهداف المساعدة في تدريب V-JEPA على نطاق صغير غير مشخص بدقة. وتوجد فجوة حرجة في فهم ما إذا كانت الإشارات المساعدة يمكن أن تحسن في آن واحد الديناميكيات الزمنية دقيقة التفاصيل (الضرورية لمهام مثل التعرف على الأفعال) والتمثيل الساكن للمظهر (الضروري للتعرف على الأشياء)، أم أنها تفرض مقايضات في القدرة تؤدي إلى تدهور الأداء في أحد المجالات على حساب الآخر.

المنهجية
يجري المؤلفون دراسة تجريبية صغيرة النطاق لتقييم 18 نوعاً من متغيرات الأهداف المساعدة عبر نظامين للتدريب المسبق: مجموعة البيانات الواحدة (UCF-101) والمجموعة المختلطة (UCF-101 + Something-Something V2 + ImageNet-100). تستخدم الدراسة بروتوكول تقييم للمُشفر المجمد على ثلاث معايير تكميلية:

• Diving-48: لفهم الحركة دقيقة التفاصيل.
• Something-Something V2 (SSv2): للاستدلال الزمني.
• ImageNet-100: للتعرف على المظهر.

تُصنف المتغيرات الـ 18 إلى ست مجموعات:

1. التنظيم الحركي (Kinematic Regularization): عقوبات على الفروق الزمنية (L1، Huber، التسارع، تقسيم القنوات، المبطئ/المتدرج).
2. القناع الموجه بالحركة (Motion-Guided Masking): أخذ عينات منحازة نحو المناطق ذات الحركة العالية.
3. تنظيم مكافحة الانهيار (Anti-Collapse Regularization): SIGReg (فرض توزيع غاوسي للتضمينات).
4. الديناميكيات المستوحاة من الفيزياء (Physics-Inspired Dynamics): أولويات هاملتونية ومقيدة بالسرعة.
5. التنبؤ بالديناميكيات الكامنة (Latent Dynamics Prediction): التنبؤ بالفروق الزمنية (Delta-JEPA، LD-JEPA، Spectral-JEPA، LTC-JEPA).
6. أهداف الديناميكيات الكامنة المُجزأة (Factorized Latent Objectives): الفصل الهيكلي بين الفضاءات الجزئية للمظهر والديناميكيات.

المساهمة الرئيسية: FWM-HW-LD
يقدم البحث FWM-HW-LD (النموذج العالمي المُجزأ مع الديناميكيات الكامنة ذات الوزن الموجه للمناطق الصعبة) كهدف جديد لوقت التدريب. بخلاف هندسة الاستدلال الجديدة، فإنه يعدل عملية تدريب مُشفر الطالب القياسي في V-JEPA عن طريق:

• التجزئة الكامنة (Latent Factorization): تقسيم مخرجات المُشفر إلى فضاءين جزئيين: $Z_{app}$ (المظهر، الذي يُشجع على الثبات زمنياً) و $Z_{dyn}$ (الديناميكيات، الذي يُترك حراً لالتقاط التباين الزمني).
• التعامد والاستقرار (Orthogonality and Stability): تطبيق خسائر ($L_{static}$ و $L_{orth}$) لضمان بقاء $Z_{app}$ مستقراً بمرور الوقت ولضمان عدم ترميز الفضاءين الجزئيين لمعلومات مكررة.
• الوزن الموجه للمناطق الصعبة (Hard-Region Weighting): إعادة وزن كل من خطأ تنبؤ JEPA القياسي وخطأ الديناميكيات الكامنة نحو الرموز (tokens) ذات أعلى أخطاء التنبؤ، مما يركز النموذج على المناطق الصعبة.
• رأس الديناميكيات الكامنة (Latent Dynamics Head): رأس مخصص يتنبأ بالفروق الزمنية ($h(t+1) - h(t)$) باستخدام فضاء $Z_{dyn}$ فقط أثناء التدريب.

النتائج

• مقايضات القدرة (Capacity Trade-offs): وجدت الدراسة أن العديد من الأهداف المساعدة تظهر مقايضات كبيرة. على سبيل المثال، حسنت متغيرات التنظيم الحركي أداء ImageNet-100 (المظهر) بمقدار 1.5–1.7 نقطة مئوية (pp) ولكنها أدت إلى تدهور أداء Diving-48 (الحركة) بمقدار 2.5–2.9 نقطة مئوية. وبالمثل، أدت أهداف التنبؤ بالبكسلات (AC-JEPA، FAC-JEPA) إلى انخفاضات كبيرة (-13 إلى -16 نقطة مئوية) في ImageNet-100.
• أداء FWM-HW-LD: في إعداد مجموعة البيانات المختلطة، حقق FWM-HW-LD أكثر النتائج توازناً بين جميع المتغيرات المختبرة. فقد حسن أداء ImageNet-100 بمقدار +5.92 نقطة مئوية و SSv2 بمقدار +3.21 نقطة مئوية بالنسبة للنموذج الأساسي، بينما ظل ضمن نطاق -0.30 نقطة مئوية في Diving-48.
• تفاعل المكونات: كشفت دراسات الاستئصال (Ablation studies) أن مكونات FWM-HW-LD تتفاعل بشكل غير تراكمي. فبينما عززت الديناميكيات الكامنة (LD) وحدها أداء SSv2 (+5.02 pp)، إلا أنها أضرت بالمعايير الأخرى. كما أن التجزئة (FWM) وحدها حسنت ImageNet ولكنها أضرت بـ SSv2. كان الجمع الكامل مع الوزن الموجه للمناطق الصعبة ضرورياً لتحقيق التحسن المتوازن.
• الحركة الاصطناعية مقابل الحقيقية: أظهر التنظيم الحركي أداءً قوياً (+40–45 نقطة مئوية) في مهام تمييز الحركة الاصطناعية، لكنه لم يترجم إلى معايير حركة حقيقية دقيقة التفاصيل، مما يشير إلى عدم تطابق في نوع البنية الزمنية المتعلمة.

الأهمية والادعاءات
يدعي البحث بتواضع أن التجزئة الكامنة هي اتجاه مفيد لدراسة مقايضات الأهداف المساعدة في Video-JEPA. ويؤكد المؤلفون أن نتائجهم تعتمد على دراسة تجريبية صغيرة النطلة وذات بذرة واحدة (single-seed) ويجب النظر إليها كإشارات أولية وليست تصنيفات مثبتة إحصائياً.

تشمل النقاط الرئيسية ما يلي:

1. وجود المقايضة: غالباً ما تفرض الأهداف المساعدة منافسة بين القدرات المميزة للحركة والقدرات الحساسة للمظهر داخل فضاء كامن مشترك.
2. الفصل الهيكلي: يوفر فصل الفضاء الكامن إلى فضاءات جزئية للمظهر والديناميكيات، جنباً إلى جنب مع الوزن الموجه للمناطق الصعبة، مساراً لتخفيف هذه المقايضات دون الحاجة إلى إعادة بناء مستوى البكسل.
3. الحذر بشأن التنبؤ بالبكسل: في هذا الإعداد المحدد صغير النطاق، كانت الأهداف التي تتنبأ بفروق البكسل RGB (مثل AC-JEPA) ضارة بمهام التعرف الدلالي.

يخلص المؤلفون إلى أنه على الرغم من أن FWM-HW-LD يظهر وعداً، إلا أن الأدلة لا تزال أولية. وهم يضعون الديناميكيات الكامنة المُجزأة ليس كهدف مكتمل، بل كآلية محكومة لاستقصاء كيفية تنافس أو تعاون معلومات المظهر والحركة داخل التمثيلات الفيديوية المجمدة، مما يشير إلى الحاجة إلى تكرار على نطاق أوسع ومتعدد البذور للتحقق من صحة هذه النتائج.