ملخص تقني: التنبؤ بالفيديو في الفضاء الكامن (Latent Video Prediction) يتعلم نماذج عالم أفضل

بيان المشكلة

تتزايد مكانة نماذج الفيديو ذات التعلم الذاتي كـ "نماذج عالم" (world models)—وهي أنظمة قادرة على تعلم ديناميكيات العالم الفيزيائي من خلال الملاحظة. ومع ذلك، لا يزال تقييمها محصوراً إلى حد كبير في درجة دقة (top-1 accuracy) واحدة على معايير تصنيف نظيفة في مهام لاحقة. هذا المقياس غير كافٍ لاستيعاب إمكانات النموذج كنموذج عالم مُنشر، حيث يفشل في التقاط الخصائص الحرجة مثل الاستقرار تحت ضجيج المستشعرات، والقدرة على تحمل المدخلات المفقودة، والتمييز الدقيق بين الأفعال المتشابهة بصرياً، والإدراك الداخلي للترتيب الزمني. علاوة على ذلك، يغيب التقييم المقارن على مستوى أهداف التدريب المسبق، مما يترك فجوة في فهم كيفية تشكيل النماذج المختلفة لتمثيلات الفيديو عبر بارادايمات التعلم الذاتي.

المنهجية

يقدم المؤلفون دراسة منهجية ومنضبطة تقارن بين أربعة من نماذج التأسيس للفيديو الرائدة مع قدرة متطابقة من نوع (ViT-L) (~300 مليون معلمة):

1. V-JEPA 2.1 و V-JEPA 2: يمثلان بارادايم التنبؤ الكامن (بنية التنبؤ بالتمثيل المشترك - Joint Embedding Predictive Architecture).
2. VideoPrism: يمثل التنبؤ التبايني بالإضافة إلى التنبؤ المقنع (contrastive plus masked prediction).
3. VideoMAEv2: يمثل إعادة بناء البكسلات (المشفرات التلقائية المقنعة - masked autoencoders).

لعزل تأثير هدف التدريب المسبق، تثبت الدراسة ثلاثة محاور: سعة العمود الفقري (backbone capacity)، بيانات/بروتوكول التقييم، ومسبار انتباه خفيف تم ضبطه لكل مشفر. تستخدم الدراسة مجموعة بيانات Something-Something v2 (SSv2)، المختارة لتركيبتها الغنية من التفاعلات البشرية-الأشياء الدقيقة.

تقيم الدراسة هذه النماذج عبر خمسة محاور للمتانة:

1. القدرة التمييزية للميزات: قابلية الفصل بين التمثيلات عبر فئات الأفعال المصنفة دلالياً (فعل مختلف، نفس الفعل، التظاهر مقابل الواقع).
2. المتانة ضد الفساد (Corruption Robustness): دقة التصنيف تحت ستة أنواع من فساد ImageNet-C (ضبابية الحركة، الثلج، التبكسل، ضجيج النبض، السطوع، والتحول المرن) عند ثلاثة مستويات من الشدة.
3. التمييز الدقيق للأفعال: الأداء على مجموعة فرعية من "أفعال التظاهر" حيث تحاكي الأفعال التفاعلات الفيزيائية دون تلامس فعلي.
4. المتانة ضد الانسداد (Occlusion Robustness): الأداء تحت ثلاثة نماذج انسداد مكاني-زماني (كتلة متحركة، إسقاط زمني، وإسقاط رقع مكاني-زماني).
5. المتانة الزمنية: الحساسية تجاه اضطراب الترتيب واتجاه الزمن، وتحديداً قياس القدرة على ترميز "سهم الزمن" عبر عكس الفيديو.

بالإضافة إلى ذلك، تقارن الدراسة تمثيلات V-JEPA 2 المجمدة مقابل خطوط الأساس التي تم ضبطها بالكامل (VideoMAE و TimeSformer) لتحديد ما إذا كانت المزايا الملحوظة تصمد أمام التكيف مع المهام المحددة.

المساهمات الرئيسية والنتائج

1. التنبؤ الكامن يشكل ملف متانة متميزاً

عبر جميع المحاور الخمسة، تُظهر نماذج التنبؤ الكامن (متغيرات V-JEPA) ملفاً متسقاً ومتميزاً مقارنة بنماذج إعادة بناء البكسلات والتعلم التبايني.

• المتانة ضد الفساد: يتدهور V-JEPA 2.1 بشكل أكثر تدرجاً تحت فساد البكسلات، متصدراً في خمسة من أصل ستة أنواع من الفساد. يشير هذا إلى أن هدف التمثيل المشترك يتخلص من التباين البصري السطحي لصالح البنية الدلالية عالية المستوى.
• فك الارتباط بين الاستقرار والمنفعة: أحد النتائج الحاسمة هي أن الاستقرار الهندسي (المقاس بالتشابه الجيبي - cosine similarity) لا يعني بالضرورة الجدوى. تحت الإسقاط المكاني-الزماني الشديد للرقع، يحافظ VideoPrism على تشابه جيبي شبه مثالي (>0.98) ولكنه ينهار إلى دقة 2.7%. في المقابل، يُظهر V-JEPA 2.1 تحولاً أكبر في مساحة التمثيل ولكنه يحتفظ بدقة 46.1%. يشير هذا إلى أن التشابه الجيبي وحده هو مقياس مضلل لجودة التمثيل في نماذج العالم.

2. التقاط الإشارات الفيزيائية الدقيقة دون إعادة بناء البكسلات

خلافاً للاعتقاد بأن نماذج إعادة بناء البكسلات ستلتقط تفاصيل مكانية أدق، يتفوق V-JEPA على VideoMAEv2 في "أفعال التظاهر" (مثل التظاهر بالصب).

• تُظهر متغيرات V-JEPA أكبر هوامش الأداء في الفئات عالية الحساسية حيث تكون الإشارة التمييزية هي غياب التلامس الفيزيائي (مثل القبض على فراغ).
• يبدو أن هدف التنبؤ الكامن يستخلص السمات المكانية-الزمانية للتفاعل الفيزيائي، بينما تخصص إعادة بناء البكسلات السعة للأنسجة السطحية التي تضعف إشارات التلامس هذه.

3. استيعاب سهم الزمن

تستوعب نماذج التنبؤ الكامن اتجاه الزمن بشكل أقوى بكثير من البدائل.

• عند عكس الفيديو، تقوم نماذج V-JEPA بقلب التنبؤات بشكل متسق إلى فئات متضادة دلالياً (مثلاً: "الدفع" $\leftarrow$ "السحب").
• تحقق هذه النماذج درجة تماسك دلالي اتجاهي (DSCS) أعلى بكثير مقارنة بـ VideoMAEv2 و VideoPrism. يشير هذا إلى أن هدف التدريب التنبئي (التنبؤ بالحالات الكامنة المستقبلية من السياق الماضي) يرمز بطبيعته السببية والاتجاه الزمني، بينما يعمل التعلم التبايني على كبح هذا المحور، وتعمل إعادة بناء البكسلات على إضعافه.

4. المزايا تستمر تحت التكيف مع المهام

تقارن الدراسة بين عمود فقري مجمد من V-JEPA 2 ومسبار انتباه خفيف مقابل نماذج VideoMAE و TimeSformer التي تم ضبطها بالكامل.

• رغم كونها مجمدة، يتفوق V-JEPA 2 على خطوط الأساس المضبوطة بالكامل في المتانة ضد الفساد والانسداد.
• يشير هذا إلى أن هدف التدريب المسبق، وليس الحجم أو الإشراف بالملصقات وحده، هو ما يحدد ما إذا كان تمثيل الفيديو سيعمل كنموذج عالم متين أو مجرد مصنف لعلامات نظيفة.

الأهمية

تقدم الورقة دليلاً تجريبياً ملموساً على أن التنبؤ الكامن هو بارادايم متفوق لتعلم نماذج عالم فيديو متينة مقارنة بإعادة بناء البكسلات أو التعلم التبايني. يجادل المؤلفون بأن اختيار هدف التدريب المسبق يترك بصمة هيكلية قابلة للقياس في التمثيل الأساسي تغفلها اختبارات الدقة الأحادية.

توضح الدراسة أن:

• نماذج العالم تتطلب أكثر من مجرد دقة نظيفة؛ فهي تتطلب الاستقرار تحت الضجيج، والقدرة على تحمل البيانات المفقودة، والحساسية تجاه الدلالات الفيزيائية والاتجاه الزمني.
• التنبؤ الكامن يعزز هذه الخصائص طبيعياً من خلال تعلم التنبؤ بتغيرات الحالة المجردة بدلاً من إحصائيات البكسلات السطحية.
• يجب أن ينتقل تقييم نماذج التأسيس إلى ما وراء ترتيبات الدرجة الواحدة إلى ملفات تعريف متانة متعددة المحاور لالتقاط الاختلافات الهيكلية الضرورية للنشر في العالم الحقيقي.

يخلص المؤلفون إلى أن التقدم في نماذج تأسيس الفيديو لا يمكن تتبعه من خلال درجة دقة واحدة، وأن التقييم متعدد المحاور ضروري لتحديد التمثيلات القادرة على دعم التخطيط والاستدلال الفيزيائي.