💬 NLP

Tracing the Arrow of Time: Diagnosing Temporal Information Flow in Video-LLMs

تشخص هذه الورقة ضعف قدرات الاستدلال الزمني في النماذج اللغوية الكبيرة للفيديو (Video-LLMs) من خلال تحديد الاختناقات في كل من تصميمات المشفرات البصرية وجهاز الإسقاط (projector)، مما أدى إلى بنية جديدة تحقق أداءً يقارب المثالية في مهمة "سهم الزمن" (Arrow-of-Time) وتحسن بشكل كبير معايير الاستدلال الزمني الأوسع.

المؤلفون الأصليون: Peitao Han, Fei Cheng, Lis K. Pereira, Qianying Liu, Shigeru Kitazawa

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Peitao Han, Fei Cheng, Lis K. Pereira, Qianying Liu, Shigeru Kitazawa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مقطع فيديو لكأس يسقط من فوق طاولة ويتحطم. إذا قمت بتشغيل هذا الفيديو بالعكس، سترى الشظايا تطير للأعلى بشكل سحري وتتجمع لتصبح كأساً مثالياً. حتى الطفل الصغير يدرك أن هذا يبدو خاطئاً. البشر لديهم "حس زمني" فطري يخبرهم في أي اتجاه يتدفق الوقت.

تبحث هذه الورقة البحثية في سبب كون نماذج الذكاء الاصطناعي المتقدمة، والتي تسمى Video-LLMs (نماذج اللغات الكبيرة للفيديو)، سيئة جداً في هذه المهمة البسيطة. فبينما يصيب البشر في هذه المهمة بنسبة تقارب 100%، غالباً ما تخمن هذه النماذج عشوائياً، تماماً مثل رمي العملة المعدنية.

قرر المؤلفون لعب دور المحقق لمعرفة أين يفقد الذكاء الاصطناعي تتبع الوقت. قاموا بتفكيك الذكاء الاصطناٍ إلى ثلاثة أجزاء رئيسية وتتبعوا "سهم الزمن" عبر كل منها.

إليك قصة اكتشافهم، باستخدام تشبيهات بسيطة:

1. الكاميرا (مشفر الرؤية - Vision Encoder)

أولاً، نظروا إلى الجزء من الذكاء الاصطناعي الذي "يرى" الفيديو. وجدوا نوعين من الكاميرات:

كاميرا "إطار بإطار": تنظر إلى كل صورة في الفيديو بشكل فردي، مثل تقليب ألبوم صور. إنها تغفل الحركة بين الصور. ووجدت الورقة أن هذه الكاميرات عمياء عن الزمن؛ فهي لا تستطيع التمييز ما إذا كان الكأس يسقط أم يرتفع للأعلى.
كاميرا "الفيلم": تنظر إلى مقطع الفيديو بالكامل دفعة واحدة، وتفهم كيف ترتبط الإطارات ببعضها. هذه الكاميرات تستطيع رؤية سهم الزمن. وعندما اختبر المؤلفون هذا الجزء فقط من الذكاء الاصطناعي (بدون بقية الدماغ)، أصاب في الإجابة بنسبة 85-90%.

المشكلة: يمتلك الذكاء الاصطناعي "كاميرا فيلم" جيدة، ولكن شيئاً ما يسوء قبل أن تصل المعلومات إلى الدماغ.

2. المترجم (المسقط - Projector)

كاميرا الفيديو تتحدث لغة مختلفة عن "دماغ" الذكاء الاصطناعي (النموذج اللغوي). هناك وسيط يسمى المسقط (Projector) يقوم بترجمة الفيديو إلى رموز تشبه النصوص يمكن للدماغ فهمها.

اختبر المؤلفون نوعين من المترجمين:

"الملخص" (Q-Former): يحاول هذا المترجم أن يكون فعالاً؛ فهو ينظر إلى الفيديو بأكم له ويضغط محتواه إلى بضع جمل رئيسية، مثل مراجعة لفيلم. لسوء الحظ، أثناء القيام بذلك، فإنه يرمي الجدول الزمني. هو يخبر الدماغ بماذا حدث، ولكن ليس متى أو بأي ترتيب. وجدت الورقة أن هذا المترجم يدمر معلومات الوقت، مما يتسبب في فشل الذكاء الاصطناعي.
المترجم "الحافظ للزمن" (MLP): هذا المترجم حذر للغاية؛ فهو يحافظ على تسلسل الأحداث كما هي، مثل سيناريو يسرد كل مشهد بالترتيب. وعندما استخدموا هذا المترجم، ارتفع أداء الذكاء الاصطناعي بشكل هائل.

الاكتشاف: لم تكن العقبة في الكاميرا، بل في المترجم. المترجم القياسي كان يحذف "جزء الزمن" من الرسالة عن طريق الخطأ.

3. الدماغ (النموذج اللغوي الكبير - LLM)

أخيراً، نظروا إلى الدماغ نفسه. وجدوا أن الدماغ جيد جداً في فهم الوقت إذا تلقى المعلومات بشكل صحيح.

ومع ذلك، لاحظ المؤلفون أنه عندما يتم تدريب الكاميرا للتحدث مع الدماغ (عملية تسمى "المواءمة اللغوية")، تبدأ الكاميرا في نسيان التفاصيل المحددة للزمن للتركيز على مطابقة الكلمات. الأمر يشبه كاميرا تتعلم وصف الكأس بدقة شديدة لدرجة أنها تنسى ما إذا كان الكأس يسقط أم يرتفع.
يعمل الدماغ بشكل أفضل عندما يحصل على بيانات زمنية خام وغير مصفاة من الطبقات السابقة للكاميرا، تمر عبر المترجم "الحافظ للزمن".

الحل: بناء ذكاء اصطناعي مدرك للزمن

باستخدام هذه القرائن، بنى المؤلفون نموذج Video-LLM جديداً بثلاث ترقيات محددة:

كاميرا "فيلم": تفهم الحركة بشكل صريح.
مترجم "حافظ للزمن": يرفض ضغط الجدول الزمني.
تدريب خاص: علموا الذكاء الاصطناعي خصيصاً على مهمة "سهم الزمن" (الفيديوهات التي تعمل للأمام مقابل التي تعمل للخلف).

النتيجة:
هذا الذكاء الاصطناعي الجديد لم يتحسن فحسب، بل هزم البشر. حقق دقة بلغت 98.1% في اختبار اتجاه الزمن، مقارنة بمتوسط البشر البالغ 89.2%.

علاوة على ذلك، لم يساعد هذا التدريب في اختبار الزمن فحسب، بل جعله أفضل في مهام أخرى تتطلب فهم الوقت، مثل تحديد ترتيب الأحداث في قصة أو اتجاه الحركة، مما حسن درجاته في معايير أخرى بنسبة تصل إلى 6 نقاط.

الملخص

تخلص الورقة البحثية إلى أنه لكي يفهم الذكاء الاصطناعي الوقت، فإنه يحتاج إلى شيئين:

كاميرا تسجل الوقت فعلياً، وليس مجرد صور.
مترجم لا يحذف الجدول الزمني عند تمرير الرسالة إلى الدماغ.

بمجرد إصلاح "التسريب" في المترجم، استطاع الذكاء الاصطناعي أخيراً رؤية سهم الزمن بوضوح.

ملخص تقني: تتبع سهم الزمن في نماذج الفيديو اللغوية الكبيرة (Video-LLMs)

بيان المشكلة

على الرغم من أن البشر يحلون مهمة "سهم الزمن" (AoT) —تحديد ما إذا كان الفيديو يعمل للأمام أو للخلف بناءً على عدم القابلية للانعكاس الفيزيائي— بدقة تقترب من الكمال، إلا أن نماذج الفيديو اللغوية الكبيرة (Video-LLMs) المتطورة لا تؤدي إلا بمستوى أعلى قليلاً من مستوى الصدفة. تثير هذه الفجوة في الأداء سؤالاً تشخيصياً حرجاً: هل يعود الفشل إلى عدم قدرة النماذج الخلفية البصرية (visual backbones) على ترميز المعلومات الزمنية، أم أن عنق الزجاجة يكمن في مكان آخر في بنية الـ Video-LLM (مثل الموّجه/projector أو النموذج اللغوي LLM)؟ تعاني نماذج Video-LLM الحالية، التي تربط عادةً مشفر رؤية بنموذج لغوي كبير عبر موّجه، من صعوبة في الاستدلال الزمني، وهو أمر ضروري لفهم الديناميكيات في العالم الحقيقي.

المنهجية

يستخدم المؤلفون نهج تتبع منهجي مكوناتي لعزل مكان ترميز المعلومات الزمنية، أو حفظها، أو فقدانها داخل مسار الـ Video-LLM. وتتمحور الدراسة حول ثلاثة أسئلة بحثية (RQs):

1. RQ1: هل يمكن للمشفر البصري ترميز المعلومات الزمنية؟

النهج: قام المؤلفون بفصل المشفر البصري عن النموذج اللغوي الكبير واستخدموا تقنية "الاستقصاء الانتباهي" (attentive probing). تم تدريب مصنف خفيف الوزن يعتمد على الانتباه فوق مشفرات بصرية مجمدة للتنبؤ باتجاه الفيديو (للأمام/للخلف).
مقارنة المشفرات: قارنوا بين المشفرات المرتكزة على الإطارات (التي تعالج الفيديوهات كإطارات فردية وتعتمد على التضمينات الموضعية للإشارات الزمنية، مثل Qwen2VL وDINOv2) مقابل المشفرات المرتكزة على الفيديو (التي تنمذج الديناميكيات الزمنية صراحة عبر الإطارات، مثل VJepa وInternVideo2).
النتيجة: نجحت المشفرات المرتكزة على الفيديو ذات النمذجة الزمنية الصريحة في ترميز إشارات قوية لـ AoT (محققة دقة تتراوح بين 85-88% في الاستقصاء). في المقابل، فشلت المشفرات المرتكزة على الإطارات فشلاً ذريعاً، حيث ظلت قريبة من مستوى الصدفة (~50%).

2. RQ2: كيف يمكن نقل المعلومات الزمنية بفعالية إلى النماذج اللغوية الكبيرة (LLMs)؟

النهج: استقصى المؤلفون "عنق زجاجة المعلومات" من خلال تحليل الموّجه (المكون الذي يربط الميزات البصرية بكلمات/tokens النموذج اللغوي) والديناميكيات الطبقية للمشفر.
تحليل الموّجه: قارنوا بين ثلاثة تصميمات للموّجه:
- Q-Former: يستخدم رموز استعلام قابلة للتعلم للالتفات إلى التمثيلات البصرية.
- MLP المضغوط زمنياً (Time-Compressed MLP): يقوم بتجميع الميزات على طول البعد الزمني قبل التوجيه.
- MLP المحافظ على الزمن (Time-Preserved MLP): يحافظ على البعد الزمني ( $T'$ ) مع تجميع الأبعاد المكانية فقط ( $H' \times W'$ ).
التحليل الطبقي: تتبعوا التمثيلات من طبقات مختلفة من المشفر (تحديداً المرحلة الأولى مقابل المرحلة الثانية من InternVideo2) عبر الموّجه وصولاً إلى النموذج اللغوي.
النتائج:
- عنق زجاجة الموّجه: تسبب Q-Former في تعطيل المعلومات الزمنية، مما أدى إلى انهيار الأداء إلى مستوى الصدفة حتى عند استخدام مشفرات قوية مرتكزة على الفيديو. تفوقت الـ MLPs المحافظة على الزمن بشكل كبير على Q-Former وعلى الـ MLPs المضغوطة زمنياً، مما يشير إلى أن الحفاظ على الدقة الزمنية أثناء التوجيه أمر بالغ الأهمية.
- تأثير المحاذاة اللغوية: بينما تحافظ مشفرات المرحلة الأولى (المدربة على الفيديو فقط) على معلومات زمنية صريحة في الطبقات المبكرة والمتوسطة، أظهرت مشفرات المرحلة الثانية (المحاذية للغة عبر تدريب نمط CLIP) تراجعاً في قابلية نقل المعلومات الزمنية. أصبحت المعلومات الزمنية في المرحلة الثانية أقل صراحة وأصعب في فك تشفيرها من قبل النموذج اللغسي، حتى مع استخدام موّجه محافظ على الزمن.

3. RQ3: هل يمكن للإشراف على AoT تحسين الاستدلال الزمني الأوسع؟

النهج: بنى المؤلفون نموذج Video-LLM يجمع بين مشفر فيديو مدرك للزمن (InternVideo2 المرحلة 1)، وموّجه MLP محافظ على الزمن، ونموذج لغوي كبير. قاموا بضبط النموذج بدقة باستخدام إشراف AoT (تصنيف للأمام/للخلف) جنباً إلى جنب مع الضبط التعليمي العام.
التقييم: اختبروا النموذج على معيار AoT (وهو AoTP P B) ومعايير الاستدلال الزمني الأوسع (VITATECS-Direction، TVBench)، مقارنة بمعايير الفيديو العامة (MVBench، Video-MME) لضمان عدم حدم القدرات العامة.

المساهمات الرئيسية

تشخيص الترميز الزمني: إثبات أن النمذجة الزمنية الصريحة في المشفرات المرتكزة على الفيديو كافية لترميز إشارات قوية لـ AoT، بينما المشفرات المرتكزة على الإطارات غير كافية جوهرياً لهذه المهمة.
تحديد الاختناقات الهيكلية: تحديد تصميم الموّجه كعنق زجاجة رئيسي. وتحديداً، أن بنيات Q-Former تعطل التدفق الزمني، بينما تعتبر الـ MLPs المحافظة على الزمن ضرورية لنقل المعلومات الزمنية إلى النموذج اللغوي.
تأثير المحاذاة اللغوية: الكشف عن أن المحاذاة اللغوية بنمط CLIP (تدريب المرحلة الثانية) تجعل المعلومات الزمنية أقل صراحة وأصعب في النقل مقارنة بالتدريب المرتكز على الفيديو الصرف (المرحلة الأولى).
طفرة في الأداء: بناء نموذج Video-LLM يتفوق على أداء البشر في معيار AoTP P B (دقة 98.1% مقابل 89.2% للبشر).
التعميم: إظهار أن الإشراف على AoT يعمل كإشارة تدريب فعالة تحسن مهام الاستدلال الزمني الأوسع (بزيادة تصل إلى 6.0 نقاط في VITATECS-Direction) دون الإضرار بفهم الفيديو العام.

النتائج

الاستقصاء (Probing): حققت المشفرات المرتكزة على الفيديو (مثل VJepa-H) دقة 88.8% في استقصاء AoT، بينما حامت المشفرات المرتكزة على الإطارات (مثل Qwen2.5VLViT) عند 50.7%.
أداء VQA: أدت نماذج Video-LLM القياسية (مثل InternVideo2VL مع Q-Former) إلى مستوى الصدفة (50.0%) في مهام AoT VQA رغم استخدامها لمشفر قوي مرتكز على الفيديو.
اختبار الموّجه (Projector Ablation): استبدال Q-Former بـ MLP محافظ على الزمن في InternVideo2 المرحلة 1 رفع دقة AoT VQA من 50.0% إلى 95.1%.
النموذج النهائي: حقق النموذج المقترح (مشفر المرحلة 1 + MLP محافظ على الزمن + إشراف AoT) نسبة 98.1% في معيار AoTP P B.
المهام الأوسع: حسن النموذج من VITATECS-Direction بمقدار 6.0 نقاط ومن TVBench بمقدار 1.3 نقطة. ظل الأداء في المعايير العامة (MVBench، Video-MME) مستقراً، مما يشير إلى أن المكاسب محددة بالاستدلال الزمني.

الأهمية

تجادل الورقة بأن فشل نماذج Video-LLM الحالية في الاستدلال الزمني ليس ناتجاً فقط عن نقص في الترميز الزمني في الخلفية البصرية، بل هو فشل في نقل المعلومات بسبب تصميمات الموّجه غير المناسبة والآثار الجانبية للمحاذاة اللغوية. من خلال تتبع "سهم الزمن" عبر البنية، يقدم المؤلفون تفسيراً ميكانيكياً لهذه الإخفاقات ويقترحون مبادئ هيكلية عملية (مشفرات مرتكزة على الفيديو + موجهات محافظة على الزمن) للتغلب عليها. يشير العمل إلى أن الإشراف الصريح على عدم القابلية للانعكاس الفيزيائي (AoT) هو استراتيجية قابلة للتطبيق وفعالة لتعزيز قدرات الاستدلال الزمني في النماذج متعددة الوسائط.