LongVU-TTT: Causal Test-Time Training for Visual Resampling in Long Video Understanding
يقدم LongVU-TTT مُعيد عينات سببي للتدريب أثناء وقت الاختبار مع أوزان سريعة تكيُّفية ومُنتقي هجين لضغط تسلسلات الفيديو الطويلة بفعالية مع الحفاظ على الأدلة الزمنية الحرجة، محققاً أداءً هو الأفضل في فئته عبر العديد من معايير فهم الفيديو.
إن مشاهدة فيديو طويل مع ذكاء اصطناعي تشبه مطالبة شخص بتذكر كل ثانية من فيلم مدته ساعتان بينما يجيب في الوقت نفسه على سؤال محدد حوله. إن أنظمة الذكاء الاصطناعي الحالية التي تفهم الفيديو مبنية على أساس حيث يقوم مكون يشبه الكاميرا بمسح كل إطار وتمرير وصف له إلى "دماغ لغوي". تكمن المشكلة في أنه كلما زاد طول الفيديو، تضخمت كمية المعلومات لدرجة لا يستطيع معها الدماغ اللغوي استيعابها جميعًا في ذاكرته قصيرة الممد. وللتعامل مع ذلك، حاول المهندسون تلخيص الفيديو عبر اختيار بعض الإطارات التمثيلية أو دمج اللحظات المتشابهة، لكن هذه الأساليب غالبًا ما تجرد الفيديو من التفاصيل الدقيقة اللازمة لفهم كيفية تغير المشهد بمرور الوقت. يظل التحدي الجوهري قائمًا: كيف يمكن للذكاء الاصطناعي معالجة مئات الإطارات من فيديو دون فقدان القصة، مع الاستمرار في احتواء المعلومات ضمن مساحة ذاكرة محدودة؟
لقد طور فريق من الباحثين نهجًا جديدًا يسمى LongVU-TTT لحل هذه العقبة. فبدلاً من إجبار الدماغ اللغوي على القيام بكل العمل الشاق لتتبع الوقت، قاموا بإدراج طبقة معالجة متخصصة بين الكاميرا والدماغ. تعمل هذه الطبقة كمرشح ديناميكي يراقب الفيديو أثناء تشغيله، ويقوم بتحديث فهمه الداخلي لما يحدث باستمرار. وبدلاً من معاملة كل إطار كصورة ثابتة، يتعلم هذا النظام التعرف على متى يتغير المحتوى البصري. وهو يفعل ذلك من خلال تعديل اتصالاته الداخلية في الوقت الفعلي أثناء معالجة التدفق، مما يخلق فعليًا ملخصًا جارياً لتاريخ الفيديو. وعندما يحدث تغيير كبير، مثل دخول شخصية إلى غرفة أو انعطاف سيارة عند زاوية، يقوم النظام بتمييز تلك اللحظة كلحظة مهمة.
وجد الباحثون أن طريقة التعديل المستمر واللحظي هذه تعمل بشكل أفضل من التقنيات السابقة التي اعتمدت على أنماط ثابتة أو متوسط حسابي بسيط. ومن خلال استخدام هيكل يحترم التخطيط ثنائي الأبعاد للصورة — تمامًا كما تدرك أعيننا الأشكال والحواف بدلاً من مجرد قائمة مسطحة من البكسلات — يلتقط النظام التفاصيل المحلية التي تغفل عنها الأساليب الأخرى. والأهم من ذلك، اكتشف الفريق أن هذا الملخص الجاري الداخلي ليس أرشيفًا مثاليًا للماضي؛ بل يعمل كـ "مراقب ماهر" يتذكر التدفق العام للأحداث والتغيرات الأخيرة، لكنه لا يستطيع تذكر كل تفصيل محدد من بداية فيديو طويل. وبسبب ذلك، يجمع النظام بين فهمه الديناميكي وعملية اختيار ذكية؛ فهو يحتفظ بالإطارات التي حدثت فيها أهم التغييرات، ويملأ بقية الذاكرة بعينات موزعة بانتظام لضمان تغطية الخط الزمني.
في اختباراتهم، عالج الباحثون فيديوهات تحتوي على ما يصل إلى 512 إطارًا، وضغطوها إلى 128 إطارًا فقط ليقرأها الدماغ اللغوي. ورغم هذا الاختزال الكبير، حقق النظام أداءً أفضل من النماذج الحالية في خمس معايض مصممة لاختبار فهم الفيديو. وقد أظهر قوة خاصة في المهام التي تتطلب من الذكاء الاصطناعي تتبع التغييرات بمرور الوقت، متفوقًا على الأساليب المتقدمة الأخرى بهوامش ملموسة. كما أوضحت الدراسة قيدًا حيويًا: فبينما تعتبر الحالة الداخلية للنظام ممتازة في تجميع اللحظات ذات الصلة وتسليط الضوء على التحولات، إلا أنها لا يمكن أن تحل محل الحاجة إلى الاحتفاظ بالدليل البصري الفعلي للأحداث البعيدة. وكانت أفضل النتائج هي تلك التي استخدم فيها النظام معرفته الداخلية لتوجيه عملية اختيار الإطارات، مما يضمن الحفاظ على الدليل البصري الأكثر أهمية للإجابة النهائية.
ولجعل هذا العمل ممكنًا على أجهزة الكمبيوتر القياسية، طور الفريق أيضًا طريقة للتعامل مع متطلبات الذاكرة الهائلة للتدريب على الفيديوهات الطويلة. فقد طوروا طريقة تقسم المعالجة إلى أجزاء أصغر يمكن إدارتها، وتنقل البيانات بين الذاكرة الرئيسية للكمبيوتر ومعالجه بطريقة تحافظ على سلاسة عمل النظام دون تباطؤ. سمح هذا لهم بتدريب النموذج على تسلسلات طويلة باستخدام بطاقات رسوميات قياسية متاحة على نطاق واسع، بدلاً من الحاجة إلى مجموعات حوسبة فائقة متخصصة وباهظة الثمن. والنتيجة هي نظام يمكنه فهم الفيديوهات الطويلة بدقة وكفاءة أكبر، مما يثبت أن مفتاح التعامل مع التسلسلات الطويلة لا يكمن فقط في امتلاك ذاكرة أكبر، بل في معرفة اللحظات التي يجب تذكرها بالضبط.
ملخص تقني: LongVU-TTT
بيان المشكلة
تواجه نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) للفيديوهات الطويلة عقبة جوهرية: فكلما زاد طول الفيديو، يزداد عدد الرموز المرئية (visual tokens) خطياً، بينما تجعل التعقيد التربيعي لآلية الانتباه الذاتي (self-attention) في نماذج LLM عملية معالجة التسلسلات الطويلة مكلفة حوسبياً. تستراتيجيات الضغط الحالية (مثل التجميع المكاني، أو دمج الرموز، أو الحذف التفاضلي) تعمل عادةً على تقليل الميزات على مستوى الإطار قبل نمذجة التغيرات الزمنية بشكل صريح. وبناءً على ذلك، غالباً ما تقوم هذه النماذج بضغط المعلومات دون فهم مبدئي لما تغير عبر الإطارات. علاوة على ذلك، بينما توفر البنى المتكررة مثل نماذج الحالة الفراغية (SSMs) الانتشار الزمني، إلا أن مشغلاتها التسلسلية المسطحة تفشل في ترميز التفاعلات المحلية ثنائية الأبعاد (2D) التي تكمل التمثيلات العالمية لمشفرات Vision Transformer (ViT).
المنهجية: LongVU-TTT
قدم المؤلفون LongVU-TTT، وهو نموذج MLLM للفيديو يقوم بإدراج مُعيد أخذ عينات (resampler) تلافيفي للتدريب في وقت الاختبار (TTT) بين مشفر ViT ونموذج LLM. تعالج هذه البنية الإطارات بشكل متكرر لإثراء التمثيلات بالسياق الزمني قبل عملية الضغط.
المكونات الأساسية
مُعيد أخذ عينات TTT التلافيفي (TTT-Conv):
بخلاف أعمال TTT السابقة التي تستخدم أوزانًا سريعة تعتمد على MLP أو تسلسلات مسطحة، يقوم LongVU-TTT بتمثيل الأوزان السريعة كـ تلافيفات ثنائية الأبعاد (2D) مجمعة. يحافظ هذا على الهيكل المكاني (H×W) لميزات الإطار أثناء الانتشار الزمني.
تستخدم الطبقة تحديثات أوزان سريعة سببية (causal fast-weight updates): لكل إطار، يتم تحديث الحالة الخفية (الأوزان السريعة) بناءً على الإطارات السابقة فقط.
تعمل قاعدة التحديث على تقليل خسارة المحاذاة (alignment loss) ذاتية الإشراف (L) بين إسقاط قيمة الإطار الحالي والخرائط الناتجة عن الأوزان السريعة الحالية.
التجسيد السببي المتوازي (Parallel Causal Materialization): لموازنة الترتيب السببي مع كفاءة وحدة معالجة الرسومات (GPU)، استخدم المؤلفون استراتيجية يتم فيها حساب التدرجات الخام بشكل مستقل لكل إطار داخل كتلة (chunk)، ثم تجميعها عبر عمليات الجمع التراكمي القبلي (prefix sums) لتجسيد حالات الأوزان في وقت واحد. هذه الاستراتيجية تضحي بذاكرة التنشيط مقابل الحوسبة المتوازية، ويتم إدارتها عبر التحقق من التنشيط غير المتزامن (asynchronous activation checkpointing).
اختيار الإطارات الهجين القائم على البروز (Saliency-Driven):
تولد عملية التحسين في الحلقة الداخلية إشارات تدرج تعمل كمقياس طبيعي لأهمية الإطار، مما يلغي الحاجة إلى مقيّم متعلم مساعد.
يتم استخراج إشارتين:
إزاحة اتجاه التدرج (Gt): تقيس المسافة الجيبية تماماً (cosine distance) بين تدرجات الأوزان السريعة للإطارات المتتالية للكشف عن التغيرات على مستوى المشهد.
دلتا خسارة المحاذاة (Rt): تقيس الزيادات الإيجابية في خسارة المحاذاة للكشف عن التغيرات على مستوى الحدث داخل المشهد.
يقوم المُحدد الهجين بدمج هذه الإشارات (بوزن α=0.4) مع أخذ العينات المنتظم. فهو يحتفظ بأكثر الإطارات بروزاً (مجموعة "الهايلايت" - Highlight Set) ويملأ الميزانية المتبقية بالإطارات المختارة بانتظام (مجموعة "المنتظمة" - Uniform Set) لضمان التغطية الزمنية.
تحسينات النظام:
لتمكين التدريب على 512 إطاراً باستخدام وحدات GPU بقدرة 40 جيجابايت دون استخدام توازي التسلسل، نفذ المؤلفون ما يلي:
معالجة ViT بنظام البلاطات الدفعية (Batch-Tiled ViT Processing): تقسيم دفعة إطارات ViT إلى بلاطات مستقلة، مع تأجيل عملية تقليل تدرج ZeRO-3 حتى الوصول إلى البلاطة النهائية.
إزاحة التنشيط إلى المعالج (CPU) غير المتزامنة: نقل التنشيطات إلى ذاكرة CPU أثناء تمرير الأمام (forward pass) وجلبها مسبقاً بشكل غير متزامن أثناء تمرير الخلف (backward pass)، مما يضمن تداخل الاتصال مع الحوسبة.
المساهمات الرئيسية
ابتكار معماري: مُعيد أخذ عينات TTT تلايفي مع تحديثات أوزان سريعة سببية يكيف الأوزان ثنائية الأبعاد المجمعة لسياق ميزات الفيديو قبل الوصول إلى عنق الزجاجة للرموز المرئية في LLM.
آلية الاختيار: مُحدد إطارات هجين مدفوع بالبروز يستفيد من إزاحات اتجاه التدرج ودلتا خسارة المحاذاة للاحتفاظ بانتقالات المشاهد والتغيرات المرئية دون الحاجة لنماذج مساعدة.
دراسة مضبوطة: مقارنة منهجية للمشغلات الزمنية (Transformers, Gated DeltaNet, Mamba2, TTT-MLP) عند مرحلة المشروع (projector)، مما يثبت أن ترتيب التحديث السببي والمعالجة المحلية ثنائية الأبعاد الصريحة هما خياران تصميميان حاسمان.
رؤية تشخيصية: تقديم أدلة تظهر أن الأوزان السريعة للمشروع تعمل كـ مجمعات زمنية بدلاً من كونها مخازن ذاكرة سردية موثوقة؛ حيث يتضاءل نفعها كلما ابتعدت الأدلة، مما يحفز الاحتفاظ بالإطارات الصريحة للاستدلال طويل المدى.
النتائج التجريبية
تم تقييم النموذج على خمسة اختبارات مرجعية: MLVU, LongVideoBench, Video-MME, NExT-QA, و LVBench.
الأداء: يعالج LongVU-TTT ما يصل إلى 512 إطاراً ويقلصها إلى 128 إطاراً لنموذج LLM. وقد حقق أداءً تنافسياً عبر جميع الاختبارات الخمسة، متفوقاً على أقرب خط أساس تدريبي له (LLaVA-Video) في جميعها.
في MLVU، يتفوق TTT-Conv على TTT-MLP بمقدار +2.12 وعلى Mamba2 ثنائي الاتجاه بمقدار +3.04 تحت ظروف مضبوطة.
يتفوق على مُعيدات أخذ العينات القائمة على الانتباه والمستمرة (recurrent) ذات الحالة الثابتة عبر ثلاثة اختبارات مرجعية.
نتائج الدراسة الاستقصائية (Ablation Findings):
السببية مقابل غير السببية: التحديثات السببية تتفوق على غير السببية.
ثنائية الأبعاد مقابل أحادية البعد: التلافيف المجمعة ثنائية الأبعاد (TTT-Conv) تتفوق على صيغة TTT-MLP أحادية البعد.
الاحتفاظ بالحالة: حمل حالة الوزن السريع عبر الكتل (chunks) يحسن الأداء، لكن إعادة ضبطها في كل إطار أو استخدام شبكات مبعثرة يقلل من هذه الميزة.
الاختيار: استراتيجية الاختيار الهجين (التي تجمع بين إشارات التدرج وأخذ العينات المنتظم) تتفوق على طرق الاختيار العشوائي أو المنتظم أو أحادي الإشارة.
الكفاءة: وسعت تحسينات النظام الحد الأقصى لعدد الإطارات القابلة للتدريب بمقدار 4 أضعاف على أجهزة 40 جيجابايت وقللت زمن انتقال خطوة التدريب بمقدار يصل إلى 2.23 ضعف عند استخدام 64 وحدة GPU مقارنة بالخطوط الأساسية القياسية.
الأهمية والادعاءات
يؤطر البحث مساهمته بتواضع ليس كنموذج جديد يحقق أعلى النتائج (SOTA) عبر جميع النماذج غير المتجانسة، بل كـ دراسة مضبوطة لتقنية TTT في مرحلة المشروع لنموذج MLLM للفيديو.
التجميع الزمني مقابل الذاكرة السردية: النتيجة المركزية هي أن حالة الوزن السريع تعمل كـ مجمع زمني وليس كمخزن ذاكرة سردية طويل المدى موثوق. تتضاءل فائدة الحالة السريعة مع زيادة الفجوة الزمنية بين الدليل والاستعلام. لذلك، يعتمد النموذج على الاحتفاظ بالإطارات الصريحة (عبر المحدد الهجين)، مستخدماً طبقة TTT أساساً لسياق الميزات قبل عملية الاختيار.
مبادئ التصميم: يسلط العمل الضوء على أن الحفاظ على الهيكل المكاني ثنائي الأبعاد وفرض ترتيب التحديث السببي أمران ضروريان للنمذجة الزمنية الفعالة في مرحلة المشروع.
القابلية للتوسع: تثبت تحسينات النظام المقترحة أن تدريب الفيديوهات الطويلة (حتى 512 إطاراً) ممكن على أجهزة 40 جيجابايت عادية دون الحاجة إلى بنية تحتية متخصصة لتوازي التسلسل أو توزيع الانتباه.
يخلص المؤلفون إلى أن LongVU-TTT يعالج بفعالية التكرار الزمكاني عبر اشتقاق إشارات الضغط مباشرة من تحديثات الحلقة الداخلية لـ TTT، مما يلتقط التغير المرئي كناتج ثانوي للانتشار الزمني بدلاً من الاعتماد على مقاييس تشابه خارجية.