Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "الضغط الديناميكي للرموز من أجل فهم فعال للفيديو عبر التعلم التعزيزي" (SCORE).

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) صعوبة في فهم الفيديو طويل المدى بسبب عقبتين رئيسيتين:

• العبء الحسابي: تُنتج مشفرات الرؤية القياسية عشرات الآلاف من الرموز البصرية لكل فيديو. وبما أن آلية الانتباه الذاتي (self-attention) في النماذج اللغوية الكبيرة تتوسع بشكل تربيعي ($O(N^2)$) مع طول التسلسل، فإن معالجة هذه التدفقات الهائلة من الرموز تؤدي إلى زمن انتقال (latency) وتكاليف ذاكرة باهظة.
• تعفن السياق (Context Rot): مع نمو تسلسل الرموز، تتضاءل قدرة النموذج على الاستفال من المعلومات، لا سيما بالنسبة للرموز الموجودة في منتصف التسلسل. فالزيادة المفرطة في التكرار البصري (مثل الخلفيات الثابتة أو الأفعال المتكررة) تطغى على المعلومات ذات الأهمية الدلالية، مما يؤدي إلى تدهور الأداء.

محددات الطرق الحالية:

• القائمة على التحويل: تفتقر الطرق التي تستخدم التجميع الثابت (fixed pooling) أو الالتفاف (convolution) إلى التكيف مع المحتوى، وغالبًا ما تتخلص من المعلومات الحرجة جنباً إلى جنب مع المعلومات الزائدة.
• القائمة على الاستدلال (Heuristic-based): الطرق التي تعتمد على مقاييس التشابه أو تقليم الانتباه (attention pruning) تكون منفصلة عن هدف المهمة النهائية، مما يخلق فجوة في التحسين تحد من فعاليتها عبر الفيديوهات المتنوعة.

2. المنهجية: إطار عمل SCORE

يقترح المؤلفون SCORE (الضغط المعتمد على المفاجأة للرموز عبر التعلم التعزيزي)، وهو إطار عمل موحد يتعلم سياسة تكثيف رموز تكيفية وشاملة (end-to-end).

أ. البنية الهيكلية

يضع SCORE ضاغط رموز بصري (Token-Level Visual Compressor) خفيف الوزن وقابل للتدريب بين مشفر رؤية مجمد ونموذج لغوي كبير (LLM) مجمد.

• المدخلات: الرموز البصرية $X^{[t]}$ من مشفر الرؤية.
• تمثيل الحالة (المعزز بالمفاجأة): لالتقاط الديناميكيات الزمنية، لا ينظر الضاغط فقط إلى تضمين الرمز الحالي. بل يقوم بدمج التضمين الحالي مع بقايا ما بين الإطارات (إشارة المفاجأة/الدهشة):
  $$H^{[t]} = [X^{[t]}; \Delta X^{[t]}], \quad \text{حيث } \Delta X^{[t]} = X^{[t]} - X^{[t-1]}$$
  تعمل هذه البقايا كمرشح تمرير عالٍ (high-pass filter) زمني، مما يبرز الحركة والتغيرات الدلالية بينما يقلل من التكرار الساكن.
• شبكة السياسة (Policy Network): تقوم شبكة MLP خفيفة الوزن برسم خرائط للحالة $H^{[t]}$ إلى احتمالية الاحتفاظ $p_{t,i}$ لكل رمز عبر دالة Sigmoid.

ب. استراتيجية التدريب

يتم تحسين السياسة باستخدام التعلم التعزيزي داخل السياسة (On-Policy Reinforcement Learning) مع تركيز خاص على الاستقرار والتعلم المنهجي (Curriculum Learning).

1. عمليات التدحرج الجماعية (Group Rollouts): لكل فيديو، تقوم السياسة بأخذ عينات من $K$ من الأقنعة الثنائية المستقلة (التقليم العشوائي). يقوم النموذج اللغوي الكبير بتوليد استجابات لكل مدخل مقلم لتقييم الأداء.
2. دالة المكافأة: توازن مكافأة مركبة بين الدقة والتناثر (Sparsity):
   • مكافأة الأداء ($R_{perf}$): تعتمد على تقليل خسارة الإنتروبيا المتقاطعة (Cross-Entropy CE) مقارنة بالمرجع الأساسي ذي الرموز الكاملة.
   • مكافأة التناثر ($R_{comp}$): تقيس نسبة الضغط (نسبة الرموز التي تم الاحتفاظ بها).
3. مقدر الميزة المنقسم (Split-Advantage Estimator): لتثبيت التدريب، يتم تصنيف عمليات التدحرج إلى منطقتين:
   • المنطقة الآمنة ($\Delta CE > 0$): يتم الحفاظ على الأداء أو تحسينه. يتم تطبيع الميزة (advantage) بالنسبة للتناثر لتشجيع ضغط أعلى بين العينات الناجحة.
   • منطقة العقوبة ($\Delta CE \le 0$): ينخفض الأداء. تكون الميزة سالبة ويتم وزنها بالتناثر لمعاقبة التقليم الجريء الذي يضر بالدقة، مما يجبر السياسة على الاحتفاظ بمزيد من الرموز.
4. التعلم المنهجي ذو المرحلتين:
   • المرحلة 1 (الفيديوهات الزائفة): التدريب المسبق على مقاطع اصطناعية تم إنشاؤها عن طريق تكرار صور ثابتة. هذا يخلق إشارات زمنية "ثنائية" عالية التباين (بقايا صفرية للتكرارات، وبقايا كبيرة للانتقالات)، مما يسمح للسياسة بسرعة تعلم الارتباط بين البقايا وأهمية الرموز.
   • المرحلة 2 (الفيديوهات الحقيقية): الضبط الدقيق على مجموعات بيانات فيديو-وصف حقيقية. تتكيف السياسة من الإشارات الزائفة النظيفة إلى الحركة المعقدة والضوضائية في فيديوهات العالم الحقيقي.

ج. الاستدلال

أثناء الاستدلال، يتم استبدال أخذ العينات العشوائي بـ اختيار Top-K العالمي الحتمي. يحتفظ النموذج بأعلى $\lfloor \rho TN \rfloor$ من الرموز بناءً على احتمالات الاحتفاظ الخاصة بها، مع الحفاظ على مواقعها المكانية والزمانية الأصلية.

3. المساهمات الرئيسية

1. إطار عمل SCORE: أول ضاغط رموز بصري على مستوى الرمز يعتمد على التعلم التعزيزي لنماذج MLLM للفيديو، والذي يتعلم سياسات الاحتفاظ لكل رمز من خلال تحسين جودة التوليد النهائية بشكل مباشر.
2. حالة معززة بالمفاجأة: تمثيل مبتكر للحالة باستخدام بقايا ما بين الإطارات لالتقاط الديناميكيات الزمنية صراحةً، مما يكسر التماثل في التضمينات الرمزية الساكنة.
3. استراتيجية تدريب متقدمة: مزيج تآزري من تدرجات السياسة الجماعية، ومقدر الميزة المنقسم (الذي يعالج استيفاء القيود مقابل انتهاكها)، والمنهج التدريجي من الزائف إلى الحقيقي.
4. أداء رائد (SOTA): يثبت أن الضغط المتعلم لا يمكنه فقط تقليل التكاليف ولكن أيضاً تخفيف تعفن السياق، حيث يتفوق أحياناً على النماذج غير المضغوطة.

4. النتائج التجريبية

تم تقييم الطريقة على Qwen2.5-VL و LLaVA-Video عبر ثلاثة اختبارات مرجعية: Video-MME، و MLVU، و LVBench.

• الدقة مقابل الكفاءة:
  • عند احتفاظ بنسبة 25%، يحقق SCORE متوسط درجة قدره 58.9، متفوقاً على نموذج Vanilla غير المضغوط (57.3) وجميع النماذج المرجعية. هذا يؤكد أن إزالة الرموز الزائدة تخفف من تعفن السياق.
  • عند احتفاظ بنسبة 10%، يحتفظ SCORE بـ 99.5% من أدائه الأصلي مع تحقيق تسريع بمقدار 16 ضعفاً في زمن انتقال التمهيد (prefill latency).
• المقارنة: يتفوق SCORE باستمرار على النماذج المرجعية القوية مثل DyCoke و HoliTom و VidCom2 و FastVID عبر جميع نسب الاحتفاظ (10%، 25%، 40%).
• التعميم: تنتقل السياسة بفعالية إلى هياكل MLLM مختلفة (مثل LLaVA-Video)، مما يشير إلى أنها تتعلم استراتيجية ضغط قابلة للتعميم بدلاً من الإفراط في التخصيص (overfitting) لنموذج معين.
• الكفاءة: تقليل الرموز من ~42 ألف إلى ~4 آلاف (احتفاظ بنسبة 10%) يؤدي إلى تقليل بمقدار 16.2 ضعفاً في وقت التمهيد مع عبء ضئيل جداً من الضاغط نفسه (أقل من 1% من الوقت الإجمالي).

5. الأهمية

يعالج SCORE عائقاً حرجاً أمام نشر نماذج MLLM للفيديو في التطبيقات التي تتطلب استجابة سريعة وزمن انتقال منخفض. من خلال صياغة ضغط الرموز كمسألة تعلم تعزيزي، فإنه يتجاوز الاستدلالات الثابتة لإنشاء مرشح ديناميكي مدرك للمحتوى. الرؤية الجوهرية هي أن التكرار ليس مجرد عبء حسابي بل هو مصدر لـ "تعفن السياق"؛ لذا فإن تقليمه بذكاء يمكن أن يحسن بالفعل قدرات الاستدلال للنموذج. يوفر التعلم المنهجي المقترح والحالة المعززة بالمفاجأة مخططاً قوياً للتعامل مع الديناميكيات الزمنية المعقدة لفهم الفيديو طويل المدى.