🤖 AI

AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

يُعد AdaptToken إطار عمل لا يتطلب تدريبًا، حيث يستفيد من عدم اليقين الذاتي للنماذج اللغوية الكبيرة متعددة الوسائط (MLLM) والانتباه عبر الوسائط لتخصيص ميزانيات الرموز ديناميكيًا عبر مجموعات الفيديو وتمكين التوقف المبكر، مما يحسن بشكل كبير دقة وكفاءة فهم الفيديوهات الطويلة عبر مختلف المعايير وأحجام النماذج.

المؤلفون الأصليون: Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز ما، ولكن بدلاً من فيديو قصير مدته 5 دقائق، تم تسليمك شريط مراقبة لمدة 10 ساعات لمدينة مزدحمة.

مهمتك هي الإجابة على سؤال محدد: "ماذا كان يفعل الشخص الذي يرتدي القبعة الحمراء في الساعة 3:00 مساءً؟"

إذا حاولت مشاهدة الشريط المكون من 10 ساعات بالكامل دفعة واحدة، فإن دماغك (أو في هذه الحالة ذاكرة الكمبيوتر) سينفجر. ستشعر بالتعب، وستنسى البداية بحلول الوقت الذي تصل فيه إلى النهاية، ومن المرجح أن تفوتك الإشارة الحاسمة لأنها كانت مدفونة تحت ساعات من اللقطات المملة لحركة المرور والسحب.

هذه هي المشكلة ذاتها التي يحلها AdaptToken لنماذج الذكاء الاصطناعي التي تحاول فهم الفيديوهات الطويلة. إليك كيف يعمل، مقسماً إلى مفاهحات بسيطة:

1. المشكلة: قضية "كومة القش"

نماذج الذكاء الاصطناعي الحالية تشبه المحققين الذين يحاولون قراءة كل كلمة في مكتبة للعثور على جملة واحدة محددة.

الحدود: لديهم مدى انتباه قصير (حدود الذاكرة).
الهدر: إذا قمت بتغذيتهم بفيديو مدته 10 ساعات، فإنهم يهدرون كميات هائلة من الطاقة في مشاهدة الأجزاء المملة (مثل لقطة ثابتة لجدار) التي لا علاقة لها بسؤالك.
الطريقة القديمة: حاولت الطرق السابقة اختيار إطارات "مهمة"، لكنها كانت مثل اختيار صفحات عشوائية من كتاب دون قراءة السياق. غالباً ما كانوا يفقدون الصورة الكبيرة أو يعلقون في التفاصيل المحلية.

2. الحل: "المحقق الذكي" (AdaptToken)

يعمل AdaptToken كاستراتيجية جديدة تعمل مثل محقق فائق الذكاء وواعٍ بذاته. هو لا يقوم فقط بمسح الفيديو؛ بل يسأل نفسه باستمرار: "هل أعرف ما يكفي لحل هذا اللغز بعد؟"

يعمل من خلال ثلاث خطوات ذكية:

الخطوة أ: "فحص الثقة" (الاعتلاج/الإنتروبي)

تخيل أن المحقق ينظر إلى مقطع صغير من الفيديو.

إذا كان المقطع يظهر شارعاً مملاً، يقول المحقق: "ليس لدي أدنى فكرة عما يفعله صاحب القبعة الحمراء. أنا غير متأكد للغاية." (اعتلاج مرتفع - High Entropy).
إذا كان المقطع يظهر صاحب القبعة الحمراء وهو يسرق حقيبة، يقول المحقق: "آها! أرى ذلك بوضوح! أنا متأكد جداً." (اعتلاج منخفض - Low Entropy).

يستخدم AdaptToken هذا الشعور بـ اليقين كإشارة. فهو يعامل "اليقين العالي" كإشارة ضوء خضراء تقول: "هذا الجزء من الفيديو هو ذهب! احتفظ بمزيد من التفاصيل من هنا." ويعامل "عدم اليقين" كإشارة ضوء حمراء تقول: "هذا مجرد ضجيج. تخلص من معظمه."

الخطوة ب: "مدير الميزانية"

يمتلك الذكاء الاصطناعي "ميزانية توكن" محدودة (حد على مقدار المعلومات التي يمكنه معالجتها).

الطريقة القديمة: إعطاء كل جزء من الفيديو حصة متساوية من الميزانية.
طريقة AdaptToken: ينظر إلى نتائج "فحص الثقة". إذا جعلت المجموعة (أ) من الفيديو الذكاء الاصطناعي متأكداً جداً، فإنه يعطي المجموعة (أ) 90% من الميزانية. وإذا جعلت المجموعة (ب) الذكاء الاصطناعي مرتبكاً، فإنه يعطي المجموعة (ب) 10% فقط.
النتيجة: يركز الذكاء الاصطناعي طاقته فقط على أجزاء الفيديو التي تساعد فعلياً في الإجابة على السؤال.

الخطوة ج: "الخروج المبكر" (AdaptToken-Lite)

هذا هو الجزء الأروع.
تخيل أن المحقق يشاهد الفيديو. بعد مشاهدة 20 دقيقة فقط، وجد صاحب القبعة الحمراء وهو يسرق الحقيبة. إنه متأكد بنسبة 100%.

الذكاء الاصطناعي القديم: "يجب أن أشاهد الـ 9 ساعات و40 دقيقة المتبقية لأكون دقيقاً!" (يهدر الوقت).
AdaptToken-Lite: "أنا واثق! لقد انتهيت. دعنا نتوقف عن المشاهدة ونعطي الإجابة."

إنه يتوقف عن معالجة بقية الفيديو تماماً، مما يقلص الوقت إلى النصف دون فقدان الدقة.

3. لماذا يعد هذا أمراً هاماً؟

إنه "خالٍ من التدريب": لا تحتاج لتعليم الذكاء الاصطناعي مهارة جديدة. هو فقط يستخدم "شعوره الداخلي" (عدم اليقين) لاتخاذ قرارات أذكى.
إنه قابل للتوسع: يعمل على فيديوهات يصل طولها إلى 10,000 إطار (ساعات من اللقطات)، وهو أمر كان مستحيلاً سابقاً لهذه النماذج.
إنه سريع: من خلال تخطي الأجزاء المملة والتوقف مبكراً، فإنه يحل المشكلات أسرع بمرتين.

ملخص التشبيه

فكر في مشاهدة فيديو طويل مثل قراءة رواية غموض مكونة من 1000 صفحة للعثين على دليل محدد.

الطريقة القديمة: تقرأ كل صفحة، كلمة بكلمة، على أمل ألا تفوتك الإشارة. تصبح مرهقاً ومتعباً.
AdaptToken: تقوم بتصفح الصفحات. عندما تصل إلى فصل يبدو "مألوفاً" ومنطقياً، تقرأه بتمعن. وعندما تصل إلى فصل يبدو مربكاً أو غير ذي صلة، تتخطاه. وفي اللحظة التي تجد فيها الدليل، تغلق الكتاب وتصرخ: "لقد حللت اللغز!"

يحول AdaptToken الذكاء الاصطناعي من قارئ بطيء ومرهق إلى محقق سريع وبديهي.

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) صعوبة في فهم الفيديوهات الطويلة (مثل المدخلات التي تبلغ مدتها ساعة) بسبب قيدين أساسيين:

حدود الذاكرة والسياق: يؤدي معالجة آلاف الإطارات إلى توليد عدد هائل من الرموز المرئية (Visual Tokens)، مما يستنفد نوافذ السياق بسرعة ويتسبب في تكاليف باهظة من حيث الذاكرة والحوسبة.
عدم كفاءة طرق الاختيار الحالية:
- الاختيار على مستوى الإطار (Frame-level selection): يحتفظ بمناطق الخلفية غير ذات الصلة داخل الإطارات المختارة، مما يضعف الإشارات المفيدة.
- الاختيار على مستوى الرمز (Token-level selection): يعمل غالباً بشكل محلي (ضمن مقاطع قصة)، ويفتقر إلى آلية عالمية للمقارنة بين الصلة عبر أجزاء الفيديو المتباعدة.
- الافتقار إلى التوقف المبكر: تعالج الطرق الحالية جميع الإطارات التي تم أخذ عينات منها حتى عندما يكون لدى النموذج أدلة كافية للإجابة على الاستعلام، مما يؤدي إلى عمليات حسابية غير ضرورية.

2. المنهجية: AdaptToken

يعتبر AdaptToken إطار عمل خالٍ من التدريب (training-free) ومستقلاً عن النموذج، يقوم باختيار الرموز المرئية ذات المعلومات الهامة ديناميكياً بناءً على عدم اليقين الذاتي (self-uncertainty) للنموذج اللغوي الكبير متعدد الوسائط. وهو يعمل عبر أربع مراحل رئيسية:

أ. تجميع ومعالجة الفيديو

يتم تقسيم الفيديو الطويل إلى $G$ من مجموعات الإطارات ( $F_1, \dots, F_G$ ). ولضمان التنوع، تتم معالجة المجموعات بترتيب "الهامش الأقصى" (على سبيل المثال، $F_1, F_{G/2}, F_{G/4}, \dots$ ) بدلاً من الترتيب التسلسلي الصارم، مما يسمح للنموذج بأخذ عينات من الفيديو بشكل واسع قبل الالتزام بمرور كامل.

ب. صلة المجموعة عبر إنتروبيا الاستجابة

بدلاً من استخدام استدلالات خارجية، يستخدم AdaptToken إنتروبيا استجابة النموذج اللغوي كإشارة لصلة المجموعة.

الآلية: لكل مجموعة، يولد النموذج استجابة للمطالبة (Prompt). يتم حساب الإنتروبيا ( $e_i$ ) لتوزيع الرموز المتوقع.
المنطق: الإنتروبيا المنخفضة (اليقين العالي) تعني أن النموذج وجد أدلة قوية في تلك المجموعة. أما الإنتروبيا العالية فتشير إلى أن المجموعة غير ذات صلة أو أن النموذج يقوم بالتخمين.
التخصيص العالمي: تُستخدم درجات اليقين ( $C_g$ ) لجميع المجموعات لتخصيص ميزانية رموز عالمية ( $B$ ). تحصل المجموعات ذات اليقين الأعلى على حصة أكبر من ميزانية الرموز عبر توزيع مرجح بـ Softmax:
$B_g = B \times \text{Softmax}(\{C_1, \dots, C_G\}/\tau)_g$

ج. اختيار الرموز داخل المجموعة

داخل كل مجموعة، يتم ترتيب الرموز المرئية باستخدام انتباه عبر الوسائط (cross-modal attention) من طبقة محددة في النموذج اللغوي (عادةً ما تكون طبقة متأخرة ذات قدرات استرجاع قوية).

يتم تجميع أوزان الانتباه بين استعلامات النص والمفاتئ (keys) المرئية لإنتاج درجات صلة الرموز ( $R_g$ ).
يتم اختيار أفضل $B_g$ من الرموز لكل مجموعة بناءً على هذه الدرجات.

د. إزالة الرموز العالمية المدركة للموقع

لمنع التكرار (على سبيل المثال، اختيار رموز متشابهة من مجموعات متجاورة)، يتم تطبيق خطوة إزالة الرموز العالمية:

تقوم بحساب تشابه جيب التمام (cosine similarity) الزوجي لميزات الرموز بالإضافة إلى حد تشابه زمني يعتمد على مؤشرات الإطارات.
يتم استبعاد الرموز ذات التشابه المتبادل الأعلى بشكل تكراري حتى يتم استيفاء الميزانية المستهدفة، مما يضمن التنوع والتغطية الزمنية.

هـ. التوقف المبكر (AdaptToken-Lite)

يقدم متغير من إطار العمل ميزة التوقف المبكر لتحسين الكفاءة:

المحفز: إذا حقق النموذج يقيناً عالياً (إنتروبيا منخفضة) في عدد كافٍ من المجموعات (على سبيل المثال، 3 مجموعات بإنتروبيا $< 0.75$ )، تتوقف العملية.
النتيجة: يتم تخطي المجموعات المتبقية، ويتم بناء مجموعة الرموز النهائية فقط من المجموعات التي تمت معالجتها.

3. المساهمات الرئيسية

اختيار الرموز العالمي: يقترح آلية مبدئية خالية من التدريب للمقارنة بين الصلة عبر مقاطع الفيديو المتباعدة باستخدام إنتروبيا استجابة النموذج، مما يحل مشكلة "المحلية فقط" التي تعيب طرق اختيار الرموز السابقة.
التوقف المبكر المدفوع بالإنتروبيا: يقدم AdaptToken-Lite، الذي يوقف المعالجة ديناميكياً بمجرد جمع أدلة كافية، مما يقلل وقت الاستنتاج بنسبة ~50% دون التضحية بالدقة.
القابلية للتوسع والمتانة: يثبت فعاليته عبر بنيات متنوعة من النماذج اللغوية الكبيرة (من 7 مليار إلى 72 مليار معلمة) ويتوسع ليشمل مدخلات طويلة للغاية (تصل إلى 10,000 إطار)، وهو نطاق تفشل فيه الطرق السابقة أو تقدم فيه فقط مقاييس "الإبرة في كومة القش" بدلاً من دقة المهمة.

4. النتائج التجريبية

تم تقييم الطريقة على أربعة اختبارات معيارية للفيديوهات الطويلة: VideoMME، MLVU، LongVideoBench، و LVBench.

مكاسب الأداء:
- في Qwen2.5-VL 7B، حقق AdaptToken تحسناً متوسطاً قدره +6.7 عن الخط المرجعي، متفوقاً على أحدث الطرق (مثل FlexSelect و AdaReTAKE) في جميع الاختبارات.
- في InternVL2.5 8B، حسن الأداء بنسبة +5.6 في المتوسط.
- في Q2.5-VL 72B، حافظ على مكاسب ثابتة (+5.7 في المتوسط)، مما يثبت القابلية للتوسع مع النماذج الأكبر.
الكفاءة (AdaptToken-Lite):
- قلل متوسط وقت الاستنتاج بنحو 50% (على سبيل المثال، من 17.8 ثانية إلى 8.6 ثانية في VideoMME) مع الحفاظ على دقة مماثلة أو أفضل قليلاً من النسخة الكاملة من AdaptToken.
التوسع في السياق الطويل:
- نجح في معالجة ما يصل إلى 10,000 إطار، مظهرًا تحسينات مستمرة في الأداء على الاختبارات ذات الفيديوهات فائقة الطول (مثل LVBench)، بينما تستقر الطرق السابقة أو تتدهور عادةً.
دراسات الاستئصال (Ablation Studies): أكدت أن كلاً من التخصيص العالمي الموجه بالإنتروبيا وإزالة الرموز المدركة للموقع هما مكونان حاسمان لتعظيم الأداء.

5. الأهمية

يمثل AdaptToken تحولاً كبيراً في فهم الفيديو الطويل من خلال الانتقال من الاختيار الاستاتيكي القائم على الاستدلال إلى الاختيار الديناميكي الواعي بالنموذج.

خالٍ من التدريب: لا يتطلب إعادة ضبط (fine-tuning) للنموذج، مما يجعله قابلاً للتطبيق الفوري على النماذج الموجودة.
الكفاءة: يعالج الاختناق الحسابي لمعالجة السياق الطويل، مما يمكن النماذج من التعامل مع فيديوهات مدتها ساعة ضمن قيود الأجهزة القياسية.
القدرة على التعميم: نجاحه عبر أحجام نماذج وبنيات مختلفة (7B–72B) يشير إلى أن الاستفادة من عدم يقين النموذج كإشارة تحكم هي استراتيجية قوية للاستدلال متعدد الوسائط.

باختار، يُمكّن AdaptToken النماذج اللغوية الكبيرة من "قراءة" الفيديوهات الطويلة بكفاءة أكبر من خلال تركيز الموارد الحسابية فقط على اللحظات الأكثر صلة، مسترشداً بثقة النموذج نفسه في فهمه.