💻 computer science

Seeing the Forest and the Trees: Query-Aware Tokenizer for Long-Video Multimodal Language Models

تقدم هذه الورقة QTSplus، وهي وحدة اختيار رموز خفيفة الوزن وواعية بالاستعلام، تقوم بتصفية الرموز المرئية ديناميكيًا بناءً على تعقيد الاستعلام النصي لتقليل التكاليف الحسابية وزمن الاستجابة بشكل كبير في النماذج اللغوية متعددة الوسائط للفيديوهات الطويلة، مع الحفاظ على الأداء أو تعزيزه في مهام الفهم الزمني.

المؤلفون الأصليون: Siyou Li, Huanan Wu, Juexi Shao, Yinghao Ma, Yujian Gan, Yihao Luo, Yuwei Wang, Dong Nie, Lu Wang, Wenqing Wu, Le Zhang, Massimo Poesio, Juntao Yu

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Siyou Li, Huanan Wu, Juexi Shao, Yinghao Ma, Yujian Gan, Yihao Luo, Yuwei Wang, Dong Nie, Lu Wang, Wenqing Wu, Le Zhang, Massimo Poesio, Juntao Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "رؤية الغابة والأشجار" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: مشكلة "مكتبة الإسكندرية"

تخيل أن لديك ذكاءً اصطناعيًا متعدد الوسائط (روبوت فائق الذكاء يمكنه الرؤية والقراءة). تريد أن تسأله سؤالًا حول فيلم مدته 3 ساعات.

في الوقت الحالي، لكي يفهم الذكاء الاصطناعي الفيديو، يتعين عليه تحويل كل إطار (frame) إلى "توكن" (كلمة رقمية تمثل صورة).

المشكلة: فيلم مدته 3 ساعات يحتوي على آلاف الإطارات. إذا حاول الذكاء الاصطناعي قراءة كل إطار منها، فالأمر يشبه أن تطلب من أمين مكتبة قراءة كل كتاب في "مكتبة الإسكندرية" فقط ليجد الإجابة على سؤال بسيط واحد: "ما كان لون السيارة في مشهد المطاردة؟"
النتيجة: يصاب الذكاء الاصطناعي بالإرهاق؛ حيث تنفد ذاكرته، ويستغرق وقتًا طويلاً في التفكير، وغالبًا ما يفتقد التفصيل المحدد الذي سألته عنه لأنه غارق في الكثير من المعلومات.

الحل: QTSplus (الأمين الذكي)

يقترح المؤلفون أداة جديدة تسمى QTSplus. فكر فيها كـ أمين مكتبة فائق الذكاء ومدرك للسؤال، يقف بين كاميرا الفيديو وعقل الذكاء الاصطناعي.

بدلاً من تسليم المكتبة بأكملها للذكاء الاصطناعي، يقوم QTSplus بالنظر في سؤالك أولاً، ثم يركض إلى الرفوف، ويختار فقط الكتب (إطارات الفيديو) التي تحتاجها، ثم يسلمها له.

إليك كيف يعمل ذلك، خطوة بخطوة:

1. "درجة الارتباط" (حدس أمين المكتبة)

عندما تسأل: "ماذا يفعل الرجل؟"، لا يقوم QTSplus بالتخمين فحسب. بل يستخدم تقنية تسمى الاهتمام المتقاطع (Cross-Attention).

التشبيه: تخيل أمين المكتبة وهو يمسك ببطاقة سؤالك. بينما يمر عبر إطارات الفيديو، يعطي كل إطار "درجة ارتباط" بناءً على مدى تطابقه مع سؤالك.
إذا أظهر الإطار رجلاً يشرب الجعة، فإنه يحصل على درجة عالية.
إذا أظهر الإطار شجرة أو جدارًا فارغًا، فإنه يحصل على درجة منخفضة.

2. "الميزانية التكيفية" (معرفة مقدار ما يجب قراءته)

هذا هو الجزء الذكي. لا يستخدم الذكاء الاصطناعي قاعدة ثابتة مثل "احتفظ بـ 10% من الفيديو". بل يغير استراتيجيته بناءً على السؤال.

السيناريو (أ): تسأل: "لخص الفيلم بأكمله."
- يقول QTSplus: "حسنًا، هذا سؤال عام. أحتاج للاحتفاظ بالكثير من الإطارات لأروي القصة كاملة." (ميزانية عالية).
السيناريو (ب): تسأل: "متى تحول الضوء الأحمر إلى أخضر؟"
- يقول QTSplus: "هذه لحظة محددة. أحتاج فقط للاحتفاظ بالثواني القليلة المحيطة بإشارة المرور. يمكنني التخلص من الباقي." (ميزانية منخفضة).

إنه يحسب "كسر الاحتفاظ" (Retention Fraction) (نسبة مئوية لكيفية تحديد مقدار ما يجب الاحتفاظ به) بناءً على مدى تعقيد سؤالك ومدى انتشار الأدلة المهمة في الفيديو.

3. "المسافر عبر الزمن" (الحفاظ على الترتيب)

بمجرد أن يختار أمين المكتبة أفضل الإطارات، هناك خطر: قد تصبح مبعثرة. إذا عرضت على الذكاء الاصطناعي إطارًا من نهاية الفيلم قبل إطار من بدايته، فسوف يرتبك.

الحل: يضيف QTSplus "طابعًا زمنيًا" صغيرًا إلى الإطارات المختارة.
التشبيه: الأمر يشبه وضع الصفحات المختارة من كتاب داخل ملف مع ملاحظات لاصقة تقول "الصفحة 1"، "الصفحة 50"، و"الصفحة 100". هذا يضمن أن يفهم الذكاء الاصطناعي تدفق القصة بالترتيب الصحيح، حتى لو تخطى 99% من الصفحات.

النتائج: سريع، خفيف، ودقيق

اختبر الباحثون هذه الأداة على نموذج Qwen2.5-VL (وهو نموذج ذكاء اصطناعي شائع جدًا). وإليك ما حدث:

الضغط: قلل من كمية بيانات الفيديو التي يتعين على الذكاء الاصطناعي معالجتها بنسبة 89%. (تخيل تقليص مستند مكون من 100 صفحة إلى 11 صفحة فقط دون فقدان مضمون القصة).
السرعة: أصبح الذكاء الاصطناعي أسرع بنسبة 28% في الإجابة على الأسئلة.
الدقة: للمفاجأة، لم يصبح أقل ذكاءً. في الواقع، بالنسبة للأسئلة المتعلقة بـ الترتيب (ماذا حدث أولاً؟) و الاتجاه (في أي اتجاه كانت السيارة تسير؟)، أصبح في الواقع أفضل في الإجابة لأنه لم يتشتت باللقطات غير ذات الصلة.

لماذا هذا مهم؟

قبل هذا، كانت مشاهدة الفيديوهات الطويلة باستخدام الذكاء الاصطناعي تشبه محاولة الشرب من خرطوم حريق؛ فإما أن تضطر لتقطيع الفيديو إلى مقاطع صغيرة غير متصلة (مما يؤدي لفقدان الصورة الكبيرة) أو تترك الذكاء الاصطناعي يختنق بسبب كثرة البيانات.

QTSplus يشبه منح الذكاء الاصطناعي نظارات ذكية. فهو يسمح للذكاء الاصطناعي بمشاهدة فيلم مدته 3 ساعات، وتجاهل الأجزاء المملة، والتركيز بدقة على ما سألت عنه، والإجابة بسرعة دون التعرض للصداع. إنه يتيح لنا توسيع نطاق الذكاء الاصطناعي للتعامل مع فيديوهات العالم الحقيقي التي تستغرق ساعات طويلة باستخدام أجهزة الكمبيوتر العادية، وليس فقط الحواسيب العملاقة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "رؤية الغابة والأشجار: مرمز الرموز المدرك للاستعلام لنماذج اللغة متعددة الوسائط للفيديوهات الطويلة" (QTSplus).

1. بيان المشكلة

تواجه نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) صعوبات في فهم الفيديوهات الطويلة بسبب الاختناقات الحسابية والذاكرة.

التوسع الخطي: ينمو عدد الرموز البصرية (visual tokens) التي تولدها مشفرات الرؤية (مثل ViT) خطياً مع مدة الفيديو ودقته. بالنسبة للفيديوهات التي تستغرق عدة ساعات، يؤدي هذا إلى ملايين الرموز.
التكلفة التربيعية: تتسبب معالجة هذه الرموز في آلية الانتباه الذاتي (self-attention) الخاصة بنموذج LLM في تكاليف حسابية تربيعية ( $O(N^2)$ ) واستهلاك هائل لذاكرة التخزين المؤقت (KV-cache)، مما يجعل الاستنتاج على الفيديوهات الطويلة غير ممكن على الأجهزة العادية.
قصور الطرق الحالية: تعتمد الحلول الحالية غالباً على الضغط الثابت (مثل تقليل عينات الإطارات بشكل ثابت أو تقليم الرموز الموحد). وهذا غير فعال لأن الاستعلامات المختلفة تتطلب مستويات مختلفة من التفاصيل:
- الاستعلامات المحددة (مثل "متى تحول الضوء إلى اللون الأخضر؟") تحتاج فقط إلى لحظات معدودة وموضعية.
- الاستعلامات العامة (مثل "لخص الفيديو") تتطلب تغطية شاملة.
- الميزانيات الثابتة إما تهدر الموارد على إطارات غير ذات صلة أو تحرم النموذج من السياق الضروري.

2. المنهجية: QTSplus

يقترح المؤلفون QTSplus (محدد الرموز المدرك للاستعلام)، وهو وحدة وسيطة خفيفة الوزن توضع بين مشفر الرؤية ونموذج LLM. يقوم QTSplus باختيار الرموز البصرية الأكثر صلة ديناميكياً بناءً على استعلام النص المدخل.

المكونات الأساسية:

تسجيل الانتباه المتقاطع (Cross-Attention Scoring):
- تقوم الوحدة بحساب الانتباه المتقاطع بين رموز استعلام النص والرموز البصرية.
- تشتق درجة صلة ( $r_i$ ) لكل رمز بصري عن طريق أخذ أقصى وزن انتباه عبر جميع رؤوس الانتباه ورموز النص. هذا يحدد أي الأجزاء البصرية مرتبطة دلالياً بالاستعلام.
التنبؤ بالميزانية التكيفية:
- بدلاً من عدد ثابت من الرموز، يتنبأ QTSplus بكسر الاحتفاظ ( $\rho \in [0, 1]$ ) باستخدام "رأس ميزانية" خفيف (MLP).
- المدخلات لرأس الميزانية:
  - $s_q$ : التضمين المتوسط للاستعلام (يشير إلى الصعوبة الدلالية/النية).
  - $\log M$ : لوغاريتم إجمالي الرموز البصرية المتاحة (يضمن استقرار النطاق للفيديوهات الطويلة).
  - $r_{max}$ : ذروة درجة الصلة (تشير إلى ما إذا كانت الأدلة مركزة في نقطة واحدة).
  - $H(p)$ : إنتروبيا توزيع الصلة الموحد (تشير إلى ما إذا كانت الأدلة منتشرة أم متفرقة).
- الميزانية المتوقعة هي $n = \min(\lceil \rho M \rceil, n_{max})$ .
البوابة التفاضلية (أثناء التدريب) مقابل البوابة الصلبة (أثناء الاستنتاج):
- التدريب: يستخدم مقدر Gumbel-Softmax المباشر (straight-through estimator). يتم حل عتبة $t$ ديناميكياً (عبر طريقة نيوتن) لضمان أن العدد المتوقع للرموز المحتفظ بها يطابق الميزانية المتوقعة $\rho M$ . هذا يسمح بتدفق الاشتقاقات (gradients) عبر عملية الاختيار.
- الاستنتاج: ينتقل إلى بوابة Top- $n$ صلبة، حيث يختار أعلى $n$ من الرموز ذات درجات الصلة الأعلى.
إعادة الترميز الخفيفة:
- يتم تمرير الرموز المختارة عبر كتلة انتباه ذاتي واحدة (MHA + FFN) مع إضافة معلومات الوقت المطلقة.
- تضمن هذه الخطوة الحفاظ على الترتيب الزمني والسياق العالمي للمقاطع المختارة، مما يمنع فقدان تماسك التسلسل بعد التقليم.
استراتيجية التدريب (تقطير المعلم-الطالب):
- المعلم (Teacher): نموذج Qwen2.5-VL كامل يعالج جميع الرموز البصرية.
- الطالب (Student): نموذج مدعوم بـ QTSplus يعالج الرموز المضغوطة.
- دالة الخسارة (Loss Function): تجمع بين خسارة الأسئلة متعددة الخيارات (MCQ)، وخسارة تقطير تسلسل VQA، وعقوبات مدركة للحوسبة (تعاقب أعداد الرموز العالية لتشجيع الكفاءة).
- خط معالجة البيانات: يستخدم خط توليد محكم لإنتاج أسئلة عالية الجودة أحادية الخيار (VSCQ) وأزواج VQA من وصف الفيديو، يتم التحقق منها بواسطة نموذج المعلم.

3. المساهمات الرئيسية

الاختيار الديناميكي المدرك للاستعلام: قدم آلية تكيف ميزانية الرموز لكل حالة بناءً على تعقيد الاستعلام وتشتت الأدلة، بدلاً من استخدام معدل ثابت.
الحفاظ على الزمن: دمج وحدة إعادة ترميز خفيفة مع تضمينات وقت مطلقة للحفاظ على الاتساق الزمني بعد التقليم الشديد.
المفاضلة بين الكفاءة والأداء: أثبت أنه من الممكن تقليل أعداد الرموز بشكل كبير (يصل إلى 89%) دون التضحية بالأدلة ذات الصلة بالمهمة، محققاً أداءً يقارب أو يتفوق على النموذج الكامل.
القدرة على التعميم: أظهر أن الوحدة تعمل بفعالية عبر نماذج خلفية مختلفة (Qwen, LLaVA, InternVL) مع حد أدنى من الضبط.

4. النتائج التجريبية

تم تقييم الطريقة على Qwen2.5-VL (نسخ 3B و 7B) عبر ثمانية معايير قياسية للفيديوهات الطويلة (TempCompass, Video-MME, LVBench, MLVU, MVBench, إلخ).

مكاسب الكفاءة:
- تقليل الرموز: يضغط تدفق الرؤية بما يصل إلى 89% (على سبيل المثال، تقليل ~180 ألف رمز إلى ~20 ألف فيديو مكون من 600 إطار).
- زمن الاستجابة (Latency): يقلل زمن الاستنتاج النهائي بنسبة 28% في الفيديوهات الطويلة.
- القابلية للتوسع: يتيح معالجة فيديوهات تمتد لعدة ساعات على وحدات GPU عادية (مثل A100) حيث قد يفشل النموذج الأصلي بسبب حدود الذاكرة.
دقة الأداء:
- الإجمالي: يحقق دقة تقارب النموذج الأصلي Qwen2.5-VL في المهام متعددة الوسائط العامة.
- المهام الزمنية: يتفوق بشكل ملحوظ على النموذج الأساسي في المهام التي تتطلب استدلالاً زمنياً:
  - +20.5 نقطة في دقة الاتجاه (direction) في TempCompass.
  - +5.6 نقطة في دقة الترتيب (order) في TempCompass.
  - +4.7 نقطة في التكيف (adaptation) في Video-MMMU.
- دراسة الاستبعاد (Ablation Study): أكدت أن كلاً من الاختيار المدرك للاستعلام ووحدة إعادة الترميز ضروريان. إزالة إعادة الترميز يضعف الأداء في المهام التي تتطلب محاذاة زمنية صارمة (مثل ترتيب الشخصيات، والاستدلال المضاد للواقع).
التعميم: طُبق بنجاح على LLaVA-Video-7B و InternVL2.5-8B، مع الاحتفاظ بنحو 99% من الأداء على VideoMME مع تقليل أعداد الرموز.

5. الأهمية

القابلية للتوسع للتطبيقات الواقعية: يوفر QTSplus حلاً عملياً لنشر نماذج MLLM في سيناريوهات الفيديو الطويل في العالم الحقيقي (مثل المراقبة، التدريب الجراحي، تحليل المحتوى) حيث يشيع وجود ساعات من اللقطات.
تحول في النموذج الفكري: ينتقل من "الضغط الموحد للجميع" إلى ترميز الرموز التكيفي المشروط بالاستعلام، مما يثبت أن النماذج يمكنها الاستدلال بفعالية عبر ساعات من الفيديو من خلال التركيز فقط على "الأشجار" (الأدلة ذات الصلة) مع الحفاظ على رؤية شاملة لـ "الغابة" (البنية الزمنية).
كفاءة الموارد: يجعل فهم الفيديو عالي المستوى متاحاً على الأجهزة القياسية من خلال تقليل اختناق الانتباه التربيعي، مما قد يساهم في دمقرطة الوصول إلى قدرات الذكاء الاصطناعي للفيديوهات الطويلة.