💻 computer science

Video-ToC: Video Tree-of-Cue Reasoning

تقترح الورقة البحثية Video-ToC، وهو إطار عمل جديد للاستدلال بالفيديو يعزز فهم النماذج اللغوية الكبيرة للفيديو ويقلل من الهلوسة عبر تقديم آلية تحديد المواقع للمؤشرات البصرية الموجهة بالشجرة، ونظام مكافأة ديناميكي لمتطلبات الاستدلال من أجل التعلم التعزيزي، بالإضافة إلى مجموعات بيانات تم إنشاؤها حديثاً للتدريب.

المؤلفون الأصليون: Qizhong Tan, Zhuotao Tian, Guangming Lu, Jun Yu, Wenjie Pei

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qizhong Tan, Zhuotao Tian, Guangming Lu, Jun Yu, Wenjie Pei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز من خلال مشاهدة فيلم مدته ساعتان. لديك محقق ذكي جداً (الذكاء الاصطناعي) يعرف الكثير عن الأفلام، ولكن عندما تسأله: "أين خبأ القاتل المفتاح؟"، غالباً ما يخمن بناءً على ما يحدث عادةً في الأفلام، بدلاً من النظر فعلياً إلى المشهد المحدد الذي تم فيه إخفاء المفتاح. هذا ما يسمى بـ "الهلوسة" (Hallucination)؛ أي أن الذكاء الاصطناعي يكون واثقاً، لكنه يختلق الأمور لأنه لم ينظر بدقة كافية.

تقدم ورقة بحثية تسمى Video-ToC طريقة جديدة لتعليم محققي الذكاء الاصطناعي كيف يشاهدون الفيديو فعلياً قبل التخمين.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "المحقق الكسول"

نماذج الذكاء الاصطناعي الحالية تشبه المحققين الذين قرأوا كل روايات الغموض في المكتبة لكنهم لم ينظروا أبداً إلى مسرح الجريمة. عندما يشاهدون فيديو، يعتمدون على "معرفتهم العامة" (مثل: "القتلة عادة يخبئون المفاتيح في الجيوب") بدلاً من مسح الفيديو بحثاً عن الدليل المحدد. يؤدي هذا إلى إجابات خاطئة، خاصة في الأسئلة الصعبة التي تتطلب رصد تفاصيل دقيقة.

2. الحل: "شجرة الأدلة" (Video-ToC)

ابتكر المؤلفون طريقة تدريب تسمى Video-ToC. فكر في الأمر كتعليم المحقق استراتيجية محددة: "لا تخمن؛ بل ابحث بشكل منهجي."

بدلاً من القفز إلى استنتاج، يتم تعليم الذكاء الاصطناعي بناء "شجرة أدلة" (Tree of Cues). تخيل شجرة حيث:

الجذور هي الفيديو بأكمله (الصورة الكبيرة).
الأغصان هي أجزاء أصغر من الفيديو.
الأوراق هي اللحظات الصغيرة والمحددة حيث يختبئ الجواب.

يتم تدريب الذكاء الاصطناعي على تسلق هذه الشجرة خطوة بخطوة:

"حسناً، أحتاج للعثور على المشهد الذي يحتوي على السيارة الحمراء." (مسح الفيديو بالكامل).
"وجدتها! الآن، لنقم بالتقريب (Zoom in) على هذا المقطع الذي مدته 5 ثاتٍ." (تضييق النطاق).
"الآن أرى لوحة الأرقام بوضوح." (العثور على الدليل المحدد).
"آه، هذا هو الجواب!"

هذا يجبر الذكاء الاصطناعي على التوقف عن التخمين والبدء في النظر.

3. كيف علموه ذلك (التدريب المكون من خطوتين)

لجعل الذكاء الاصطناعي يتعلم هذه المهارة، صمم الباحثون معسكرين تدريبيين خاصين:

الخطوة أ: "المعلم خطوة بخطوة" (SFT)
أولاً، أنشأوا مجموعة بيانات تسمى Video-ToC-SFT-1k.

تخيل معلماً يري المحقق فيديو ويقول له: "إليك كيف وجدت الإجابة. أولاً نظرت إلى الغرفة بأكملها، ثم فحصت الطاولة، ثم نظرت تحت السجادة."
يشاهد الذكاء الاصطناعي "عملية التفكير" هذه (التي تتبع هيكل الشجرة) ويتعلم تقليدها. إنه يتعلم أنه لكي يحل مشكلة، يجب عليه أولاً تحديد الموقع المرئي للأدلة قبل الإجابة.

الخطوة ب: نظام "المكافأة الذكية" (RL)
بعد ذلك، استخدموا تقنية تسمى "التعلم المعزز" (Reinforcement Learning)، ولكن مع لمسة خاصة.

الطريقة القديمة: إذا أجاب الذكاء الاصطناعي بشكل صحيح، يحصل على نجمة ذهبية (نقطة واحدة). وإذا أخطأ، يحصل على صفر. لم يكن يهم مدى صعوبة السؤال.
طريقة Video-ToC: قدموا مكافأة تسمى "مكافأة طلب الاستدلال" (Reasoning Demand reward).
- إذا كان السؤال سهلاً (مثلاً: "هل يوجد كلب في الفيديو؟")، فلا يحتاج الذكاء الاصطناعي للتفكير بعمق. إذا أجاب بشكل صحيح دون الإفراط في التفكير، يحصل على مكافأة صغيرة.
- أما إذا كان السؤال صعباً (مثلاً: "ما هو الوقت الذي نبح فيه الكلب بالنسبة للسيارة؟")، فيجب على الذكاء الاصطناعي استخدام استراتيجية "شجرة الأدلة" الخاصة به للعثور على الإجابة. إذا حل هذا المشكل الصعب بشكل صحيح، يحصل على مكافأة ضخمة إضافية.
- هذا يعلم الذكاء الاصطناعي: "لا تضيع طاقتك في التفكير الزائد في الأشياء السهلة، ولكن إذا كانت المشكلة صعبة، فاحفر بعمق واستخدم استراتيجية البحث الخاصة بك!"

4. النتيجة: محقق أفضل

عندما اختبروا هذا الذكاء الاصطنا الجديد على ستة اختبارات فيديو مختلفة:

أصبح أكثر ذكاءً: أجاب على أسئلة أكثر بشكل صحيح مقارنة بالنماذح السابقة.
توقف عن الكذب: ارتكب حالات "هلوسة" أقل لأنه أُجبر على النظر في أدلة الفيديو أولاً.
كان مرناً: استطاع التعامل مع الأسئلة البسيطة (مجرد النظر) والاستدلال المعقد (البحث العميق).

ملخص التشبيه

تخيل أنك تبحث عن إبرة محددة في كومة قش.

الذكاء الاصطناعي القديم: يصرخ قائلاً "إنها في المنتصف!" لأنه يخمن أن الإبر توجد عادة في ذلك المكان.
Video-ToC: يزيح القش بشكل منهجي، طبقة تلو الأخرى (الشجرة)، يجد المكان الدقيق، ثم يقول: "إنها هنا، لأنني رأيتها".

تثبت هذه الورقة أنه من خلال تعليم الذكاء الاصطناي "كيف يفكر كمحقق" (البحث عن الأدلة خطوة بخطوة) بدلاً من "التخمين كالمقامر"، يمكننا جعل فهم الفيديو أكثر دقة وموثوقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Video-ToC: Video Tree-of-Cue Reasoning".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة للفيديو (Video LLMs) الحالية صعوبات في مهام فهم الفيديو المعقدة، لا سيما تلك التي تتطلب استدلالاً عميقاً. وهي غالباً ما تظهر:

قدرات استدلال محدودة: تعتمد بشكل كبير على مبررات الاستدلال المتأصلة والمُدربة مسبقاً بدلاً من التكيف مع محتوى الفيديو المدخل تحديداً.
الهلوسة: عند مواجهة أسئلة تتطلب إشارات بصرية دقيقة، غالباً ما تتجاهل النماذج الفيديو وتعتمد على المعرفة اللغوية السابقة، مما يؤدي إلى إجابات خاطئة (على سبيل المثال، التخمين بناءً على المنطق العام بدلاً من الأدلة البصرية).
بيانات تدريب غير فعالة: تستخدم الطرق الحالية غالباً نماذج قوية (مثل 72 مليار معلمة) لتوليد مبررات استدلال للنماذج الأصغر (مثل 7 مليار معلمة). وغالباً ما تفتقر هذه المبررات إلى نمط استدلال مصمم خصيصاً يتناسب مع الإدراك المكاني والزماني الأضعف للنموذج الأصغر، مما يتسبب في فشل النموذج الأصغر في محاكاة عملية الاستدلال بفعالية.

2. المنهجية: إطار عمل Video-ToC

يقترح المؤلفون Video-ToC، وهو إطار عمل مبتكر مصمم لتعزيز الاستدلال بالفيديو من خلال تحديد موقع "شجرة الإشارات" (Tree-of-Cue). يتكون النهج من مرحلتين تدريبيتين: الضبط الدقيق الخاضع للإشراف (SFT) والتعلم التعزيزي (RL).

أ. تحديد موقع الإشارات البصرية الموجه بالشجرة (مرحلة SFT)

بدلاً من توليد استدلال حر الشكل، يقدم Video-ToC نمط استدلال هرمي مهيكل:

بناء الشجرة: يتم تقسيم الفيديوهات إلى مقاطع (عقد ورقية/أوراق الشجرة). يتم بناء هيكل شجري هرمي حيث تمثل الجذر الفيديو الكامل، وتمثل العقد المتوسطة مقاطع مجمعة ("تجميعات الفيديو").
مسار التتبع العكسي: للإجابة على سؤال، يحدد النظام العقد الورقية ذات الصلة (المقاطع الرئيسية) ويتتبع المسار عكسياً من هذه الأوراق وصولاً إلى الجذر. هذا يخلق مسار استدلال ينتقل من العام (الفيديو الكامل) إلى الدقيق (مقاطع محددة).
توليد المبررات: يتم تحويل المسار إلى "إشارات بصرية" (مقاطع مدمجة من طبقات شجرية محددة) ويقوم نموذج لغوي بصري-لغوي (MLLM) بوصفها. ثم يقوم نموذج لغوي (LLM) بتلخيص هذه الأوصاف في سرد خطوة بخطوة (مبرر Video-ToC)، مما يعلم النموذج كيفية تحديد المعلومات البصرية الرئيسية تدريجياً قبل الإجابة.
مجموعة البيانات: يقوم هذا المسار بتوليد مجموعة بيانات Video-ToC-SFT-1k (1,000 عينة) للتدريب الأولي (cold-start).

ب. مكافأة الطلب على الاستدلال (مرحلة RL)

لتحسين استراتيجيات الاستدلال بشكل أكبر، يستخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO) مع آلية مكافأة مبتكرة:

مقياس طلب الاستدلال: لكل سؤال، يحاول النموذج الإجابة عليه بدون استدلال (تنبؤ مباشر) عبر $M$ $M$ من المحاولات. يحدد معدل الخطأ ( $1 - \frac{\alpha}{M}$ $1 - \frac{α}{M}$ ، حيث $\alpha$ $α$ هو عدد الإجابات المباشرة الصحيحة) "طلب الاستدلال".
- طلب مرتفع = السؤال صعب الإجابة عليه بدون استدلال.
- طلب منخفض = السؤال سهل (يعتمد على الإدراك).
المكافأة الديناميكية: على عكس المكافآت الثنائية القياسية (0 أو 1)، تقوم مكافأة طلب الاستدلال بتغيير حجم مكافأة النجاح بناءً على تعقيد السؤال.
- إذا نجح النموذج في حل سؤال عالي الصعوبة عبر الاستدلال، فإنه يحصل على مكافأة أعلى.
- إذا كان السؤال سهلاً، تكون المكافأة أقل، مما يمنع "الإفراط في التفكير" في المهام البسيطة.
مجموعة البيانات: تُستخدم هذه الآلية للتدريب على مجموعة بيانات Video-ToC-RL-2k (2,000 عينة)، حيث يلزم فقط تحديد طلب الاستدلال، وليس المبررات الكاملة.

3. المساهمات الرئيسية

إطار عمل Video-ToC: إطار استدلال جديد يقدم تحديد موقع الإشارات البصرية الموجه بالشجرة، والذي يجبر النموذج على التضييق التدريجي من الفيديو بأكمله إلى مقاطع محددة، مما يعزز الإدراك الدقيق ويقلل من الهلوسة.
مسار بيانات مؤتمت: تطوير مسار مؤتمت لبناء مجموعتي بيانات عالية الجودة:
- Video-ToC-SFT-1k: لتعليم نمط الاستدلال المهيكل.
- Video-ToC-RL-2k: لتحسين استراتيجيات الاستدلال عبر مكافآت قائمة على الطلب.
مكافأة طلب الاستدلال: استراتيجية مكافأة RL مبتكرة تعدل الحوافز ديناميكياً بناءً على تعقيد السؤال، مما يشجع النموذج على الانخراط في الاستدلال فقط عند الضرورة وبفعالية.
الأداء المتفوق (SOTA): أظهر أداءً متفوقاً عبر عدة معايير لتقييم فهم الفيديو، مما يثبت أن الاستدلال المهيكل والمدرك للإدراك أكثر فعالية من التوليد الحر للشكل بالنسبة للنماذج الأصغر.

4. النتائج التجريبية

تم تقييم النموذج على ستة معايير لفهم الفيديو ومعيار واحد للهلوسة، باستخدام Qwen2.5-VL-7B كنموذج أساسي.

معايير الاستدلال بالفيديو: تفوق Video-ToC على النماذج المرجعية والنموذج السابق الأفضل (Video-R1) في VSI-Bench و VideoMMMU و MMVU.
- مثال: في MMVU، حقق Video-ToC دقة بلغت 66.1% (مقابل 64.2% لـ Video-R1).
معايير الفيديو العامة: لوحظت تحسينات مستمرة في MVBench و TempCompass و VideoMME.
- مثال: في VideoMME، وصل Video-ToC إلى 62.6% (مقابل 61.4% لـ Video-R1).
الحد من الهلوسة: في معيار VideoHallucer، قلل Video-ToC من معدلات الهلوسة بشكل كبير مقارنة بـ Video-R1، خاصة في فئات "علاقة الأشياء" (Object-Relation) و "التفاصيل الدلالية" (Semantic Detail). وهذا يؤكد أن النهج الموجه بالشجرة يجبر النموذج على الاعتماد على الأدلة البصرية بدلاً من المعرفة السابقة.
الدراسات الاستئصالية (Ablation Studies):
- أدى حذف التدريب الأولي SFT (الانتقال مباشرة إلى RL) إلى أداء ضعيف، مما يبرز ضرورة بيانات SFT المهيكلة.
- استبدال "شجرة الإشارات" بنهج "الإشارة الواحدة" (Single-Cue) أدى إلى دقة أقل، مما يؤكد أهمية التحديد الهرمي للموقع.
- استخدام "مكافأة طلب الاستدلال" تفوق على المكافآت الثنائية القياسية في تدريب GRPO.

5. الأهمية

سد الفجوة بين الإدراك والاستدلال: يعالج Video-ToC الفجوة الحرجة حيث تفشل نماذج Video LLMs في ربط خطوات الاستدلال بأدلة بصرية محددة. من خلال هيكلة عملية الاستدلال كـ "شجرة" من الإشارات البصرية، فإنه يضمن أن النموذج "ينظر" بالفعل إلى الفيديو.
الكفاءة للنماذج الأصغر: يثبت أنه يمكن للنماذج الأصغر (7B) تحقيق قدرات استدلال تضاهي أو تتفوق على النماذج الأكبر إذا تم تدريبها باستخدام بيانات مدركة للإدراك و مكافآت ديناميكية، بدلاً من مجرد محاكاة مخرجات النماذج الأكبر.
الحد من الهلوسة: يوفر النهج حلاً قوياً لمشكلة الهلوسة في نماذج Video LLMs من خلال معاقبة الاعتماد على المعرفة السابقة عندما تكون الإشارات البصرية مطلوبة.
القابلية للتوسع: يسمح مسار التوسيم المؤتمت بتوليد مجموعات بيانات استدلال عالية الجودة دون جهد بشري هائل، مما يجعل النهج قابلاً للتوسع لأبحيد الاستدلال بالفيديو في المستقبل.

في الختام، يضع Video-ToC نموذجاً جديداً للاستدلال بالفيديو من خلال دمج التحديد الهيكلي للموقع البصري مع التعلم التعزيزي التكيفي، مما يضع معياراً جديداً للأداء والموثوقية في نماذج Video LLMs.