🤖 AI

VideoThinker: Building Agentic VideoLLMs with LLM-Guided Tool Reasoning

يعالج VideoThinker تحدي فهم مقاطع الفيديو طويلة المدى من خلال تدريب نموذج لغوي مرئي (VideoLLM) وكيل على مجموعة بيانات اصطناعية واسعة النطاق، حيث يقوم نموذج لغوي قوي بتوليد مسارات استدلال متعددة الخطوات باستخدام الأدوات في فضاء الوصف النصي والتي يتم ربطها لاحقاً بالإطارات المرئية، مما يتيح استكشافاً زمنياً تكيفياً وأداءً فائقاً دون الحاجة إلى فهم مسبق لمقاطع الفيديو طويلة المدى.

المؤلفون الأصليون: Chenglin Li, Qianglong Chen, Feng Han, Yikun Wang, Xingxi Yin, Yan Gong, Ruilin Li, Yin Zhang, Jiaqi Wang

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Chenglin Li, Qianglong Chen, Feng Han, Yikun Wang, Xingxi Yin, Yan Gong, Ruilin Li, Yin Zhang, Jiaqi Wang

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز في ماراثون أفلام مدته 30 ساعة. لديك سؤال: "ماذا كان يرتدي المحقق عندما وجد الدليل في المطبخ؟"

الطريقة القديمة (نماذج الفيديو اللغوية القياسية - Standard VideoLLMs):
تخيل مساعداً متعباً يحاول مشاهدة الفيلم بأكمله دفعة واحدة. ولتوف توفير الوقت، يكتفي بإلقاء نظرة خاطفة على 10 لقطات عشوائية من كامل الـ 30 ساعة. قد يفوته مشهد المطبخ تماماً، أو قد يخلط بين ملابس المحقق في بداية الفيلم وملابسه في نهايته. إنه يخمن بناءً على تلك اللقطات القليلة الضبابية، وغالباً ما يخطئ لأنه فاتته اللحظة الحاسمة.

طريقة "الوكيل" (وكلاء النماذج اللغوية الكبيرة الحالية - Current LLM Agents):
تخيل محققاً بارعاً (ذكاء اصطناعي نصي قوي) لم يشاهد الفيلم قط. تقدم له نص السيناريو (شرح نصي) وتقول له: "جد الإجابة". المحقق ذكي ويعرف كيف يستخدم الأدوات. يقول: "أحتاج إلى فحص مشهد المطبخ!" لكنه لا يستطيع رؤية الفيديو. عليه أن يطلب من شخص ثانٍ (ذكاء اصطناعي منفصل للفيديو) أن يصف له مشهد المطبخ. ثم يسأل مجدداً: "ماذا عن الردهة؟". إنها محادثة بطيئة وخرقاء بين شخصين، أحدهما أعمى والآخر مجرد كاميرا. في النهاية يصل إلى الإجابة، لكن العملية غير فعالة، والمحقق "الأعمى" لا يتعلم أبداً كيف يرى.

الطريقة الجديدة: VideoThinker
يقدم البحث VideoThinker، وهو نوع جديد من الذكاء الاصطناعي يجمع بين أفضل ما في العالمين. فكر في VideoThinker كـ محقق خارق يتعلم كيفية استخدام "آلة الزمن" و"عدسة التكبير السحرية".

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. المشكلة: الإبرة في كومة القش

الفيديوهات الطويلة تشبه كومة قش ضخمة. العثور على لحظة محددة (الإبرة) أمر صعب. إذا قمت بمسح الفيديو بالكامل بسرعة، ستفقد التفاصيل. وإذا نظرت إلى كل ثانية، فسيستغرق الأمر وقتاً طويلاً وسيتعب عقلك (الحاسوب).

2. الحل: التعلم بـ "التفكير عبر الفيديوهات"

VideoThinker لا يكتفي بالمشاهدة فح بل يتحرى. لقد تم تدريبه على استخدام أداتين خاصتين:

الاسترجاع الزمني (الخريطة): تقوم هذه الأداة بمسح ترجمة الفيديو أو الصوت للعثور على أين قد توجد الأشياء المثيرة للاهتمام. الأمر يشبه السؤال: "أين يذهب المحقق إلى المطبخ في الفيلم؟" والحصول على قائمة بالطوابع الزمنية.
التكبير الزمني (المكبر): بمجرد معرفة أين ينظر، يقوم بعمل زووم (تكبير) على ذلك المقطع المحدد لمدة 10 ثوانٍ. هو لا يخمن فحسب؛ بل ينظر بدقة إلى الإطارات لرؤية التفاصيل.

3. السر الخفي: التدريب "الزائف"

هنا تكم- في الحيلة الذكية التي استخدمها الباحثون. كانوا يعلمون أن تعليم الذكاء الاصطناعي استخدام هذه الأدوات أمر صعب لأنك تحتاج إلى معلم يعرف بالفعل كيفية حل الفيديوهات الطويلة. ولكن لم يكن هناك معلم كهذا بعد!

لذا، أنشأوا معسكراً تدريبياً محاكياً:

أخذوا فيديو وحولوه إلى قصة نصية طويلة (شرح نصي).
طلبوا من ذكاء اصطناعي نصي فائق الذكاء (المعلم) حل اللغز باستخدام القصة النصية. سيقول المعلم: "أحتاج إلى فحص المطبخ"، و"أحتاج إلى التكبير على الساعة".
قاموا بتسجيل خطوات المعلم.
التبديل السحري: أخذوا تلك الخطوات النصية واستبدلوا الأوصاف النصية بـ إطارات الفيديو الفعلية.
الآن، تعلم VideoThinker (الطالب) من خلال مراقبة "عملية التفكير" الخاصة بالمعلم، ولكن مع إطارات فيديو حقيقية بدلاً من مجرد كلمات.

الأمر يشبه تعليم طيار الطيران من خلال جعله يشاهد جهاز محاكاة حيث يتم استبدال صوت المدرب بالمنظر الفعلي خارج قمرة القيادة. يتعلم الطالب كيف ينظر ومتى يكبر، دون الحاجة إلى إنسان يمسك بيده.

4. النتيجة: الثقة والسرعة

يمتلك VideoThinker "مقياس ثقة".

إذا كان السؤال سهلاً (مثلاً: "هل توجد سيارة في الفيديو؟")، فإنه يجيب بسرعة من خلال النظر إلى بضعة إطارات.
إذا لم يكن متأكداً (مثلاً: "ما هو لون لوحة ترخيص السيارة؟")، فإنه يقول: "لست متأكداً بنسبة 100%"، ثم يفعل آلة الزمن وعدسة التكبير للبحث عن اللحظة الدقيقة والنظر عن كثب.

لماذا هذا مهم؟

لا مزيد من التخمين: هو لا يخمن بناءً على إطارات عشوائية؛ بل يبحث بنشاط عن الإجابة.
الكفاءة: لا يضيع وقته في مشاهدة الفيلم بأكمله. بل يقفز مباشرة إلى الأجزاء المهمة.
التعلم: يتعلم كيف "يرى" و"يفكر" في نفس الوقت، بدلاً من الاعتماد على مساعد أعمى منفصل.

باختصار، VideoThinker يشبه إعطاء محقق خريطة وعدسة مكبرة، ثم تدريبه على استخدام هذه الأدوات بشكل مثالي حتى يتمكن من حل الألغاز في فيلم مدته 30 ساعة دون أن يضيع أو يفقد أي دليل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VideoThinker: Building Agentic VideoLLMs with LLM-Guided Tool Reasoning".

1. بيان المشكلة

تعاني نماذج فهم الفيديو الكبيرة الحالية (VideoLLMs) من صعوبة في فهم الفيديوهات طويلة المدى. وتشمل القيود الأساسية ما يلي:

الاستدلال الساكن وفقدان المعلومات: تعتمد النماذج الحالية عادةً على عينات إطارية منتظمة، مما يفشل في التقاط الأدلة البصرية الموزعة زمنياً بشكل متفرق. يؤدي هذا إلى فقدان كبير في المعلومات وضعف في التحديد الزمني.
التكلفة الحسابية: معالجة مئات الإطارات من فيديوهات طويلة (مثل >30 دقيقة) أمر مكلف حاسوبياً.
"التبعية الدائرية" في التدريب الوكيل (Agentic Training): بناء بيانات وكيلة عالية الجودة (حيث يتعلم النموذج استخدام أدوات مثل الاسترجاع والتقريب/Zoom) يتطلب عادةً نموذجاً يمتلك بالفعل قدرة قوية على فهم الفيديو الطويل. هذا يخلق مشكلة "البيضة والدجاجة": أنت بحاجة إلى وكيل ذكي لتوليد بيانات تدريب لوكيل ذكي.
قيود النهج الوكيل الحالي:
- النماذج المملوكة (مثل Gemini-Pro) المستخدمة لتخليق البيانات تفتقر إلى قدرات "التفكير بالفيديو" الناشئة وتتطلب هندسة أوامر (Prompt Engineering) ثقيلة.
- الأطر مفتوحة المصامل الحالية غالباً ما تعامل الـ VideoLLM كمجرد أداة وصف (Captioning) سلبية، بينما يقوم النموذج اللغوي (LLM) -الذي لا يرى- بعملية الاستدلال. هذا يفصل الإدراك البصري عن الاستدلال.

2. المنهجية: VideoThinker

يقترح المؤلفون VideoThinker، وهو نموذج VideoLLM وكيل تم تدريبه بالكامل على مسارات تفاعل الأدوات الاصطناعية. الابتكار الجوهري هو تحويل مشكلة الاستدلال بالفيديو إلى مساحة نصية (Caption Space) أولاً، ثم ربطها مجدداً بإطارات الفيديو.

أ. البنية الأساسية وسير العمل

تخليق البيانات القائم على الوصف (Caption-First Data Synthesis):
- بدلاً من تغذية إطارات الفيديو الخام إلى نموذج لغوي قوي (يفتقر إلى الإدراك البصري)، يقوم النظام أولاً بتحويل الفيديو بأكمله إلى أوصاف نصية غنية باستخدام VideoLLM قياسي.
- بعد ذلك، يتم توجيه نموذج لغوي وكيل قوي (مثل Qwen3) لتوليد مسارات استدلال متعددة الخطوات في مساحة الوصف هذه. يقرر النموذج أي "أدوات" يستدعيها للإجابة على سؤال بناءً على الأوصاف النصية.
تصميم الأدوات:
يستخدم النظام فئتين متكاملتين من الأدوات:
- أدوات الاسترجاع الزمني (Temporal Retrieval Tools):
  - استرجاع المقاطع (Clip Retrieval): يسترجع مقاطع ذات صلة دلالياً مدتها 10 ثوانٍ باستخدام التضمينات (LanguageBind-Video).
  - استرجاع الترجمة (Subtitle Retrieval): يستخدم Whisper لنسخ الصوت واسترجاع أجزاء الترجمة ذات الصلة.
  - ملخص الترجمة (Subtitle Summary): يولد ملخصات رفيعة المستوى للتدفق السردي.
- أدوات التقريب الزمني (Temporal Zoom Tools):
  - تقريب الإطار (Frame Zoom): يستخرج إطارات خام من فترة زمنية محددة للفحص البصري التفصيلي.
  - تقريب الترجمة (Subtitle Zoom): يستخرج نصوصاً محلية لفترة زمنية محددة.
  - تقريب الوصف (Caption Zoom): (يُستخدم في التخليق) يولد أوصافاً نصية لفترة زمنية محددة.
بناء البيانات الاصطناعية (خطوة الربط/Grounding):
- يولد النموذج اللغوي الوكيل مسار "سلسلة أفكار" (Chain-of-Thought) باستخدام تقريب الوصف (المعتمد على النص).
- الخطوة الحاسمة: أثناء بناء مجموعة البيانات، يتم استبدال المخرجات النصية لـ تقريب الوصف بـ إطارات فيديو فعلية (عبر تقريب الإطار).
- هذا ينشئ مجموعة بيانات سلسلة أفكار متداخلة مع الفيديو حيث يتعلم النموذج الاستدلال خطوة بخطوة، واسترجاع إطارات وترجمات محددة، دون أن يحتاج الـ VideoLLM إلى "فهم" الفيديو الطويل في البداية.
التدريب:
- يتم ضبط (Fine-tuning) نموذج الـ VideoLLM (النموذج الطالب، مثل Qwen2.5-VL-7B) على هذه البيانات الاصطناعية.
- تقلل دالة الخسارة (Loss Function) الفرق بين مسار الاستدلال الذي يولده النموذج (بما في ذلك استدعاءات الأدوات وملاحظات الإطارات) وبين الحقيقة الأرضية الاصطناعية.
- هذا يعلم الـ VideoLLM كيفية الاسترجاع النشط والإدراك للإطارات الرئيسية أثناء الاستدلال، مما يرسخ داخلياً قدرة "التفكير بالفيديو".

ب. الاستدلال بالفيديو التكيفي (Inference)

للموازنة بين الكفاءة والدقة، يستخدم VideoThinker آلية بوابة الثقة (Confidence-gated mechanism):

الاستدلال المباشر: للفيديوهات القصيرة (<600 ثانية) أو عندما يكون النموذج واثقاً، يقوم بأخذ عينات من بضعة إطارات ويجيب مباشرة.
الاستدلال المعزز بالأدوات: إذا كانت درجة الثقة ( $\gamma$ ) أقل من عتبة معينة ( $\tau$ )، يقوم النموذج بتفعيل الحلقة الوكيلية. يستخدم أدوات الاسترجاع للعثور على الفترات ذات الصلة وأدوات التقريب لفحص الإطارات، مما يعمل على تحسين إجابته بشكل تكراري.

3. المساهمات الرئيسية

مجموعة بيانات وكيل اصطناعية: أول طريقة لبناء مجموعة بيانات استدلال فيديو وكيل واسعة النطاق وعالية الجودة دون الحاجة إلى نموذج فهم فيديو طويل موجود مسبقاً. إنها تكسر التبعية الدائرية باستخدام النماذج اللغوية في مساحة الوصف ثم ربطها لاحقاً بالواقع.
نموذج VideoThinker: نموذج VideoLLM متكامل (7 مليار بارامتر) يدمج الاستدلال الديناميكي، والاستكشاف الزمني التكيفي، واستخدام الأدوات متعدد الخطوات. إنه يرفع مستوى الـ VideoLLM من أداة سلبية إلى محرك استدلال أساسي.
مجموعة الأدوات: مجموعة نمطية من أدوات الاسترجاع والتقريب (Clip, Subtitle, Frame, Caption) التي تمكن التحليل من المستوى العام إلى المستوى الدقيق للفيديوهات الطويلة.
الكفاءة: يتجنب هذا النهج الحاجة إلى النماذج المملوكة (مثل Gemini-Pro) أو عمليات التصفية متعددة المراحل المعقدة، معتمداً بدلاً من ذلك على النماذج اللغوية مفتوحة المصدر وتوليد البيانات الاصطناعية.

4. النتائج التجريبية

تم تقييم النموذج على أربع اختبارات مرجعية رئيسية للفيديوهات طويلة المدى: MLVU, LVBench, VideoMME (Long), و LongVideoBench.

مكاسب الأداء:
- MLVU: بنسبة 54.8% (مقابل 48.0% لـ Qwen2.5-VL-7B؛ تحسن بنسبة +6.8%).
- LVBench: بنسبة 48.9% (مقابل 38.3% لـ Qwen2.5-VL-7B؛ تحسن بنسبة +10.6%).
- VideoMME (Long): بنسبة 53.7% (مقابل 50.0% لـ Qwen2.5-VL-7B).
- LongVideoBench: بنسبة 59.7% (مقابل 56.7% لـ Qwen2.5-VL-7B).
المقارنة:
- يتفوق VideoThinker (7B) على النماذج مفتوحة المصدر الأكبر (مثل Qwen2.5-VL-72B) والنماذج المغلقة التنافسية (مثل GPT-4o وGemini-1.5 Pro) في عدة مقاييس.
- يتفوق بشكل كبير على خطوط الأساس "الوكيل اللغوي" (Language Agent) حيث يكون الـ VideoLLM مجرد أداة، مما يثبت أن دمج الاستدلال داخل الـ VideoLLM نفسه أكثر فعالية.
دراسات الاستئصال (Ablation Studies):
- مدة الفيديو: تتسع فجوة الأداء مع زيادة طول الفيديو. يظهر VideoThinker تحسناً بنسبة +3.7% في VideoMME و+5.6% في LongVideoBench للفيديوهات التي تزيد مدتها عن 15 دقيقة مقارنة بالنموذج الأساسي.
- عتبة الثقة: يوفر الاستدلال التكيفي (تفعيل الأدوات فقط عند انخفاض الثقة) أفضل توازن بين السرعة والدقة.
- عدد العناصر المسترجعة (Retrieval Top-k): استرجاع مقاطع/ترجمات متعددة (Top-3 أو Top-5) يحسن الأداء عموماً مقارنة باسترجاع عنصر واحد.

5. الأهمية

تحول في النموذج (Paradigm Shift): يثبت VideoThinker أن "التفكير بالفيديو" أمر ممكن من خلال تدريب نماذج VideoLLM على مسارات اصطناعية معززة بالأدوات. إنه ينتقل من تحليل الإطارات الساكن إلى الاستكشاف الديناميكي والتكيفي.
القابلية للتوسع: من خلال استخدام البيانات الاصطناعية المولدة عبر النماذج اللغوية في مساحة الوصف، يتجاوز هذا النهج الحاجة إلى التوسيم البشري المكلف أو تقطير النماذج المملوكة، مما يجعله قابلاً للتوسع لمهام متنوعة من الفيديوهات طويلة المدى.
الكفاءة: تضمن آلية بوابة الثقة أن استخدام الأدوات المكلف حاسوبياً يتم فقط عند الضرورة، مما يجعل النظام عملياً للنشر في العالم الحقيقي.
التعميم: نجح الإطار في جسر الفجوة بين الاستدلال القائم على النص والاستدلال الحقيقي بالفيديو، مما مكن النماذج من التعامل مع التشتت الزمني وفقدان المعلومات في فيديوهات تتراوح مدتها من دقائق إلى ساعات.