💻 computer science

Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning

يُعد Video-o3 إطار عمل مبتكر للاستدلال متعدد الخطوات في الفيديوهات الطويلة، حيث يتغلب على قيود أخذ العينات الموحدة من خلال تمكين البحث التكراري الأصيل عن الأدلة عبر قناع انتباه مفكك المهام ومكافأة موجهة للمسار قابلة للتحقق، محققاً أداءً هو الأفضل في فئته على اختبارات معيارية مثل MLVU وVideo-Holmes.

المؤلفون الأصليون: Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز في فيلم مدته 30 دقيقة، لكن ليس لديك سوى ثوانٍ قليلة لمشاهدته. تحاول معظم نماذج الذكاء الاصطنا القدرة الحالية حل هذه المشكلة عبر أخذ لقطات سريعة وضبابية للفيلم بأكمله كل بضع ثوانٍ ثم تخمين الإجابة فوراً. الأمر يشبه محاولة العثور على إبرة محددة في كومة قش من خلال إلقاء نظرة خاطفة على الكومة بأكملة مرة واحدة والأمل في أن تكون قد رأيتها. غالباً ما تفقد الإبرة لأنها مخبأة في "القش" (الأجزاء المملة)، أو قد تشعر بالارتباك بسبب كثرة المعلومات.

يعد Video-o3 إطار عمل جديد للذكاء الاصطناعي يغير قواعد اللعبة. فبدلاً من إلقاء نظرة خاطفة، فإنه يعمل مثل محقق يحمل عدسة مكبرة. إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. نهج المحقق (البحث المتداخل الأصيل عن الأدلة)

بدلاً من مشاهدة الفيلم بأكرله ثم التخمين، يشاهد Video-o3 جزءاً صغيراً، يفكر، ثم يقرر: "أحتاج إلى التركيز (التقريب) على هذا الجزء المحدد الممتد لـ 5 ثوانٍ لأرى ما يحدث".

كيف يعمل: يطلب من النظام "قص" (crop) مقطع محدد من الفيديو (مثل قطع قطعة صغيرة من فيلم سينمائي) للنظر إليه عن كثب.
الحلقة: يكرر هذه العملية: شاهد قليلاً $\leftarrow$ فكر $\leftarrow$ زوّم (ركز) على دليل ما $\leftarrow$ فكر مجدداً $\leftarrow$ زوّم على دليل آخر.
النتيجة: يبني الإجابة قطعة قطعة، من خلال النظر فقط إلى الأجزاء المهمة من الفيديو، متجاهلاً الباقي.

2. مشكلة "تشتت الانتباه" (قناع الانتباه لفصل المهام)

تخيل محققاً يحاول كتابة تقرير بينما ينظر في نفس الوقت إلى مسرح الجريمة. إذا حاول القيام بالأمرين معاً في اللحظة ذاتها، فقد يصاب بالارتباك. قد ينظر إلى مسرح الجريمة ولكنه يكتب شيئاً من ذاكرته بدلاً مما يراه فعلياً. هذا ما يسمى بـ "التفكير الزائف".

الحل: يستخدم Video-o3 تقنية "قناع" (masking) خاصة.
- عندما يكون الذكاء الاصطناعي في مرحلة البحث عن الأدلة (مسح الفيديو)، فإنه يُجبر على تجاهل الإجابة النهائية التي قد يكتبها؛ فهو يركز تماماً على إيجاد الدليل.
- عندما يكون الذكاء الاصطناعي في مرحلة كتابة الإجابة، فإنه يُجبر على تجاهل لقطات الفيديو الخام والتركيز فقط على الأدلة التي وجدها للتو.
التشبيه: يشبه الأمر طالباً مسموحاً له بالنظر إلى كتابه المدرسي فقط خلال مرحلة "المذاكرة"، ومسموحاً له بالنظر إلى ملاحظاته فقط خلال مرحلة "الاختبار". هذا يمنعه من الغش أو الارتباك، ويضمن أن تكون إجابته النهائية مبنية على أدلة صلبة.

3. "علامة التوقف" (المكافأة الموجهة بالمسار القابل للتحقق)

يمكن للمحقق نظرياً أن يستمر في التقريب (Zooming) إلى الأبد، ليفحص كل إطار واحد، مما سيستغرق وقتاً طويلاً جداً وسيكلف الكثير من المال (قدرة حوسبية).

الحل: يتم تدريب Video-o3 باستخدام نظام مكافأة خاص.
- إذا وجد الذكاء الاصطناعي الإجابة بسرعة ودقة، فإنه يحصل على "نجمة ذهبية" كبيرة (مكافأة).
- إذا استمر الذكاء الاصطناعي في التقريب دون داعٍ بعد أن وجد الإجابة بالفعل، فإنه يتلقى "عقوبة" (تقل المكافأة).
التشبيه: يشبه الأمر لعبة "ساخن وبارد". يتعلم الذكاء الاصطناعي التوقف عن البحث بمجرد أن يشعر أنه "ساخن" (لديه أدلة كافية). إنه يتعلم أن يكون فعالاً، ويتوقف تماماً عندما يحل اللغز، بدلاً من إضاعة الوقت في البحث في الغرف الفارغة.

4. ساحة التدريب (Seeker-173K)

لتعليم الذكاء الاصطناعي كيف يكون محققاً، لا يمكنك مجرد إعطائه كتاباً مدرسياً؛ بل تحتاج إلى إعطائه آلاف القضايا التدريبية حيث يتعين عليه البحث عن الأدلة.

مجموعة البيانات: أنشأ الباحثون مجموعة بيانات ضخمة تسمى Seeker-173K. تحتوي هذه المجموعة على 173,000 مثال من "ألغاز الفيديو" حيث يُجبر الذكاء الاصطناعي على ممارسة دورة: انظر $\leftarrow$ زوّم $\leftarrow$ فكر $\leftarrow$ انظر مجدداً $\leftarrow$ حل اللغز.
النتيجة: نظرًا لأنه تدرب كثيراً على مهام "البحث عن الأدلة" المحددة هذه، فقد أصبح أفضل بكثير في حل أسئلة الفيديو المعقدة مقارنة بالنماذح السابقة.

الخلا الخلاصة

Video-o3 هو طريقة أذكى لجعل الحواسيب تشاهد الفيديوهات الطويلة. فبدلاً من محاولة حفظ الفيلم بأكمله دفعة واحدة، فإنه يعمل كمحقق بشري: يمسح المشهد، يركز على التفاصيل المهمة، يربط النقاط ببعضها، ويتوقف بمجرد حصوله على الدليل. وهذا يجعله أسرع، وأكثر دقة، وأفضل في حل الألغاز المعقدة المخفية في الفيديوهات الطويلة.

الأداء: في الاختبارات، سمح هذا النهج للذكاء الاصطناعي بحل ألغاز الفيديو بدقة أعلى بكثير (على سبيل المثال، 72.1% في أحد المعايير الرئيسية) مقارنة بالطرق القديمة التي كانت تكتفي بـ "إلقاء نظرة خاطفة" على الفيديو.

ملخص تقني: Video-o3

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية لفهم الفيديو الطويل بشكل أساسي على أخذ عينات إطارية موحدة متبوعة باستنتاج أحادي الدور. وتواجه هذه الطريقة صعوبة في تحديد الأدلة الشحيحة ولكن الحاسمة ضمن محتوى خلفي زائد عن الحاجة، مما يؤدي إلى عبء حسابي كبير وتدهور في دقة الاستنتاج. وبينما توجد نماذج أولية تعتمد على مبدأ "البحث عن القرائن + استنتاج الإجابة"، إلا أنها غالبًا ما تعتمد على استدلالات مصممة يدويًا، وتفتقر إلى التحسين الشامل (end-to-end)، وتفصل بين البحث عن القرائن والاستنتاج، مما يعيق قدرتها على التوسع في الفيديوهات الطويلة والمعقدة التي تتطلب استنتاجًا متعدد الخطوات (multi-hop reasoning). علاوة على ذلك، يفرض الاستدعاء الأصيل للأدوات متعدد الدور تحديين جوهريين: تشتت الانتباه الناتج عن عدم تجانس مهام الاستنتاج واستدعاء الأدوات ضمن سياق مشترك، وعدم كفاءة السياق حيث تؤدي تفاعلات الأدوات غير المنضبطة إلى استهلاك مفرط للرموز (tokens) والاستكشاف المكرر.

المنهجية

يقدم المؤلفون Video-o3، وهو إطار عمل مصمم للاستنتاج المتداخل أصيلًا بين البحث عن القرائن والاستنتاج متعدد الخطوات في الفيديوهات الطويلة. يُمكّن النظام النموذج من اكتشاف القرائن البصرية البارزة بشكل تكراري، وإجراء فحص دقيق للمقاطع الرئيسية عبر أداة VideoCrop، وإنهاء البحث بشكل تكيفي بمجرد الحصول على أدلة كافية.

1. حجب الانتباه المستقل عن المهام (TDAM)

للتخفيف من تشتت الانتباه الناجم عن المهام غير المتجانسة (اكتشاف القرائن مقابل استنتاج الإجابة)، يقترح المؤلفون آلية TDAM. تفرض هذه الآلية قيود رؤية صريحة أثناء الضبط الدقيق الخاضع للإشراف (SFT):

مرحلة البحث عن القرائن: يتم تقييد النموذج بحيث ينتبه فقط إلى مدخل الفيديو العالمي، مما يجبره على تعلم استراتيجيات التخطيط بناءً على السياق العالمي.
مرحلة استنتاج الإجابة: يتم حجب النظرة العامة العالمية، مما يجبر النموذج على استخلاص الإجابات حصريًا من ملاحظات الأداة عالية الدقة.
تُطبق هذه الاستراتيجية على 10% فقط من بيانات التدريب لموازنة الخبرة المنفصلة مع الحاجة إلى الاستنتاج الشامل، مما يعزل بفعالية تدريب هذين النمطين مع الحفاظ على سياق عالمي مشترك.

2. المكافأة الموجهة بالمسار القابل للتحقق (VTGR)

للتحكم في نمو طول السياق وتشجيع الاستكشاف الفعال، تم تقديم دالة مكافأة مبتكرة للتعلم التعزيزي (RL). المكافأة $R$ هي مزيج من صحة الإجابة، وصحة التنسيق، ومعامل توجيه المسار $\beta$ :
$R = r_a \cdot (1 + \beta) + r_f$

درجة القرينة الهجينة ( $S_{clue}$ ): تحفز التحديد الدقيق من خلال مكافأة المسارات التي تتوافق مع الفترات الزمنية للحقيقة الأرضية (باستخدام IoU، وIoP، وIoG) أو تشجيع التنوع في عينات "الاستكشاف الحر".
عامل اضمحلال الدور ( $\gamma$ ): يعاقب المسارات التي تتجاوز عدد الأدوار المرجعي، مما يعزز الإنهاء السريع ويمنع الحلقات المكررة.
يتم تحسين النموذج باستخدام خوارزمية DAPO، وهي نسخة مطورة من GRPO، لتعظيم المزايا النسبية ضمن المجموعات المختارة.

3. تركيب البيانات و Seeker-173K

للتغلب على ندرة البيانات اللازمة لتدريب استدعاء الأدوات المتداخل أصيلًا، طور المؤلفون مسارًا مؤتمتًا وقابلًا للتوسع لتوليد البيانات. يعالج هذا المسار ثلاثيات "الفيديو-السؤال-الإجابة" عبر أربع مراحل: تحديد موقع القرينة، التحقق من الصلاحية، توليد المسار، وفحص الاتساق المنطقي. تنتج هذه العملية Seeker-173K، وهو مستودع عالي الجودة يضم 173,000 مسار تفاعل مع الأدوات مصمم خصيصًا لتعزيز قدرات استدعاء الأدوات المتداخلة القوية.

المساهمات الرئيسية

حجب الانتباه المستقل عن المهام: آلية تفصل بين تحديد موقع القرينة واستنتاج الإجابة لمنع تداخل الانتباه، مما يسمح للنماذج الشاملة بالتركيز على مراحل استكشاف محددة مع الحفاظ على السياق العالمي.
المكافأة الموجهة بالمسار القابل للتحقق: صيغة مكافأة توازن بين الاستكشاف الشامل وكفاءة الحوسبة، مما يشجع النموذج على تحديد مواقع القرائن بدقة وإنهاء الاستنتاج بدقة عند كفاية الأدلة.
مجموعة بيانات Seeker-173K: مستودع تدريب ضخم وعالي الجودة يتكون من 173 ألف مسار تفاعل مع الأدوات، تم بناؤه عبر مسار توليد مؤتمت لدعم التعلم الخاضع للإشراف والتعلم التعزيزي للفهم الاستنتاجي للفيديو الطويل.

النتائج التجريبية

أظهرت التقييمات الواسعة عبر معايير متنوعة لفهم واستنتاج الفيديو الطويل أن Video-o3 يتفوق بشكل كبير على الطرق الحالية:

MLVU: حقق دقة بنسبة 72.1% (SFT+RL)، متجاوزًا أفضل النتائج السابقة.
Video-Holmes: حقق دقة بنسبة 46.5%، مما أظهر قدرات قوية في البحث عن الأدلة متعدد الخطوات.
LVBench: حقق دقة بنسبة 47.6%.
التوطين الزمني: في معيار Charades-STA، حقق Video-o3 قيمة mIoU بلغت 60.7، متفوقًا بشكل ملحوظ على النماذج المرجعية مثل LongVT (27.2) وQwen2.5-VL (43.6).
الكفاءة: مقارنة بطرق الاستنتاج التكراري المنفصلة، قلل Video-o3 من وقت الاستنتاج بنسبة 32.9% (مقابل LOVE-R1) و46.0% (مقابل VideoChat-R1.5) مع استخدام عدد أقل من الرمونات البصرية، مستفيدًا من سياق مشترك موحد لإلغاء الحوسبة المكررة عبر ذاكرة التخزين المؤقت (KV cache).

كما أظهر الإطار قدرة على التعميم على النماذج الأساسية الأصغر (Qwen3-VL-4B)، محققًا تحسينات متسقة عبر جميع المعايير المختبرة.

الأهمية والادعاءات

يزعم البحث أن Video-o3 يضع معيارًا جديدًا لفهم الفيديو طويل الأمد من خلال إثبات فعالية استدعاء الأدوات الأصيل في هذه السيناريوهات. ومن خلال تمكين النماذج من البحث بنشاط عن الأدلة ذات الصلة بالمهمة عبر تفاعلات تكرارية متعددة الأدوار بدلاً من المعالجة السلبية للمدخلات الثابتة، يعالج Video-o3 القيود الجوهرية لأخذ العينات الموحدة والاستنتاج أحادي الدور. يؤكد العمل على الإمكانات التحويلية لنماذج استخدام الأدوات الأصيلة في تطوير الجيل القادم من النماذج اللغوية الكبيرة متعددة الوسائط الوكيلية (agentic MLLMs)، مع تسليط الضوء بشكل خاص على القدرة على تفكيك الاستعلامات المعقدة إلى أهداف فرعية يمكن إدارتها وحل حالات الغموض من خلال سلاسل استنتاج قوية متعددة الخطوات. ويؤكد المؤلفون أن نهجهم يوازن بنجاح بين تغطية الاستكشاف وكفاءة الاستنتاج، وهو مطلب بالغ الأهمية لتحليل الفيديو الطويل القابل للتوسع.