💬 NLP

Decomposing Queries into Tool Calls for Long-Video Keyframe Retrieval

تقدم الورقة البحثية ToolMerge، وهي طريقة مبتكرة لاسترجاع الإطارات الرئيسية تستفيد من نموذج لغوي كبير لتفكيك الاستعلامات إلى استدعاءات أدوات محددة ودمج نتائجها عبر معاملات بولينية، مما يظهر أداءً تنافسيًا على مقياس Molmo-2 Moments المقترح حديثًا.

المؤلفون الأصليون: Michal Shlapentokh-Rothman, Prachi Garg, Yu-Xiong Wang, Derek Hoiem

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Michal Shlapentokh-Rothman, Prachi Garg, Yu-Xiong Wang, Derek Hoiem

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فيلمًا مدته 4 ساعات، وسألك أحدهم سؤالًا محددًا للغاية حول هذا الفيلم، مثل: "ماذا كان يفعل الرجل الذي يرتدي سترة صفراء قبل أن يعبر النهر؟"

إذا حاولت الإجابة عن ذلك من خلال مشاهدة الفيلم بأكمله من البداية إلى النهاية، فسيستغرق الأمر وقتًا طويلاً جدًا. أما إذا اخترت بضع إطارات عشوائية فقط (مثل تقليب ألبوم صور)، فمن المرجح أن تفوت اللحظة الدقيقة. هذه هي المشكلة التي تعالجها الورقة البحثية: كيف نجد الثواني القليلة المحددة من فيديو طويل والتي تحتوي على الإجابة، دون مشاهدة الفيديو بأكمله؟

يقترح المؤلفون نظامًا جديدًا يسمى ToolMerge. وإليك كيفية عمله، مشروحًا من خلال تشبيهات بسيطة.

1. المشكلة في الطرق القديمة

حاولت الأنظمة السابقة حل هذه المشكلة بطريقتين، كلتاهما تعانيان من عيوب:

نهج "المقاس الواحد للجميع": تعاملوا مع السؤال بأكمله كأنه مصطلح بحث واحد ضخم. الأمر يشبه سؤال أمين مكتبة: "جد لي الصفحة التي بها الرجل ذو السترة الصفراء وهو يعبر النهر". قد يجد أمين المكتبة صفحة بها نهر، أو صفحة بها رجل، ولكن ليس بالضرورة المزيج الصحيح بينهما.
نهج "قائمة التحقق الجامدة": حاولوا تقسيم السؤال إلى قائمة ثابتة من الأشياء (على سبيل المثال: "ابحث عن رجل"، "ابحث عن سترة"، "ابحث عن نهر"). لكن الحياة الواقعية فوضوية؛ فأحيانًا تحتاج للبحث عن فعل، وأحيانًا عن شيء، وأحيانًا عن لون محدد. قائمة التحقق الجامدة تفتقر إلى الدقة والبراعة.

2. الحل: ToolMerge (المحقق الذكي)

يعمل ToolMerge مثل محقق ذكي يعرف كيفية استخدام أدوات مختلفة لحل القضية. فبدلاً من محاولة إيجاد الإجابة في قفزة واحدة كبيرة، يقوم المحقق بتفكيك المهمة.

الخطوة 1: المخطط (العقل المدبر)
أولاً، يقوم "المخطط" (عقل اصطناعي) بقراءة السؤال. وبدلاً من مجرد البحث عن الجملة بأكملها، يقوم بتفكيك السؤال إلى مهام أصغر وأكثر تحديدًا.

التشبيه: إذا كان السؤال هو "ماذا فعل الرجل الذي يرتدي سترة صفراء؟"، فإن المخطط لا يكتفي بالصراخ بعبارة "سترة صفراء!" في الفراغ. بل يقول: "حسنًا، أحتاج إلى ثلاثة أشياء: 1. ابحث عن مشهد به نهر. 2. ابحث عن رجل يرتدي اللون الأصفر. 3. ابحث عن شخص يعبر الماء".

الخطوة 2: الأدوات (المتخصصون)
يرسل المخطط هذه المهام الصغيرة إلى أدوات "متخصصة" مختلفة.

الأداة (أ) (SigLIP): هذا هو متخصص المشاهد. ينظر إلى الصورة الكاملة للعثين على الأجواء العامة (مثل: "نهر"، "أخدود").
الأداة (ب) (T-REN): هذا هو متخصص الأشياء. يقوم بعمل زووم (تكبير) للعثور على أشياء محددة (مثل: "رجل"، "سترة صفراء").
الأداة (ج) (OCR): هذا هو قارئ النصوص. يقرأ أي كلمات مكتوبة على لافتات أو شاشات في الفيديو.

الخطوة 3: الدمج (القاضي)
الآن، قامت كل أداة بترتيب كل إطار (frame) في الفيديو بناءً على مدى مطابقتة لمهمتها المحددة. تقوم خطوة "الدمج" بجمع هذه الترتيبات.

قاعدة "و" (AND): إذا كان السؤال يتطلب وجود "نهر" و"رجل" معًا، يبحث النظام عن الإطارات التي أعطت فيها كلتا الأداتين درجة عالية. إنه يشبه مخطط "فن" (Venn diagram)؛ يجب أن تكون الإجابة في المنتصف حيث تتقاطع الدائرتان.
قاعدة "أو" (OR): إذا كان السؤال يسأل "هل عبر النهر أَم الجسر؟"، يبحث النظام عن الإطارات التي تستوفي أيًا من الشرطين.

أخيرًا، يختار النظام أفضل 3 إلى 8 إطارات سجلت أعلى الدرجات عبر كل هذه القواعد المجتمعة، ويقدمها إلى "مجيب" (AI) نهائي لإعطاء الإجابة الفعلية.

3. الاختبار الجديد: Molmo-2 Moments (M2M)

لإثبات نجاح نظامهم، أدرك المؤلفون أن الاختبارات الحالية كانت غير عادلة؛ إذ كانت الاختبارات القديمة تحتوي على أسئلة يمكن الإجابة عليها بالتخمين أو بالنظر إلى أجزاء عشوائية من الفيديو.

لذلك قاموا ببناء اختبار جديد يسمى Molmo-2 Moments (M2M).

التشبيه: تخيل معلمًا يكتب اختبارًا يعتمد فقط على مقطع مدته 10 ثوانٍ من فيلم. المعلم يعرف بالضبط ما يحدث في تلك الثواني العشر. إذا أجاب الطالب بشكل صحيح، فهذا يعني أنه يجب أن يكون قد شاهد تلك الثواني العشر المحددة، ولم يكن بإمكانه تخمين الإجابة من بقية الفيلم.
هذا يضمن أنه إذا حصل النظام على الإجابة الصحيحة، فإنه قد وجد بالفعل الإطارات الصحيحة.

4. النتائج

عندما اختبروا ToolMerge:

كان أفضل في العثور على الإطارات الصحيحة من الطرق السابقة، خاصة في الأسئلة المعقدة التي تتضمن أشياء أو أفعال متعددة.
أظهر أداءً جيدًا بشكل خاص في استرجاع الوصف (caption retrieval). فإذا أعطيت النظام وصفًا طويلًا ومفصلاً لمشهد ما (مثل وصف أو تعليق)، فإن ToolMerge أفضل بكثير في العثور على مقطع الفيديو الدقيق الذي يطابق ذلك الوصف مقارنة بالطرق القديمة.
أظهروا أيضًا أنه إذا قمت بـ "تدريب" المخطط قليلاً باستخدام نظام مكافأة محدد (GRPO)، فإنه يصبح أفضل في معرفة الأدوات التي يجب استخدامها.

الملخص

ToolMerge هو نظام لا يحاول تخمين الإجابة لسؤال فيديو طويل دفعة واحدة. بدلاً من ذلك، يعمل كمدير مشروع: يفكك السؤال إلى مهام صغيرة ومحددة، ويرسل هذه المهام إلى أدوات متخصصة مختلفة، ثم يدمج النتائج للعثور على الثواني القليلة الدقيقة من الفيديو التي تحمل الحقيقة. لقد أثبتوا نجاحه من خلال إنشاء اختبار أكثر صرامة حيث تكون الإجابة مرتبطة بلحظة زمنية محددة.

ملخص تقني: تفكيك الاستعلامات إلى استدعاءات أدوات لاسترجاع الإطارات المفتاحية للفيديوهات الطويلة

تعريف المشكلة

تتناول الورقة البحثية تحدي الإجابة على الأسئلة (QA) القابلة للتحقق في الفيديوهات الطويلة. وبينما يمكن للأنظمة الحالية توليد الإجابات، فإن توفير دليل مرئي (الإطارات المفتاحية/Keyframes) للتحقق من تلك الإجابات أمر بالغ الأهمية للتفاعل الموثوق بين الإنسان والذكاء الاصطناعي. وتكمن الصعوبة الجوهرية في اختيار الإطارات المفتاحية: أي العثور على الإطارات المحددة داخل فيديو طويل والتي تحتوي على الدليل اللازم للإجابة على استعلام ما.

تعاني النهج الحالية من مشكلتين رئيسيتين:

التقييم أحادي الاستعلام (Single-Query Scoring): الطرق التي تقوم بتقييم كل إطار مقابل استعلام واحد مدمج (مثل السؤال + الخيارات) غالبًا ما تفشل في التقاط الاستعلامات المعقدة التي تتطلب عناصر مرئية متعددة ومتميزة.
التفكيك ذو المخطط الثابت (Fixed Schema Decomposition): الطرق التي تفكك الاستعلامات إلى مخططات ثابتة (مثل أزواج الكائنات-العلاقات المحددة) تفتقر إلى المرونة ولا يمكنها الاستفادة من الأدوات المرئية المتنوعة بفعالية.

علاوة على ذلك، فإن تقييم جودة الاسترجاع بمعزل عن غيره أمر صعب لأن المعايير القياسية (مثل Video-MME أو LongVideoBench) غالبًا ما تحتوي على أسئلة يمكن تخمين إجاباتها دون رؤية الفيديو، أو حيث يكون الدليل غامضًا عبر فترات زمنية متعددة.

المنهجية: ToolMerge

يقترح المؤلفون ToolMerge، وهو إطار عمل للاسترجاع يعتمد على التفكيك والدمج. بدلاً من تقييم الإطارات مقابل استعلام ضخم، يقوم ToolMerge بتفكيك الاستعلام إلى استعلامات فرعية مستقلة، وتنفيذها باستخدام أدوات مرئية خفيفة الوزن ومتخصصة، ثم دمج النتائج.

1. التفكيك القائم على المخطط (Planner-Based Decomposition)

يقوم مخطط (Planner) يعتمد على نموذج لغوي كبير (LLM) (سواء كان بنظام Zero-shot أو تم ضبطه بالتعلم التعزيزي) بتحليل السؤال المدخل وخيارات الإجابة. هو لا يجيب على السؤال، بل يولد:

استدعاءات الأدوات (Tool Calls): مجموعة من الاستعلامات المستقلة لأدوات مرئية محددة.
المنطق البولياني (Boolean Logic): تعليمات حول كيفية دمج نتائج هذه الاستدعاءات (باستخدام معاملات AND أو OR).

2. الأدوات المرئية

يستخدم النظام نماذج رؤية خفيفة الوزن بدلاً من وصف كل إطار (Captioning) المكلف:

SigLIP-2: يقوم بمطابقة النص مع الصورة على مستوى الإطار بالكامل لالتقاط الأدلة على مستوى المشهد (الأفعال، الإعدادات، التوزيع المكاني).
T-REN: يقوم بمطابقة سمات المنطقة الموجهة بالنص لتحديد كيانات أو كائنات محددة.
التعرف الضوئي على الحروف (OCR): يعمل تلقائيًا على الإطارات المختارة للكشف عن النصوص الموجودة على الشاشة، مع تصفية النتائج بواسطة حكم (Judge) من نموذج لغوي كبير خفيف لضمان الصلة بالموضوع.

3. استراتيجية الدمج

بما أن الأدوات المختلفة تنتج درجات على مقاييس مختلفة، يقوم ToolMerge بدمج الرتب (Ranks) بدلاً من الدرجات الخام:

يتم تعيين رتبة لكل إطار (1 = الأفضل) ضمن مخرجات كل أداة.
معامل AND: يختار أسوأ (أقصى) رتبة بين الأدوات. يضمن هذا أن الإطار يُصنف عاليًا فقط إذا ظهرت جميع العناصر المطلوبة معًا.
معامل OR: يختار أفضل (أدنى) رتبة. يُستخدم هذا عندما تجد أدوات مختلفة أدلة صالحة بديلة.
تكامل OCR: يتم إدراج الإطارات التي تحتوي على نص ذي صلة في الرتبة 1 (الأولوية القصوى) بعد التحقق، حيث أنها تحمل غموضًا أقل من المطابقات القائمة على التشابه.

4. الاختيار النهائي

تستخدم خوارزمية "قمع غير أقصى" (Non-Maximum Suppression - NMS) جشعة لاختيار أفضل $k$ من الإطارات بناءً على الترتيب المدمج، مع فرض فجوة زمنية دنيا ( $\tau$ ) لضضاء التنوع. يتم بعد ذلك تمرير هذه الإطارات إلى نموذج لغة رؤية (VLM) "مجيب" لتوليد الاستجابة النهائية.

بناء المعيار القياسي: Molmo-2 Moments (M2M)

لتقييم الاسترجاع بصرامة دون ضجيج فشل الاستنتاج، قدم المؤلفون Molmo-2 Moments (M2M).

البناء: مستمد من مجموعة بيانات Molmo-2 للوصف (Captioning Dataset)، حيث يقوم الموثقون بوصف مقاطع محددة تتراوح مدتها بين 10 إلى 20 ثانية.
الترسيخ (Anchoring): يتم إنشاء كل سؤال من وصف (Caption) محدد، مما يضمن أن الإجابة الصحيحة مرتبطة بفترة زمنية محددة من حيث التصميم.
خط أنابيب التصفية: يضمن خط أنابيب مؤتمت ومتحقق منه بشريًا مكون من 8 خطوات أن الأسئلة:
- غير قابلة للإجابة بواسطة النماذج النصية فقط (فلتر العمى).
- ليست قابلة للإجابة بواسطة أخذ العينات الموحد (فلتر الضرورة).
- صعبة بما يكفي لتتطلب استرجاعًا مستهدفًا (فلتر الصعوبة).
- خالية من اللغة الميتا (Meta-language) أو الاعتماد على الصوت فقط.
أنماط التقييم: يدعم M2M استرجاع الأسئلة (HIT@K)، واسترجاء الوصف (استرجاع الإطارات للمصدر الوصفي)، ودقة الإجابة على الأسئلة (QA Accuracy) اللاحقة.

المساهمات الرئيسية

ToolMerge: طريقة لا تتطلب تدريبًا (أو يمكن تحسينها بالتعلم التعزيزي) لتفكيك الاستعلامات إلى استدعاءات أدوات ودمج الرتب باستخدام العمليات البوليانية، مما يسمح باستخدام مرن لأدوات مرئية مختلفة.
Molmo-2 Moments (M2M): معيار قياسي حيث يتم ربط كل سؤال بصرامة بفترة زمنية حقيقية، مما يعزل أداء الاسترجاع عن قدرات الاستنتاج.
تقييم شامل: إطار تقييم ثلاثي الأجزاء يغطي الإجابة على الأسئلة في الفيديوهات الطويلة، واسترجاع الأسئلة المباشر، واسترجاع الوصف، مما يثبت أن التفكيك فعال بشكل خاص للاستعلامات المعقدة ومتعددة العناصر.

النتائج التجريبية

قيم المؤلفون ToolMerge مقابل خطوط الأساس (Uniform Sampling, SigLIP-Q) وأفضل الأدوات الحالية لاختيار الإطارات المفتاحية (AKS, BOLT, LIF, WFS) على LongVideoBench و Video-MME و M2M.

الإجابة على الأسئلة في الفيديو الطويل: حقق ToolMerge أعلى دقة عبر جميع ميزانيات الإطارات المختبرة (8 و 32 إطارًا) ونماذج المجيب (Qwen3-VL, GPT-4o) في كل من LongVideoBench و Video-MME. ومن الملاحظ أن خط الأساس SigLIP-Q البسيط (أعلى $k$ للاستعلام الواحد) كان تنافسيًا بشكل مفاجئ، وغالبًا ما تفوق على طرق التفكيك الأكثر تعقيدًا مثل LIF.
استرجاع M2M: في معيار M2M، كان ToolMerge و SigLIP-Q هما الأفضل أداءً. أظهر ToolMerge ميزة واضحة في استرجاع الوصف (Caption Retrieval)، حيث تفوق على SigLIP-Q بنسبة 5% عند HIT@32. يشير هذا إلى أنه بالنسبة للاستعلامات التي تصف عناصر مرئية متعددة متزامنة (كما في الأوصاف)، فإن نهج التفكيك متعدد الأدوات يلتقط الأدلة التي تفقدها طرق الاستعلام الواحد.
تحسين المخطط (Planner): أدى تطبيق GRPO (التعلم التعزيزي) على المخطط باستخدام مكافأة قائمة على الاستدعاء (التحقق مما إذا كانت الإطارات المختارة تقع في الفترة الزمنية الحقيقية) إلى تحسين الأداء بشكل أكبر، خاصة في مقاييس الاسترجاع.
الكفاءة: الطريقة أكثر كفاءة بكثير من النهج القائم على الوصف (Captioning). استغرق معالجة فيديو مدته 10 دقائق باستخدام ToolMerge وقتًا أقل بنحو 3.4 ضعف من توليد الأوصاف للفيديو بأكمله.

الأهمية والادعاءات

تدعي الورقة أن التفكيك والدمج هو إطار عمل قوي لاسترجاع الإطارات المفتاحية، خاصة للاستعلامات التي تتطلب الوجود المتزامن لعدة عناصر مرئية.

الاسترجاع مقابل الاستنتاج: من خلال ربط الأسئلة بفترات زمنية محددة، يوضح M2M أن جودة الاسترجاع ترتبط ارتباطًا وثيقًا بدقة الإجابة على الأسئلة اللاحقة عندما يتم تقليل عبء الاستنتاج.
تنوع الأدوات: تشير النتائج إلى أنه بينما يعد التشابه أحادي الاستعلام (SigLIP-Q) خط أساس قوي، فإن تفكيك الاستعلامات للاستفادة من أدوات متخصصة (مثل T-REN للأجسام و SigLIP للمشاهد) يوفر ميزة ملموسة للاستعلامات الوصفية المعقدة (الأوصاف).
القابلية للتحقق: يوفر النظام مسارًا مباشرًا للذكاء الاصطناعي القابل للتحقق، مما يسمًا للمستخدمين فحص الإطارات المفتاحية المحددة التي تدعم الإجابة، بدلاً من الاعتماد على ملخصات نصية غامضة.

ظل المؤلفون متواضعين، مشيرين إلى قيود مثل مجموعة الأدوات الثابتة (باستثناء فهم الصوت) والاعتماد على قدرات الاستنتاج للمجيب بمجرد العثور على الإطارات الصحيحة. هم لا يدعون حل المشكلة العامة لفهم الفيديو الطويل، بل يقدمون آلية محددة وفعالة وقابلة للتحقق لمكون الاسترجاع.