💻 computer science

RANKVIDEO: Reasoning Reranking for Text-to-Video Retrieval

تقدم الورقة البحثية RANKVIDEO، وهو معيد ترتيب قائم على الاستنتاج يستفيد من محتوى الفيديو لتقييم صلة الاستعلام بالفيديو من خلال مسار منهج دراسي وتوليف بيانات متخصص، محققاً مكاسب أداء كبيرة مقارنة بالطرق الحالية في معيار MultiVENT 2.0.

المؤلفون الأصليون: Tyler Skow, Alexander Martin, Benjamin Van Durme, Rama Chellappa, Reno Kriz

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tyler Skow, Alexander Martin, Benjamin Van Durme, Rama Chellappa, Reno Kriz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تبحث عن مقطع فيديو محدد في مكتبة تحتوي على ملايين المقاطع. تقوم بكتابة استعلام بحث مثل "Kamazing autonomous mining dump truck" (شاحنة تفريغ تعدين ذاتية القيادة من نوع كamazing).

المشكلة: أمين المكتبة المثقل بالأعباء
في نظام البحث التقليدي، تكون الخطوة الأولى مثل أمين مكتبة سريع وفعال يقوم بمسح العناوين والملخصات الموجزة لملايين الكتب (أو الفيديوهات) بسرعة لاستخراج أفضل 1000 مقطع قد تكون ذات صلة. هذه العملية سريعة، لكنها ليست مثالية. فقد يجلب فيديو عن شاحنة تعدين عادية، أو فيديو عن علامة تجارية مختلفة لمركبة ذاتية القيادة، لمجرد أن الكلمات متطابقة.

الخطوة الثانية هي "إعادة الترتيب" (re-ranker). هذا هو أمين المكتبة الأكثر دقة وتأنياً، الذي ينظر إلى أفضل 1000 مرشح واحداً تلو الآخر ليقرر أي منها هو بالفعل ما طلبته.

الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (النص فقط): حاولت الأنظمة الذكية السابقة أن تكون هذا الأمين الدقيق عبر قراءة النصوص الوصفية (التعليقات التوضيحية) أو النصوص المفرغة للفيديوهات فقط. لكن الفيديوهات أكثر من مجرد كلمات؛ فهي تحتوي على أصوات، وصور متحركة، ونصوص مكتوبة على الشاشة (مثل لافتة في الخلفية). إذا فات الوصف النصي تفصيل بصري حاسم، فإن النظام القديم يصاب بالارتباك.
الطريـقة الجديدة (RANKVIDEO): قام مؤلفو هذه الورقة البحثية ببناء نظام جديد يسمى RANKVIDEO. بدلاً من مجرد قراءة النص، يقوم RANKVIDEO بـ مشاهدة الفيديو فعلياً، والاستماع إلى الصوت، وقراءة النصوص الموجودة على الشاشة. إنه يستخدم "الاستنتاج" ليعرف ما إذا كان الفيديو يطابق بحثك حقاً.

كيف يتعلم RANKVIDEO (التدريب ذو المرحلتين)
تصف الورقة عملية تدريب ذكية من مرحلتين لتعليم هذا الذكاء الاصطناعي كيف يكون حكماً جيداً:

المرحلة الأولى: مرحلة "طالب الفنون" (تأسيس الإدراك)
قبل تعلم كيفية الحكم، يتم تعليم النموذج أن يكون مراقباً جيداً. يُعرض عليه فيديوهات ويُطلب منه كتابة تعليقات توضيحية مفصلة تصف بدقة ما يحدث (على سبيل المثال: "شاحنة حمراء تصعد تلة"). هذا يجبر النموذج على الانتباه إلى التفاصيل البصرية والسمعية الفعلية، وليس مجرد التخمين بناءً على الكلمات المفتاحية. الأمر يشبه تدريب طالب فنون على وصف لوحة قبل مطالبته بنقدها.
المرحلة الثانية: مرحلة "القاضي" (الترتيب)
الآن، بعد أن أصبح بإمكان النموذج "رؤية" الفيديو، فإنه يتعلم كيفية الحكم على مدى الصلة.

يُعطى استعلام بحث ومجموعة من الفيديوهات (إجابة واحدة صحيحة وعدة إجابات "مزيفة" مخادعة تبدو متشابهة).
يتعلم المقارنة بينها وتقرر أيهما هو التطابق الأفضل.
السر الخفي: تذكر الورقة وجود ذكاء اصطناعي "معلم" يساعد في توجيه التعلم. هذا المعلم لا يكتفي بقول "صح" أو "خطأ" فحسب؛ بل يعطي "درجة ثقة". وهذا يساعد النموذج على فهم مدى تأكده، خاصة عندما تكون الفيديوهات متشابهة جداً.

لماذا هو أفضل؟
اختبرت الورقة البحثية RANKVIDEO على مجموعة بيانات ضخمة تسمى MULTIVENT 2.0 (والتي تحتوي على أكثر من 100,000 فيديو). وإليكم ما وجدوه:

إنه يعمل بشكل أفضل: عندما تم استخدام RANKVIDEO لإعادة ترتيب النتائج من مرحلة البحث السريعة الأولى، فقد حسن دقة أفضل النتال بنسبة 31% في المتوسط. لقد كان أفضل بكثير من الأنظمة التي تقرأ النصوص فقط أو الأنظمة التي تحاول "التفكير" في الفيديو ولكنها تعتمد على التعليقات التوضيحية المكتوبة مسبقاً.
أذكى وليس أبطأ: عادةً ما تكون نماذج الذكاء الاصطناعي "الاستنتاجية" بطيئة لأنها تكتب تفسيرات طويلة لكل قرار. لكن RANKVIDEO مختلف؛ فهو يقوم بالاستنتاج داخلياً ولكنه يخرج فقط درجة بسيطة بـ "نعم" أو "لا". هذا يجعله أسرع بكثير من الأنظمة الأخرى القائمة على الاستنتاج، ويكاد يكون بسرعة الأنظمة البسيطة التي تعتمد على النصوص فقط.
إنه يتكيف: النموذج ذكي بما يكفي ليعرف متى يفكر بعمق ومتى يكتفي بنظرة سريعة. إذا كان الفيديو خاطئاً بشكل واضح، فإنه يرفضه بسرعة. وإذا كان تطابقاً مخادعاً، فإنه يتعمق في التفاصيل البصرية.

الخلاصة
تقدم الورقة البحثية RANKVIDEO، وهي أداة تجعل البحث عن الفيديو أكثر دقة من خلال تعليم الذكاء الاصطناعي مشاهدة والاستماع إلى الفيديوهات فعلياً لاتخاذ القرارات، بدلاً من مجرد قراءة الملخصات النصية. إنه يتعلم أولاً عبر ممارسة الوصف، ثم ممارسة الحكم بمساعدة "معلم"، مما ينتج عنه نظام يجد الفيديوهات الصحيحة بشكل أسرع وأكثر موثوقية من الطرق السابقة.

ملخص تقني: RANKVIDEO – إعادة ترتيب الاستدلال لاسترجاع الفيديو من النصوص

بيان المشكلة

يواجه استرجاع الفيديو من النصوص تحديات كبيرة بسبب تعقيد مواءمة الاستعلامات باللغة الطبيعية مع المحتوى السمعي البصري. ورغم وجود أدوات استرجاع فعالة في المرحلة الأولى (المشفّرات الثنائية/bi-encoders)، إلا أنها غالباً ما تعاني أمام حجم مجموعات البيانات الواقعية (مئات الآلاف من الفيديوهات) والحاجة إلى فهم متعدد الوسائط دقيق. وتعتبر طرق إعادة الترتيب الحالية للفيديو غير مستكشفة بشكل كافٍ، أو تعتمد على استخراج النصوص (التسميات التوضيحية، النصوص المفرغة) لتغذية نماذج الاستدلال القائمة على النصوص. هذا النهج القائم على النص فقط محدود لأنه يهمل المعلومات المرئية والسمعية الحرجة، وقد لا تتوفر هذه المعلومات لجميع الفيديوهات، كما يتسبب في تكاليف حوسبة عالية للإنشاء. علاوة على على ذلك، تفشل نماذج إعادة الترتيب الأصلية للفيديو حالياً في التعميم على مهام الاسترجاع الواقعية، حيث تؤدي أداءً جيداً في مجموعات البيانات المصطنعة، لكن أداءها يتدهور في الاختبارات المعيارية واسعة النطاق والمكثفة استدلالياً.

المنهجية

يقدم المؤلفون RANKVIDEO، وهو نموذج إعادة ترتيب استدلالي أصلي للفيديو مصمم لتقييم مدى صلة الاستعلام بالفيديو من خلال الاستدلال مباشرة على المدخلات السمعية البصرية. يعمل النظام ضمن إطار عمل استرجاع مكون من مرحلتين ويستخدم منهجية تدريب مبتكرة تتكون من مرحلتين.

1. تخليق البيانات

لمعالجة نقص بيانات التدريب للاسترجاع المكثف استدلالياً، طور المؤلفون مساراً لتخليق البيانات:

استخراج الميزات: تتم معالجة الفيديوهات لاستخراج التسميات التوضيحية المرئية (باستخدام QWEN3-OMNI)، والنصوص الصوتية (باستخدام WHISPER-LARGE-V2)، والنصوص الظاهرة على الشاشة (OCR).
توليد الاستعلامات: يقوم نموذج استدلال نصي (QWEN3-32B) بتوليد تنويعات متنوعة للاستعلام بناءً على هذه الميزات المستخرجة (تسمية توضيحية فقط، صوت فقط، نص على الشاشة فقط، بيانات وصفية فقط، ومزيج منها).
التصفية: يتم تصفية الاستعلامات لضمان الجودة وكثافة الاستدلال. يتضمن ذلك استبعاد الاستعلامات التي لا يكون فيها الفيديو الإيجابي ضمن أفضل 1000 مرشح من قبل مسترجع أساسي، وإزالة الاستعلامات التي تكون فيها السلبيات الصعبة سهلة التمييز للغاية، وتصفية الأزواج التي أخطأ النموذج المعلم في تصنيفها. تحتوي المجموعة النهائية على حوالي 35,000 سجل من أزواج (استعلام-فيديو) فريدة موجبة وسالبة.

2. عملية التدريب ثنائية المرحلة

يتم تدريب RANKVIDEO باستخدام منهج تعليمي يفصل بين الإدراك وبين تحسين عملية الترتيب:

المرحلة الأولى: الضبط الدقيق الخاضع للإشراف المرتكز على الإدراك (SFT)
- الهدف: ترسيخ النموذج في محتوى الفيديو قبل تقديم أهداف الترتيب.
- الطريقة: يتم ضبط النموذج بدقة لتوليد تسميات توضيحية للفيديوهات بناءً على تسميات توضيحية مقدمة من نموذج معلم. يشجع هذا النموذج على الانتباه إلى الكيانات والأحداث المرئية المميزة بدلاً من تعلم قرار صلة ثنائي فوراً.
- الهدف: استخدام خسارة التقاطع المتقاطع القياسية لتوليد التسميات التوضيحية ( $L_{cap}$ ).
المرحلة الثانية: الضبط الدقيق للترتيب
- استخراج السلبيات الصعبة: يتم تصنيف المرشحين باستخدام معلم استدلالي (REASONRANK) إلى "سلبيات موثوقة" (غير ذات صلة بوضوح)، و"إيجابيات مشتبه بها" (يتم استبعادها لتجنب السلبيات الخاطئة)، و"سلبيات صعبة" (مرشحون غامضون يشبهون الإيجابيات).
- الهدف الموحد: يتم تدريب النموذج على إخراج درجة صلة عددية $s_\theta(q, v)$ $s_{θ} (q, v)$ مشتقة من فرق اللوغاريتم (logit difference) لرموز الإجابة ("نعم" مقابل "لا") عند نقطة القرار، مما يتجنب الحاجة إلى فك تشفير مسارات استدلال طويلة. تتكون دالة الخسارة من ثلاثة مكونات:
  1. خسارة الترتيب الزوجي (Pairwise Ranking Loss): تشجع الفيديو الإيجابي على الحصول على درجة أعلى من السلبيات الصعبة داخل الدفعة الواحدة.
  2. تقطير احتمالية المعلم (Teacher Probability Distillation): يستخدم ثقة المعلم (اللوجيتس) لتوفيد إشراف معاير يتجاوز الملصقات الثنائية.
  3. الخسارة النقطية (Pointwise Loss): خسارة تصنيف ثنائي مع أهداف مخففة لاستقرار التدريب ضد عدم توازن الفئات والضجيج في البيانات.

3. آلية الاستدلال

على عكس نماذج الاستدلال الأخرى التي تولد مسارات "سلسلة الأفكال" (CoT) مطولة لكل استعلام، يتنبأ RANKVIDEO بالصلة عبر مقارنة الاحتمالات اللوغاريتمية لرموز الإجابة المنفصلة ("نعم" مقابل "لا"). ينتج هذا عن ذلك درجة صلة عددية دون الحاجة إلى توليد نصوص استدلال وسيطة، مما يقلل بشكل كبير من زمن انتقال الاستدلال (latency).

المساهمات الرئيسية

نموذج RANKVIDEO: نموذج إعادة ترتيب استدلالي أصلي للفيديو يتم تدريبه مباشرة على المدخلات السمعية البصرية، مما يلغي الاعتماد على النصوص المستخرجة في مرحلة الاستدلال.
مسار تخليق البيانات: طريقة لتوليد أزواج (استعلام-فيديو) مكثفة استدلالياً عبر الاستفادة من الميزات متعددة الوسائط للفيديو (مرئية، صوتية، OCR، وبيانات وصفية).
منهج تعليمي ثنائي المرحلة: استراتيجية تدريب تبدأ بترسيخ النموذج في الإدراك المرئي عبر التسمية التوضيحية، يتبعها ضبط دقيق للترتيب متعدد الأهداف (زوجي، ونقطي، وتقطير).
الكفاءة: يحقق النموذج أداءً عالياً دون العبء الحوسبي لتوليد مسارات سلسلة أفكار كاملة أثناء الاستدلال، مما يسمح بتكييف الجهد الاستدلالي ديناميكياً.

النتائج التجريبية

أُجريت التجارب على المعيار المرجعي MULTIVENT 2.0، وهو مجموعة بيانات ضخمة تحتوي على أكثر من 100,000 فيديو.

الأداء: حسن RANKVIDEO باستمرار أداء الاسترجاع عبر مختلف أدوات الاسترجاع في المرحلة الأولى (بما في ذلك OMNIEMBED، MMMORRF، CLIP، LanguageBind، و Video-ColBERT).
- حقق تحسناً متوسطاً بنسبة 31% في nDCG@10 مقارنة بالأساس في المرحلة الأولى.
- تفوق على نماذج إعادة الترتيب النصية فقط (REASONRANK) وغيرها من النماذج المرجعية للغة والرؤية (QWEN3-VL-8B-INSTRUCT، QWEN3-VL-8B-THINKING، و QWEN3-VL-RERANKER-8B). ومن الملاحظ أن بعض النماذج المرجعية الأصلية للفيديو أدت في الواقع إلى تدهور أداء المرحلة الأولى، بينما قام RANKVIDEO بتحسينه.
توزيع الدرجات: أدى التدريب إلى تغيير توزيع الدرجات بحيث حصلت الأزواج ذات الصلة على هوامش إيجابية أكبر، بينما حصلت الأزواج غير ذات الصلة على هوامش سلبية أكثر، مما قلل من التداخل وحسن جودة الترتيب.
الكفاءة: كان RANKVIDEO أسرع بكثير من النماذج المرجعية القائمة على الاستدلال مثل QWEN3-VL-THINKING (الذي يولد مسارات CoT) وكان مقارباً في زمن الانتقال لنماذج إعادة الترتيب القائمة على النصوص، رغم عمله على الفيديو الخام.
الأثر اللاحق: في بيئة التوليد المعزز بالاسترجاع (RAG) باستخدام مجموعة بيانات WIKIVIDEO، حسن RANKVIDEO من تغطية الادعاءات وواقعية المقالات، مما أثبت فائدته بما يتجاوز مقاييس الاسترجاء القياسية.

الأهمية والادعاءات

يزعم البحث أن RANKVIDEO يعالج فجوة حرجة في استرجاع الفيديو من خلال إثبات أن إعادة الترتيب القائمة على الاستدلال يمكن تطبيقها بفعالية على المدخلات الأصلية للفيديو. يجادل المؤلفون بأن الاعتماد على النصوص المستخرجة لإعادة ترتيب الفيديو هو أمر غير مثالي بسبب فقدان المعلومات وتكاليف الحوسبة. ومن خلال تدريب نموذج على الاستدلال مباشرة فوق الإشارات السمعية البصرية، يحقق RANKVIDEO أداءً رائداً مع بقائه فعالاً من الناحية الحوسبية.

يسلط العمل الضوء على أن:

نماذج اللغة والرؤية غالباً ما تعاني من صعوبة في الحكم على الصلة في وضع "الصفر معرفة" (zero-shot) بسبب الهلوسة وانخفاض الدقة.
نماذج إعادة الترتيب المدربة على مجموعات بيانات مصطنعة (تسمية توضيحية-إلى-فيديو) لا تتعمم جيداً على استرجاع الفيديو الواقعي المكثف استدلالياً.
المنهج التعليمي الذي يفصل بين الإدراك (التسمية التوضيحية) والاستدلال (الترتيب) يؤدي إلى تدريب متعدد الوسائط أكثر استقراراً وفعالية.

يخلص المؤلفون إلى أنه بينما تظل عمليات التحسين القائمة على القوائم (list-wise optimization) وتحسينات الاستدلال الديناميكية الإضافية هي توجهات مستقبلية، فإن RANKVIDEO يضع خط أساس قوياً لاسترجاع الفيديو الفعال والموجه بالاستدلال.