← أحدث الأبحاث
🤖 AI

RAVEN-Eval: Rubric-Guided Automatic Evaluation for AI Video Generation Models Based on LMM Preference Judgement

تقدم هذه الورقة البحثية RAVEN-Eval، وهو إطار تقييم آلي قابل للتوسع وموجه بمعايير محددة، يستفيد من أحكام التفضيل لنماذج اللغات الكبيرة متعددة الوسائط (LMM) للتمييز بشكل موثوق بين الفروق الدقيقة في الجودة بين نماذج توليد الفيديو المتقدمة بالذكاء الاصطناعي مع تقليل تكاليف التوسيم البشري إلى أدنى حد.

المؤلفون الأصليون: Ziheng Jia, Jiaying Qian, Zicheng Zhang, Xiaorong Zhu, Lancheng Gao, Xiongkuo Min

نُشر 2026-08-11
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Ziheng Jia, Jiaying Qian, Zicheng Zhang, Xiaorong Zhu, Lancheng Gao, Xiongkuo Min

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخرج لاستوديو أفلام ضخم وعالي التقنية، حيث الممثلون هم في الواقع حواسيب فائقة الذكاء. هذه الحواسيب، المعروفة باسم مولدات الفيديو بالذكاء الاصطناعي، يمكنها الآن إنشاء مشاهد كاملة من الصفر بمجرد قراءة جملة تكتبها. لكن العقدة تكمن في أنها أصبحت جيدة للغاية لدرجة أن الفرق بين فيديو "جيد جداً" وآخر "مذهل" هو فرق دقيق كفرق درجتين من اللون الأزرق. في الماضي، كان بإمكانك ببساطة أن تطلب من إنسان أن يشاهد وتقول له: "هذا يبدو أفضل". ولكن الآن، مع إنتاج آلاف الفيديوهات يومياً، فإن توظيف عدد كافٍ من البشر لمشاهدتها جميعاً سيكلف ثروة طائلة ويستغرق وقتاً طويلاً جداً. علاوة على ذلك، قد يتعب البشر وقد يغفلون عن تفاصيل دقيقة للغاية. هذه هي المشكلة التي يواجهها العلماء: كيف تقيم هؤلاء الفنانين الحاسوبيين الخارقين عندما يؤدون جميعاً بمستوى يقترب من المثالية، ولا يمكنك تحمل تكلفة جعل إنسان يشاهد كل مقطع؟

هنا يأتي دور ورقة "RAVEN-Eval". إنها تشبه نظام حكم جديد فائق الصرامة مصمم للحكم على أفلام الذكاء الاصطناعي هذه دون الحاجة إلى جلوس إنسان لمشاهدة كل فيلم منها. أدرك الباحثون أنه بدلاً من سؤال الحاسوب: "قيم هذا الفيديو من 1 إلى 10"، وهو أمر غالباً ما يكون مربكاً وغير متسق، فمن الأفضل سؤاله: "أي من هذين الفيديوهين أفضل؟". وهذا ما يسمى بـ "المقارنة الزوجية"، وهي أسهل بكثير لكل من البشر والحواسيب على حد سواء. ولكن لضمان ألا يختار الحكم الحاسوبي الفيديو الأكثر بهرجة فحسب، فقد منح الفريق "قاعدة بيانات" أو "دليل معايير" خاصاً لكل مهمة. الأمر يشبه إعطاء القاضي قائمة مراجعة تقول: "إذا طلب الأمر كرة حمراء، فيجب أن تكون الكرة حمراء"، أو "إذا طلب الأمر مكبساً هيدروليكياً يسحق بطة، فيجب أن تنبعج البطة، لا أن تنفجر". ومن خلال استخدام هذه القواعد المحددة، يمكن للنظام رصد الاختلافات الدقيقة والرهيفة التي تفصل بين أفضل نماذج الذكاء الاصطناعي والآخرين.

قام الفريق وراء هذه الدراسة، بقيادة باحثين من جامعة شانغهاي جياو تونغ ومختبر شانغهاي للذكاء الاصطناعي، ببناء ساحة اختبار ضخمة تسمى "RAVEN-Eval Benchmark". لم يلقوا بطلبات عشوائية على الذكاء الاصطناعي؛ بل قاموا بتنسيق 250 مهمة مختلفة بعنابة، تتراوح من طلبات تحويل النص إلى فيديو بسيطة إلى تحديات معقدة لتحويل الصورة إلى فيديو حيث يتعين على الذكاء الاصطناعي ملء الجزء الأوسط المفقود من المشهد. لقد أنتجوا أكثر من 4,500 فيديو لاختبار 20 نموذجاً من أفضل نماذج الفيديو بالذكاء الاصطناعي في العالم. وبدلاً من ترك الذكاء الاصطناعي يحكم نفسه بشكل أعمى، استخدموا نظام "حكم" مدعوماً بنماذج لغوية متعددة الوسائط الكبيرة (LMMs) — وهي في الأساس عقول ذكاء اصطناعي يمكنها رؤة وفهم الصور والنصوص. تم تزويد هؤلاء الحكام من الذكاء الاصطناعي بقواعد محددة لكل مهمة، وطُلب منهم مقارنة الفيديوهات جنباً إلى جنب.

كانت النتائج رائعة. وجد الباحثون أنه عندما زودوا حكام الذكاء الاصطناعي بكتيبات القواعد التفصيلية الخاصة بكل مهمة، أصبح النظام بارعاً للغاية في التمييز بين النماذج رفيعة المستوى. في الواقع، توافق نظامهم الجديد مع الخبراء البشر بشكل أكبر بكثير من الطرق السابقة التي كانت تطلب درجة عامة أو تستخدم قوائم مراجعة ثابتة. حتى أنهم أنشأوا لوحتين للمتصدرين: واحدة لتصنيف نماذج الفيديو العشرين (توضح من هو الفنان الأفضل حالياً) والأخرى لتصنيف الحكام الثلاثة عشر المختلفين أنفسهم (توضح أي عقل ذكاء اصطناعي هو الحكم الأكثر دقة). ومن أذكى الحيل التي ابتكرواها ما يسمى بـ "الإدراج القائم على المرتكزات". تخيل أن لديك لوحة متصدرين لأفضل 20 عداءً، ثم ظهر عداء جديد. بدلاً من جعل العداء الجديد يتسابق ضد العشرين جميعاً (مما سيستغرق وقتاً طويلاً جداً)، يمكنك فقط جعله يتسابق ضد عدد مختار بعناية من العدائين "المرتكزات" من أعلى ووسط وأسفل المجموعة. هذا يسمح لك بمعرفة أين يقع العداء الجديد في التصنيف بجهد أقل بكثير.

في النهاية، تشير الورقة إلى أن هذه الطريقة الجديدة لاستخدام الذكاء الاصطناعي للحكم على الذكاء الاصطناعي الموجهة بالقواعد هي مسار قابل للتوسع وموثوق به. إنها تثبت أننا لسنا بحاجة للاعتماد حصرياً على المعلقين البشريين المكلفين لمواكبة الوتيرة السريعة لتوليد الفيديو بالذكاء الاصطناعي. فمن خلال استخدام المقارنات الذكية القائمة على القواعد، يمكننا بناء نظام موثوق يتطور بنفس سرعة النماذج التي يحاول قياسها، مما يضمن أنه بينما يتحسن هؤلاء الفنانون الرقميون، تتحسن أيضاً قدرتنا على تقدير وتصنيف أعمالهم.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →