تخيل عالماً يمكن فيه للحواسيب أن تحلم بالأفلام، محولةً جملة بسيطة مثل "قطة تركب لوح تزلج" إلى صورة متحركة. هذا هو الأفق المثير لـ توليد الفيديو (video generation)، وهو مجال يتعلم فيه الذكاء الاصطناعي كيفية إنشاء وتحرير مقاطع الفيديو بمجرد قراءة التعليمات. ولكن إليك الجزء الصعب: كيف نعرف ما إذا كان الكمبيوتر قد قام بعملٍ جيد؟ في الماضي، حاول العلماء تقييم هذه الأفلام التي ينتجها الذكاء الاصطناعي باستخدام قوائم مراجعة ثابتة، مثل معلم يعطي كل الطلاب نفس اختبار الرياضيات بغض النظر عما طُلب منهم حله. إذا كانت المطالبة (prompt) تطلب عدداً معيناً من البالونات، فقد يغفل الاختبار الثابت عن ذلك. وإذا كانت المطالبة تطلب بقاء وجه شخصية معينة كما هو طوال المقطع، فقد لا يلاحظ الاختبار القياسي إذا تغير الوجه. ولأن أفلام الذكاء الاصطناعي هذه مبدعة ومتنوعة للغاية، فإن نظام التقييم الذي يناسب الجميع غالباً ما يفشل في رصد السحر الحقيقي — أو الأخطاء الحقيقية.

إليك VideoArgus، وهي طريقة جديدة لتقييم فيديوهات الذكاء الاصطنا هذه، والتي تبدو أقل شبهاً باختبار جامد وأكثر شبهاً بقصة تحقيق ذكية ومخصصة. فبدلاً من استخدام كتاب قواعد واحد وثابت للجميع، يعمل VideoArgus كمحرر بارع يقرأ التعليمات الخاصة بكل طلب فيديو، ثم يكتب نموذج تقييم جديداً ومخصصاً لتلك المهمة تحديداً. إنه ينظر إلى المطالبة، والصور، والأهداف، ويقول: "حسناً، بالنسبة لهذا الفيديو تحديداً، نحتاج إلى التحقق مما إذا كان النص قابلاً للقراءة، وما إذا كانت القطة لا تزال على لوح التزلج، وما إذا كانت الخلفية لا تومض". ثم يستخدم فريقاً من الأدوات المتخصصة و"عيون" الذكاء الاصطناዊ لتعقب أدلة تلك الأشياء المحددة، ويقوم بتسجيل درجات الفيديو بناءً على ما كان من المفترض القيام به بالضبط. يشير هذا النهج إلى أنه من خلال تفصيل القواعد لتناسب المهمة المحددة، يمكننا الحصول على صورة أوضح لمدى جودة أداء نماذج الذكاء الاصطناعي هذه بالفعل، مما يساعدنا في بناء منشئي فيديوهات أفضل في المستقبل.

مشكلة التقييم "الذي يناسب الجميع"

فكر في تقييم توليد فيديو الذكاء الاصطناعي كأنك تحكم في مسابقة طبخ حيث يُطلب من كل متسابق إعداد طبق مختلف. البعض يصنع حساءً، والبعض الآخر يخبز كعكاً، والبعض الآخر يشوي شرائح اللحم. إذا استخدمت قائمة مراجعة واحدة وثابتة للجميع تسأل فقط: "هل هو ساخن؟" و"هل رائحته طيبة؟"، فستفقد الجوهر. لن تعرف ما إذا كانت الكعكة محترقة أو ما إذا كان الحساء مالحاً جداً لأن قائمة المراجعة لم تُصمم لهذه المكونات المحددة.

لفترة طويلة، كان تقييم الفيديو يعمل بهذه الطريقة. استخدم العلماء معايير ذات أبعاد ثابتة — مثل "جودة الحركة" أو "المواءمة مع النص" — والتي كانت تُطبق على كل فيديو، بغضاً عما تطلبه المطالبة. لكن توليد الفيديو عملية فوضوية. فأحياناً تطلب المطالبة عدداً محدداً من الأشياء (مثل "خمس تفاحات حمراء")، وأحياناً أخرى تطلب الحفاظ على اتساق وجه الشخصية، وفي أحيان أخرى تطلب تعديل فيديو بناءً على تعليمات جديدة. قائمة المراجعة الثابتة غالباً ما تغفل هذه التفاصيل الخاصة بكل حالة. الأمر يشبه محاولة قياس ارتفاع ناطحة سحاب وفطر بنفس المسطرة؛ قد تحصل على رقم، لكنه لا يخبرك ما إذا كان الفطر طويلاً بما يكفي لنوعه.

VideoArgus: المحقق المخصص

قدم مؤلفو هذه الورقة البحثية VideoArgus، وهو إطار عمل يغير قواعد اللعبة من خلال إنشاء نموذج تقييم خاص بكل عينة (sample-specific rubric). تخيل أنه قبل أن تشاهد الفيلم حتى، يقوم محرر ذكاء اصطناعي فائق الذكاء بقراءة المطالبة وصور المدخلات. ثم يكتب "ورقة تقييم" فريدة لهذا الطلب المحدد فقط. هذه الورقة ليست قائمة عامة؛ بل هي خطة مفصلة تقول: "بالنسبًى لهذا الفيديو، أحتاج إلى التحقق مما إذا كان النص المكتوب على اللافتة مكتوباً بشكل صحيح، وما إذا كان الكلب يركض في دائرة، وما إذا كانت الإضاءة تظل ثابتة".

الأمر الحاسم هو أن ورقة التقييم هذه غير معتمدة على المخرجات (output-blind). أي أن الذكاء الاصطناعي يكتب القواعد قبل أن يرى الفيديو. هذا يمنع النظام من تكييف قواعده بناءً على مدى جودة الفيديو الذي يظهر أمامه. إنه يضمن أن كل فيديو يتم إنتاجه من نفس المطالبة سيُحكم عليه وفقاً لنفس المعايير المخصصة تماماً.

بمجرد كتابة نموذج التقييم المخصص، يبدأ VideoArgus في العمل. فهو لا يسأل ذكاءً اصطناعياً عاماً: "هل هذا الفيديو جيد؟"، بل يقوم بتفكيك الفيديو إلى قطع صغيرة. ولكل قاعدة في ورقة التقييم المخصصة، يستخدم أدوات محددة لجمع الأدلة.

• إذا كانت القاعدة تتعلق بـ العد، فقد يستخدم أداة لعد الأشياء.
• إذا كانت القاعدة تتعلق بـ النص، فإنه يستخدم أداة التعرف الضوئي على الحروف (OCR) لقراءة ما هو مكتوب على الشاشة.
• إذا كانت القاعدة تتعلق بـ تتبع شخصية، فإنه يستخدم أداة بصرية لتتبع تلك الشخصية إطاراً تلو الآخر.

ثم يجمع النظام هذه القطع من الأدلة ليعطي درجة وسبباً لهذه الدرجة. إنه يشبه المحقق الذي لا يخمن فقط من هو الجاني، بل يجمع البصمات، والحجج، وشهادات الشهود لبناء قضية صلبة. النتيجة النهائية هي تقرير مفصل يخبرك ليس فقط كيف سجل الفيديو درجاته، بل لماذا، مشيراً بدقة إلى أين نجح أو فشل.

VideoArgus-Bench: مطبخ اختبار ضخم

لإثبات نجاح هذه الفكرة، بنى الفريق VideoArgus-Bench، وهو مجموعة ضخمة تضم 1,026 تحدياً مختلفاً للفيديو. تغطي هذه التحديات خمسة أنواع مختلفة من مهام الفيديو:

1. تحويل النص إلى فيديو (T2V): صنع فيديو من الكلمات فقط.
2. تحويل النص والصورة إلى فيديو (TI2V): صنع فيديو من كلمات وصورة بداية.
3. تحويل النص والموضوع إلى فيديو (TS2V): صنع فيديو حيث تظل شخصية معينة (مثل إنسان أو حيوان) ثابتة.
4. تعديل الفيديو المدفوع بالنص (TV2V): تغيير فيديو موجود بناءً على تعليمات نصية.
5. تعديل الفيديو المدفوع بالنص والموضوع (TSV2V): تعديل فيديو مع الحفاظ على موضوع معين ثابتاً.

لقد أخذوا 653 صورة فريدة و416 فيديو فريداً لإنشاء هذه التحديات. ولكل واحد من هذه الـ 1,026 مدخلاً، قاموا بتوليد نموذج تقييم مخصص و"جمّدوه". وهذا يعني أن القواعد أصبحت ثابتة، مما يضمن أنه عندما يختبرون نماذج ذكاء اصطناعي مختلفة، فإن الجميع يلعب وفقاً لنفس القواعد المخصصة تماماً.

ماذا وجدوا: درجات أفضل، وإجابات أوضح

اختبر الباحثون 55 تركيبة مختلفة من نماذج الذكاء الاصطناعي والمهام باستخدام VideoArgus-Bench. كما أنشأوا مجموعة منفصلة لـ "المواءمة البشرية" (human alignment) تضم 1,260 فيديو، حيث قام 15 متطوعاً بشرياً بتقييم الفيديوهات لمعرفة مدى اتفاق الكمبيوتر مع البشر الحقيقيين.

كانت النتائج واعدة. فقد اتفق VideoArgus مع الأحكام البشرية بشكل أفضل بكثير من طرق قائمة المراجعة الثابتة القديمة.

• اتفاق أعلى: عند مقارنة ترتيب الفيديوهات الذي وضعه الكمبيوتر بالترتيب الذي وضعه البشر، أظهر VideoArgus اتفاقاً أقوى بكثير (مقاساً بمعاملات ارتباط Spearman و Kendall). على سبيل المثال، في مهمة "تحويل النص إلى فيديو"، وصل VideoArgus إلى ارتباط قدره 0.496، بينما كانت الطريقة القديمة 0.162 فقط. وهذا يعني أن VideoArgus كان أفضل بك كثيراً في معرفة الفيديوهات التي أعجبت البشر حقاً.
• قوة الأدوات: وجدوا أن استخدام أدوات متخصصة (مثل OCR للنصوص أو التتبع للحركة) أحدث فرقاً كبيًراً. فعندما أزالوا هذه الأدوات واكتفوا باستخدام ذكاء اصطناعي عام للتخمين، انخفضت الدرجات. وهذا يشير إلى أن امتلاك "الأدوات" المناسبة للمهمة أمر ضروري للتقييم الدقيق.
• الاتساق: اختبروا ما إذا كانت النتائج ستتغير إذا استخدموا نماذج ذكاء اصطناعي مختلفة لكتابة نماذج التقييم أو للقيام بالتقييم نفسه. ظلت ترتيبات نماذج الفيديو متشابهة إلى حد كبير (مع ارتباطات حوالي 0.90 إلى 0.93)، مما يشير إلى أن الطريقة قوية ولا تعتمد على كون نموذج ذكاء اصطناዊ واحد مثالياً.

تكلفة كونك ذكياً

كان هناك اكتشاف مثير للاهتمام يتعلق بالتكلفة. كتابة نموذج تقييم مخصص لكل فيديو يتطلب بعض القدرة الحوسبية والمال (حوالي 0.23 دولار لكل فيديو في المتوسط لتوليد النموذج). ومع ذلك، بما أن هذا النموذج يُكتب مرة واحدة ثم يُستخدم لكل نموذج يحاول حل نفس المطالبة، فإن التكلفة تتوزع. وبمجرد أن يصبح النموذج جاهزاً، يتم إجراء التقييم الفعلي للفيديوهات محلياً على أجهزة كمبيوتر قياسية، مما يجعل العملية فعالة للاختبارات واسعة النطاق.

الخلاصة

يشير VideoArgus إلى أن مستقبل تقييم الذكاء الاصطناዊ ليس متعلقاً بقوائم مراجعة أكبر وعامة. بل يتعلق بكونك محدداً. فمن خلال إنشاء خطة تقييم مخصصة وقائمة على الأدلة لكل طلب فيديو، يمكننا الحصول على صورة أوضح وأكثر صدقاً لما يمكن لنماذج الذكاء الاصطناዊ القيام به حقاً. إنه تحول من السؤال "هل اجتاز الاختبار؟" إلى السؤال "هل فعل بالضبط ما طُلب منه؟" وإثبات ذلك بالأدلة. هذا النهج يساعد الباحثين على فهم نقاط القوة والضعف في نماذجهم بشكل أعمق، مما يمهد الطريق لتوليد فيديو أفضل وأكثر موثوقية في المستقبل.