تخيل أنك تعلم روبوتًا كيف يروي قصة باستخدام الصور فقط. في عالم الذكاء الاصطناعي، يُطلق على هذا "توليد الفيديو من النص". لفترة من الوقت، كان هؤلاء الفنانون الرقميون بارعين للغاية في رسم لحظات ثابتة واحدة أو مقاطع قصيرة جدًا — مثل قطة تقفز عن أريكة أو زهرة تتفتح. إنهم يشبهون المصورين المهرة الذين يمكنهم التقاط لقطة مثالية. ومع ذلك، عندما تطلب منهم رواية قصة أطول تتطلب تغيير المواقع — مثل بطل يطير من مدينة إلى سطح مبنى ليقاتل شريرًا — يصاب الروبوت بالارتباك. إذ يميلون إلى دمج كل شيء في مشهد واحد ضبابي ومستمر، غير قادرين على معرفة متى يجب "قطع" الكاميرا والانتقال إلى إعداد جديد. يحدث هذا لأن معظم الأفلام التي تعلموا منها كانت مجرد مشاهد مفردة، لذا لم يتدربوا أبدًا على فن "تغيير المشهد".

هذه الورقة البحثية، التي تحمل عنوان "تعزيز الوعي بانتقال المشاهد في توليد الفيديو عبر التدريب اللاحق"، تتناول هذا الارتباك تحديدًا. أدرك المؤلفون، وهم باحثون من معهد ستيفنز للتكنولوجيا، أنه لجعل الذكاء الاصطناعي يروي قصصًا أفضل، نحتاج إلى تعليمه كيفية التعرف على "انتقال المشهد" وتنفيذه. لم يكتفوا بالأمل في أن يفهم الذكاء الاصطناعي الأمر من تلقاء نفسه؛ بل أنشأوا معسكر تدريب خاصًا له. ومن خلال إنشاء مجموعة بيانات جديدة تسمى TAV (الفيديو المدرك للانتقال)، وتقديم درس قصير ومركز له، وجدوا أن النموذج استطاع فجأة فهم متى تحتاج القصة إلى الانتقال إلى موقع جديد. والنتيجة ليست حلاً سحريًا لكل مشاكل الفيديو، لكنها تشير إلى أنه مع النوع الصحيح من الممارسة، يمكن للذكاء الاصطناعي تعلم تبديل المشاهد تمامًا كما يفعل المخرج البشري.

المشكلة: الروبوت الذي لا يستطيع تغيير القنوات

فكر في مولدات فيديو الذكاء الاصطناعي الحالية كرسام موهوب جدًا ولكنه عنيد نوعًا ما. إذا قلت لهم: "ارسم كلبًا يركض"، فسيقومون بعمل رائع. ولكن إذا قلت لهم: "ارسم كلبًا يركض، ثم أظهر فجأة سفينة فضاء تهبط على القمر"، فإن الرسام سيتعثر. قد يحاولون تحويل الكلب إلى سفينة فضاء، أو قد يستمرون في رسم الكلب وهو يركض للأبد، متجاهلين الجزء الثاني من طلبك.

وجد الباحثون أنه عندما طلبوا من نماذج مفتوحة المصدر شهيرة إنشاء فيديوهات تحتوي على مشهدين متميزين، فإن النماذج عادة ما تصنع مشهدًا واحدًا فقط. في المتوسط، من بين 50 طلبًا لمشهدين، أنتجت النماذج حوالي 1.12 إلى 1.48 مشهدًا فقط. الأمر كما لو أن الروبوت يسمع "مشهدين" ولكن ليس لديه "ذاكرة عضلية" لرسم أكثر من مشهد واحد. والسبب؟ بيانات التدريب. معظم الفيديوهات التي تعلم منها الذكاء الاصطناعي كانت مقاطع قصيرة لأحداث مفردة، مثل مقطع مدته 10 ثوانٍ لسيارة تسير. لم يرَ الذكاء الاصطناعي أبدًا "القطع" حيث ينتهي مشهد السيارة ويبدأ مشهد المطبخ، لذا لم يكن يعرف أن شيئًا كهذا ممكن.

الحل: معسكر تدريبي خاص (مجموعة بيانات TAV)

لإصلاح ذلك، قرر المؤلفون إعطاء الذكاء الاصطناعي دورة مكثفة في سرد القصص. لقد أنشأوا مجموعة بيانات جديدة تسمى TAV (الفيديو المدرك للانتقال).

إليكم كيف بنوا هذه المجموعة:

1. إيجاد القطعات: أخذوا 500 فيديو من مجموعة عامة كبيرة تسمى Panda-70M. استخدموا برنامج كمبيوتر لمسح هذه الفيديوهات وإيجاد اللحظة الدقيقة التي يتغير فيها المشهد (الـ "cut").
2. المقطع ذو الـ 10 ثوانٍ: لكل فيديو، أخذوا قطعة مدتها 10 ثوانٍ متمحورة حول تلك القطعة تمامًا — 5 ثوانٍ قبل التغيير و5 ثوانٍ بعده. ضمن هذا أن يحتوي المقطع دائمًا على مشهد "قبل" ومشهد "بعد" واضحين.
3. سرد القصص: استخدموا ذكاءً اصطناعيًا آخر (نموذج لغوي كبير) لكتابة وصف خاص لكل مقطع. بدلاً من مجرد قول "فيديو"، وصف الوصف المشهدين بوضوح. على سبيل المثال: "المشهد السابق: سوبرمان يطير عبر المدينة؛ المشهد التالي: يرى باتمان يقاتل الجوكر على سطح مبنى".

أصبحت مجموعة البيانات هذه هي "الكتاب المدرسي" للذكاء الاصطناعي. لقد علمته أن الطلب (prompt) يمكن أن يحتوي على تعليمات متميزة اثنتين يفصل بينهما انتقال.

التجربة: اختبار المهارات الجديدة

أخذ الباحثون نموذج فيديو موجودًا يسمى OpenSora وأعطوه جلسة "تدريب لاحق". فكر في التدريب اللاحق كأنه معسكر تدريبي متخصص. كان النموذج قد تعلم بالفعل الرسم، لكنه الآن يتعلم تحديدًا كيفية تبديل المشاهد. قاموا بتدريبه على مجموعة بيانات TAV الجديدة لفترة قصيرة (حوالي 16 إلى 36 "دورة تدريبية/epoch"، وهي بمثابة جولات كاملة عبر الكتاب المدرسي).

ولمعرفة ما إذا كان ذلك قد نجح، اختبروا النموذج باستخدام ثلاثة أنواع من الطلبات:

• المجموعة (أ): طلب بسيط بدون تغيير في المشهد (مثل: "سوبرمان يطير").
• المجموعة (ب): طلب يوحي بوجود تغيير ولكنه لا يصرح به علانية (مثل: "سوبرمان يطير، ثم يرى باتمان").
• المجموعة (ج): طلب يطالب صراحة بتغيير (مثل: "المشهد السابق: سوبرمان؛ المشهد التالي: باتمان").

النتائج: الروبوت يتعلم عملية "القطع"

كانت النتائج واعدة. قبل التدريب، كان النموذج عالقًا في عادة "المشهد الواحد". حتى عندما طُلب منه مشهدان، كان ينتج في المتوسط حوالي 1.1 مشهد.

بعد التدريب اللاحق على مجموعة بيانات TAV، استيقظ النموذج على إمكانية وجود مشاهد متعددة:

• في المجموعة التي طلبت صراحة مشهدين (المجموعة ج)، قفز متوسط عدد المشاهد المولدة من حوالي 1.1 إلى 2.9.
• في المجموعة التي كان فيها التغيير ضمنيًا فقط (المجموعة ب)، ارتفع المتوسط من 1.06 إلى 2.7.
• وحتى عندما طُلب منه مشهد واحد فقط (المجموعة أ)، ظل أداء النموذج جيدًا، مما أظهر أنه لم ينسَ كيفية أداء المهام البسيطة.

تحقق الباحثون أيضًا من جودة الفيديوهات باستخدام أداة تسمى VBench. ووجدوا أنه بينما أصبح النموذج أفضل في عد المشاهد، فإن الجودة البصرية (مدى جمال الصور) وسلاسة الحركة لم تتدهور. في الواقع، في بعض الفئات مثل "الجودة الجمالية"، سجل النموذج الجديد درجات أعلى من النماذج الشهيرة الأخرى مثل ModelScope وLaVie.

ماذا يعني هذا (وما لا يعنيه)

تشير هذه الدراسة إلى أن المفتاح للحصول على ذكاء اصطناعي أفضل في سرد القصص ليس مجرد جعل النموذج أكبر أو أكثر تعقيدًا؛ بل هو تزويده بالنوع الصحيح من البيانات. من خلال تعليم الذكاء الاصطناعي صراحةً كيف يبدو "انتقال المشهد" وكيفية وصفه، تعلم النموذج اتباع التعليمات بشكل أفضل.

ومع ذلك، يوضح المؤلفون أن هذه تجربة أولية. فقد استخدموا فقط مجموعة فرعية صغيرة مكونة من 500 فيديو ونموذجًا خفيف الوزن نسبيًا (OpenSora-Plan). ويعترفون بأنه بينما كانت النتائج مشجعة، إلا أننا لا نعرف بعد ما إذا كانت هذه الطريقة تعمل بشكل مثالي لكل أنواع الفيديو أو ما إذا كانت هناك طرق أفضل لاكتشاف قطعات المشاهد. كما يشيرون إلى أن بيانات التدريب الخاصة بهم جاءت من مصدر محدد (Panda-70M)، لذا فإن "القواعد" التي تعلمها النموذج قد تكون خاصة بهذا النمط من الفيديوهات.

باختصار، تُظهر الورقة البحثية أن مولدات فيديو الذكاء الاصطناعي يمكن تعليمها كيفية تبديل المشاهد، لكنها مهارة يجب تعليمها لها صراحةً، وليست شيئًا تكتسبه من تلقاء نفسها. مع "الكتاب المدرسي" المناسب، يمكن للمخرج الروبوت أخيرًا أن يقول "قطع!" ويمضي بالقصة قدمًا.