FreqForcing: Autoregressive Long Video Generation via Spectral Self-Anchoring

تخيل عالماً يمكنك فيه كتابة جملة ومشاهدة فيلم يتكشف أمام عينيك فوراً، إطاراً تلو الآخر. هذا هو حلم "توليد الفيديو بالتسلسل الذاتي" (autoregressive video generation)، وهو ركن متطور في مجال الذكاء الاصطناğı حيث لا تتوقع الحواسيب الكلمة التالية في القصة فحسب، بل تتوقع الصورة التالية في الفيلم. للقيام بذلك، يعمل الذكاء الاصطناعي كراوٍ للقصص ينظر إلى الصور القليلة الأخيرة التي رسمها ليقرر ما سيأتي بعد ذلك. الأمر يشبه قليلاً لعبة "الهاتف المكسور" (telephone) التي تُلعَب بالصور: يأخذ الكمبيوتر الإطار السابق، يضيف إليه القليل من التفاصيل الجديدة، ثم يمرره للمرحلة التالية. لكن ما العيب؟ إذا ارتكب الكمبيوتر خطأً طفيفاً في الصورة الأولى، فإن هذا الخطأ ينتقل إلى الثانية، ثم الثالثة، وهكذا. ومع مرور الوقت في فيلم طويل، تتراكم هذه الأخطاء الصغيرة مثل كرة ثلج تتدحرج من فوق تلة، لتتحول في النهاية من مشهد جميل إلى فوضى ضبابية ومنزلقة الألوان. لقد حاول العلماء إصلاح مشكلة "تراكم الخطأ" هذه حتى نتمكن من توليد فيديوهات طويلة ومستقرة دون أن تنهار الصورة.

هذه الورقة البحثية، التي تحمل عنوان "FreqForcing"، تعالج هذه المشكلة تحديداً من خلال النظر إلى توليد الفيديو من منظور مختلف: موجات الصوت. أدرك المؤلفون أنه عندما تبدأ أفلام الذكاء الاصطناعي هذه في الخطأ، لا يكون الأمر مجرد خلل بصري؛ بل هو تحول في "تردد" الصورة، تماماً كما قد يخرج أغنية عن النغمة الصحيحة. ووجدوا أن المحاولات السابقة لإصلاح هذا، مثل الاحتفاظ ببضعة إطارات "مرجعية" في الذاكرة لتذكير الذكاء الاصطناعي بالبداية، ساعدت قليلاً ولكنها لم توقف الانزلاق تماماً. اقترح الفريق خدعة جديدة تسمى "الارتكاز الطيفي الذاتي" (Spectral Self-Anchoring). فكر في الأمر كنظام "دماغ مزدوج" للذكاء الاصطناعي: جزء من الدماغ يركز على التفاصيل السريعة والمثيرة (مثل حركات الشخصية السريعة)، بينما يمسك الجزء الآخر بـ "مرساة" ثابتة ومنخفضة التردد من بداية الفيديو للحفاظ على الألوان والتخطيط من الانزلاق بعيداً. ومن خلال دمج هاتين الإشارتين معاً، تمكنوا من منع الفيديو من الانهيار. وطريقتهم، التي لا تتطلب إعادة تدريب الذكاء الاصطناعي من الصفر، نجحت في تمديد نموذج مُدرب على مقاطع فيديو قصعة مدتها 5 ثوانٍ لتوليد فيديوهات مستقرة مدتها دقيقتان—أي زيادة قدرها 24 ضعفاً في الطول—دون أن تتدهور الجودة البصرية.

المشكلة: لعبة "الهاتف المكسور" للفيديو

تخيل أنك تلعب لعبة "الهاتف المكسور" مع صديق، ولكن بدلاً من الهمس بجملة، أنت ترسم صورة. ترسم قطة، ثم تمررها لصديقك، الذي يضيف ذيلاً، ثم يمررها إليك. إذا رسم صديقك الذيل مائلاً قليلاً عن طريق الخطأ، وحاولت أنت إصلاحه ولكن جعلته أكبر قليلاً، ثم جعله الشخص التالي أكبر بكأد، فسرعان ما ستحصل على وحش ضخم ومشوه بدلاً من قطة لطيفة. هذا هو بالضبط ما يحدث في توليد الفيديو بالتسلسل الذاتي. يقوم الذكاء الاصطناعي بتوليد الفيديو جزءاً تلو الآخر، مستخدماً الجزء السابق للتنبؤ بالجزء التالي. ومع طول الفيديو، تتراكم الأخطاء الصغيرة في اللون والشكل والحركة. والنتيجة؟ يبدأ الفيديو في "الانزلاق". قد تتحول الألوان من الأزرق إلى الأرجواني، أو قد يتوقف الشخص عن الحركة، أو قد يتحلل المشهد بأكمله إلى تشويش.

الاكتشاف: الاستماع إلى "طنين" الفيديو

قرر مؤلفو هذه الورقة البحثية التحقيق في هذا الانزلاق ليس من خلال النظر إلى الصور، بل من خلال "الاستماع" إليها. استخدموا أداة رياضية تسمى "تحويل فوريه" (Fourier Transform)، وهي تشبه المنشور الذي يحلل الضوء أو الصور. تماماً كما يحلل المنشور الضوء الأبيض إلى ألوان قوس قزح، تقوم هذه الأداة بتفكيك الصورة إلى ترددات مختلفة.

• الترددات العالية هي مثل التفاصيل الحادة والواضحة: وميض الشمعة، أو ملمس الفراء، أو حركة يد سريعة.
• الترددات المنخفضة هي مثل نغمات "الباص" العميقة: الشكل العام للغرفة، ونغمة اللون العامة، والتخطيط الكبير للمشهد.

عندما حللوا الفيديوهات التي كانت تفشل، وجدوا نمطاً غريباً. فمع استمرار توليد الفيديو، بدأت "الطاقة" في الجزء منخفض التردد من الصورة تنزلق بعيداً. كان الأمر كما لو أن نغمة "الباص" العميقة في الأغنية بدأت تتغير في حدتها ببطء، مما تسبب في فقدان الفيديو لاستقراره. كما أصبحت التفاصيل عالية التردد (الحركة) متذبذبة، لكن السبب الجذري كان هذا الانزلاق في الترددات المنخفضة.

الحل القديم: "المرساة" التي لم تكن قوية بما يكفي

قبل هذه الورقة، حاول الباحثون إصلاح ذلك باستخدام ما يسمى "بالتمركز في الانتباه" (attention sink). تخيل أنك تحاول تذكر قصة طويلة. إذا كنت تتذكر الجمل القليلة الأخيرة فقط، فقد تنسى البداية. "التمركز في الانتباه" يشبه إبقاء الجمل الأولى من القصة في ذهنك بشكل دائم أثناء سرد بقية القصة. وفي مصطلحات الفيديو، يحتفظ الذكاء الاصطناعي ببضعة إطارات أولى مثالية في ذاكرته ويجبر نفسه على الانتباه إليها.

اختبر المؤلفون هذا ووجدوا أنه ساعد بالفعل. كان الأمر أشبه بامتلاك مرساة أقوى؛ فلم ينزلق الفيديو بنفس السرعة. ومع ذلك، لم يكن حلاً مثالياً. فحتى مع وجود المرساة، كانت طاقة التردد المنخفض لا تزال تنزلق ببطود بمرور الوقت، وتدهورت جودة الفيديو في النهاية. كانت المرساة موجودة، لكنها لم تكن تسحب بقوة كافية لإيقاف التيار.

الحل الجديد: FreqForcing والارتكاز الطيفي الذاتي

أدرك الفريق أنهم بحاجة إلى طريقة أذكى لاستخدام تلك المرساة. اقترحوا إطار عمل جديداً يسمى FreqForcing، والذي يستخدم تقنية أطلقوا عليها اسم الارتكاز الطيفي الذاتي (SSA).

إليك كيف يعمل الأمر، باستخدام تشبيه إبداعي:
تخيل أن الذكاء الاصطناعي رسام يعمل على جدارية ضخمة.

1. الرسام المحلي (التردد العالي): يركز رسام واحد على الحدث المباشر. إنه يرسم الحركات السريعة، والأضواء المتذبذبة، والتفاصيل الصغيرة. هو بارع في التقاط "الآن"، لكنه قد ينجرف قليلاً ويفقد الصورة الكبيرة.
2. رسام المرساة (التردد المنخفض): الرسام الثاني هو معلم لا ينظر إلا إلى المسودة الأولى المثالية للجدارية. هو لا يرسم تفاصيل جديدة؛ بل يحافظ فقط على "روح" الصورة المستقرة ومنخفضة التردد—الألوان، والتخطيط، وهوية الشخصيات.
3. المزيج: بدلاً من ترك الرسام المحلي يخرج عن السيطرة، يأخذ الذكاء الاصطناعي عمل الرسام المحلي ويمزج فيه بلطف إشارة "رسام المرساة" المستقرة ومنخفضة التردد. الأمر يشبه "دي جي" (DJ) يمزج مساراً حياً وحيوياً مع خط "باص" عميق وثابت للحفاظ على عدم تحول ساحة الرقص إلى فوضى.

عملية "المزج" هذه تحدث في نطاق التردد. يأخذ الذكاء الاصطناعي الأجزاء سريعة الحركة من الإطار الحالي والأجزاء مستقرة التردد المنخفض من إطارات "المرساة" ويدمجها معاً. هذا يمنع الألوان من الانزلاق ويحافظ على استقرار التخطيط، مع السماح للفيديو بالتحرك والتغير بشكل طبيعي.

النتائج: من 5 ثوانٍ إلى دقيقتين

اختبر الفريق هذه الطريقة الجديدة على نموذج تم تدريبه في الأصل لتوليد مقاطع فيديو مدتها 5 ثوانٍ فقط. بدون إصلاحهم، كان النموذج سينهار إذا حاولت جعله يستمر لفترة أطول. ومع استخدام FreqForcing، تمكنوا من تمديد التوليد إلى دقيقتين. هذه زيادة قدرها 24 ضعفاً في الطول!

وقارنوا طريقتهم بتقنيات أخرى رفيعة المستوى، بما في ذلك تلك التي تتطلب إعادة تدريب مكلفة للذكاء الاصطناعي. أظهرت نتائجهم أن FreqForcing أنتج فيديوهات أكثر اتساقاً، وبحركة أفضل، وبأقل عدد من العيوب البصرية مقارنة بالمنافسين. لقد نجح في جعل الفيديو يبدو كفيلم متماسك بدلاً من حلم ذائب.

لماذا يهم هذا؟

هذا أمر بالغ الأهمية لأنه يوفر طريقة لإنشاء فيديوهات طويلة وعالية الجودة دون الحاجة لقضاء شهور في إعادة تدريب نماذج الذكاء الاصطناعي، وهو أمر مكلف للغاية ويستهلك الكثير من الطاقة. من خلال تغيير كيفية "تفكير" الذكاء الاصطناعي في تاريخه الخاص—باستخدام مرساة قائمة على التردد—فتحوا القدرة على توليد محتوى أطول بكثير. وهذا يشير إلى أننا قد لا نحتاج إلى نماذج أكبر وأكثر تعقيداً لحل هذه المشكلات؛ فأحياناً، نحتاج فقط إلى الاستماع إلى "موسيقى" البيانات بعناية أكبر.