OmniForcing: Unleashing Real-time Joint Audio-Visual Generation
يقدم OmniForcing إطار عمل مبتكر يقوم بتقطير نماذج الانتشار السمعية البصرية ثنائية الاتجاه ذات زمن الاستجابة العالي إلى مولد تلقائي الترتيب يعمل بالبث في الوقت الفعلي، وذلك عبر توظيف محاذاة سببية كتلية غير متماثلة، ورموز استقرار صوتية (audio sink tokens)، وتقطير فرض ذاتي مشترك للتغلب على عدم استقرار التدريب وتحقيق توليد بسرعة 25 إطاراً في الثانية بدقة عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول قيادة أوركسترا ضخمة حيث يعزف عازفو الكمان (الفيديو) ببطء شديد، مستغرقين وقتاً طويلاً لإنهاء النوتة الموسيقية، بينما يعزف الطبالون (الصوت) عزفاً منفرداً سريعاً ومتلاحقاً.
المشكلة:
حالياً، تعمل أفضل نماذج الذكاء الاصطناعي لإنشاء الفيديو والصوت معاً مثل قائد أوركسترا مثالي يرفض البدء في المازورة التالية حتى يسمع الأغنية بأكملها من البداية إلى النهاية. إنه ينظر إلى الجدول الزمني بأكمله دفعة واحدة ليتأكد من أن ضربات الطبول تتوافق تماماً مع تصاعد صوت الكمان. هذا ينتج جودة مذهلة، لكنه بطيء للغاية. إذا أردت إنشاء مقطع مدته 5 ثوانٍ، فقد يستغرق الكمبيوتر 3 دقائق للتفكير فيه قبل أن يعرض لك الإطار الأول. الأمر يشبه طلب بيتزا وعليك الانتظار حتى يخبز الشيف رغيف الخبز بالكامل قبل تقطيع أول قطعة لك.
الحل: OmniForcing
أراد الباحثون وراء OmniForching بناء نظام يمكنه إنشاء الفيديو والصوت في الوقت الفعلي (مثل البث المباشر) دون فقدان ذلك التزامن المثالي. لم يرغبوا في بناء أوركسترا جديدة من الصفر؛ بل أرادوا تعليم قائد الأورككة المثالي البطيء كيف يرتجل أثناء العمل.
إليك كيف فعلوا ذلك، باستخدام بعض التشبيهات البسيطة:
1. استراتيجية "الكتلة الكلية" (المناطق الزمنية)
يتحرك الفيديو والصوت بسرعات مختلفة. الفيديو يشبه عرض الشرائح (3 إطارات في الثانية)، بينما الصوت عبارة عن تدفق سريع (25 إطاراً في الثانية).
- الطريقة القديمة: محاولة مطابقتهم إطاراً بإطار تشبه محاولة إغلاق سحاب سترة حيث تكون أسنان أحد الجانبين ضخمة والجانب الآخر صغيرة جداً؛ لن يتطابقا أبداً.
- طريقة OmniForcing: أنشأوا "مناطق زمنية" (تسمى Macro-Blocks). بدلاً من مطابقة كل إطار على حدة، قاموا بتجميع المحتوى في كتل مدتها ثانية واحدة. في كل كتلة مدتها ثانية واحدة، يوجد 3 إطارات للفيديو و25 إطاراً للصوت. إنهم يعاملون هذه الكتلة التي مدتها ثانية واحدة كـ "وحدة" زمنية واحدة. هذا يسم يسمح للذكاء الاصطناعي بالتقدم في الوقت بسلاسة دون التعثر في محاولة محاذاة قطع غير متوافقة.
2. "البادئة العالمية" (المرساة)
عندما تبدأ قصة، فأنت بحاجة إلى بداية. في الذكاء الاصطناعي، تكون الثانية الأولى من الفيديو والصوت مميزة لأنها تضع النغمة لكل ما يليها.
- التشبيه: تخيل سفينة تبحر. الثواني الأولى هي "المرساة" التي تثبت السفينة في مكانها بينما يعمل المحرك. يقوم OmniForcing بإنشاء كتلة "بادئة عالمية" خاصة في البداية تماماً. هذه الكتلة مرئية لمستقبل الفيديو بأكم، وتعمل مثل أمر نظام أو "أغنية موضوع" يتذكرها الذكاء الاصطناعي باستمرار، مما يضمن بقاء الفيديو والصوت متزامنين منذ الميلي ثانية الأولى.
3. "مصب الصوت" (ممتص الصدمات)
هذا هو الجزء الأكثر ذكاءً. نظرًا لأن الصوت سريع جداً والفيديو بطيء جداً، فعندما يحاول الذكاء الاصطناعي التنبؤ بالصوت التالي بناءً على ما سمعه فقط (دون النظر للمستقبل)، فإنه يصاب بالارتباك.
- المشكلة: تخيل أنك طبال تحاول الحفاظ على الإيقاع، لكن لا يمكنك رؤية سوى آخر ثانيتين من الموسيقى. إذا فاتتك ضربة، سينهار الإيقاع بالكامل إلى فوضى. من الناحية الرياضية، يتسبب هذا في "انفجارات التدرج" (يغضب الذكاء الاصطناعي ويتوقف عن العمل).
- الحل: أضاف الباحثون "رموز المصب" (Sink Tokens). فكر في هذه الرموز كأنها ممتصات صدمات أو وسائد توضع في مقدمة تدفق الصوت. هي لا تمثل صوتاً حقيقياً؛ بل هي مجرد "رموز وهمية" لامتصاص الارتباك. تعمل كشبكة أمان، مما يوفر للذكاء الاصطناံ مكاناً مستقراً ليريح انتباهه فيه حتى لا يصاب بالذعر عندما تكون البيانات شحيحة. كما يستخدمون "Identity RoPE" (نوع من علامات الموقع) التي تخبر هذه الوسائد: "ليس لديكِ وقت؛ أنتِ هنا فقط للمساعدة".
4. الحلقة "ذاتية التصحيح" (البروفة)
عادةً، عندما ينشئ الذكاء الاصطناعي فيديو، فإنه يرتكب خطأً صغيراً، ثم يستخدم هذا الخطأ لصنع الإطار التالي، مما يؤدي إلى تراكم الأخطاء (مثل لعبة "الهاتف المكسور").
- الحل: يستخدم OmniForcing تقنية تسمى Joint Self-Forcing. تخيل طالباً يتدرب على مسرحية. بدلاً من مجرد قراءة النص، يقوم الطالب بتمثيل المشهد بأكمله، ويرتكب خطأً، ثم يقوم بتصحيحه فوراً بينما يراقبه المعلم (الذكاء الاصطناعي البطيء الأصلي). يتعلم الذكاء الاصطناعي كيفية تصحيح أخطائه في الوقت الفعلي، مما يضمن بقاء الفيديو والصوت متزامنين تماماً حتى عبر فترات طويلة.
النتيجة
من خلال الجمع بين هذه الحيل، يحول OmniForcing نموذجاً بطيئاً يعمل في وضع عدم الاتصال (offline) إلى محرك بث في الوقت الفعلي.
- قبل: كان إنشاء مقطع مدته 5 ثوانٍ يستغرق 197 ثانية (أكثر من 3 دقائق).
- بعد: يستغرق 5.7 ثانية للإنشاء، ويمكنه البث بسرعة 25 إطاراً في الثانية (مثل البث التلفزيوني المباشر).
باختختصار: OmniForcing يشبه تحويل طباخ بطيء ومثالي يحتاج لطهي مأدبة كاملة قبل تقديمها، إلى بائع طعام شارع ماهر يمكنه تقديم وجبة ساخنة، لذيذة، ومتزامنة تماماً بمجرد أن تطلبها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.