OmniVR: Joint Video-Audio Conditional Generation for Restoring Degraded Historical Films
يُعد OmniVR نموذجاً رائدًا لتوليد الصوت والفيديو بـ 22 مليار معلمة، يقوم بترميم الأفلام التاريخية المتدهورة عبر صياغة المهمة كعملية توليد شرطي ضمن نموذج محول انتشار متعدد الوسائط (DiT) موحد، حيث يعالج في آن واحد التدهور البصري والصوتي مع ضمان الاتساق بين الوسائط والتلوين الطبيعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مسافر عبر الزمن تمتلك كاميرا سحرية لا ترى إلا الماضي. وجدت بكرة فيلم قديمة ومغبرة من قرن مضى. وعندما تشغلها، تكون الصورة مشوشة، متذبذبة، وباللونين الأبيض والأسود، بينما يبدو الصوت عبارة عن ضجيج وهسيس مزعج وكأنه قادم من داخل علبة صفيح. لعقود من الزمن، حاول العلماء إصلاح هذه الأفلام، لكنهم كانوا يعاملون الصورة والصوت كمشكلتين منفصلتين؛ حيث يعمل فريق من الفنانين على تنظيف الفيديو، وفريق آخر من مهندسي الصوت على إزالة الضجيج، يعمل كل منهما بمعزل عن الآخر. تكمن المشكلة في أن العالم الحقيقي يخبرنا أن الفيديو والصوت هما أعز الأصدقاء؛ فهما يؤثران في بعضهما البعض. إذا كان الصوت مكتومًا، يصعب معرفة ما إذا كانت الشخصية تهمس أم أنها فقط بعيدة. وإذا كانت الصورة ضبابية، يصعب التأكد مما إذا كان المؤثر الصوتي يتطابق مع الحركة.
تقدم هذه الورقة البحثية نوعًا جديدًا من "المُرمم الرقمي" يسمى OmniVR. فكر في الأمر ليس كفريقين منفصلين للإصلاح، بل كشرطي ذكي للغاية ينظر إلى الصورة الفوضوية والصوت المزعج معًا ليفهم كيف كان المشهد الأصلي يبدو ويُسمع حقًا. لقد بنى الباحثون هذا المحقق باستخدام "دماغ" ضخم مكون من 22 مليار معامل (نوع من نماذج الذكاء الاصطناعي) كان قد تعلم في الأصل كيفية إنشاء أفلام جديدة من الصفر. وبدلاً من مجرد اختلاق أشياء جديدة، علموا هذا الدماغ كيفية "إلغاء الانتشار" (un-diffuse) للفوضى، باستخدام الأجزاء التالفة من الفيلم القديم كقرائن لإعادة بناء الأجزاء النظيفة. لم يكتفوا بإصلاح الضبابية أو الهسيس فحًا، بل جعلوا الفيديو والصوت يتحدثان مع بعضهما البعض، لضمان أنه عندما تتحرك شفاه الشخصية، يتطابق الصوت تمامًا، وعندما يرتفع صخب الموسيقى، يبدو المشهد متناغمًا.
المشكلة الكبرى: لماذا لا يكفي إصلاح جانب واحد؟
الأفلام التاريخية تشبه كبسولات الزمن، لكنها غالبًا ما تكون محطمة. تشير الورقة البحثية إلى أن هذه الأفلام القديمة تعاني من ضربة مزدوجة: يصبح الفيديو ضبابيًا، محببًا، ومتذبذبًا، بينما يصبح الصوت مليئًا بالهسيس، والتقطع، والانقطاع. لاحظ المؤلفون شيئًا حاسمًا فات الطرق السابقة: الضرر يحدث في الوقت نفسه. لا يمكنك إصلاح الصورة وتوقع أن يتحسن الصوت سحريًا، أو العكس. في الواقع، إذا أصلحت الفيديو وتركت الصوت معطلًا (أو العكس)، فسيتوقفان عن التزامن. الأمر يشبه محاولة الرقص مع شريك يتحرك على إيقاع مختلف؛ النتيجة ستكون غريبة وغير طبيعية.
وجد الباحثون أنه في الغالبية العظمى من المقاطع القديمة التي درسوها، كانت كل من العين والأذن تعانيان معًا. كما اكتشفوا أن دماغ نموذج الذكاء الاصطناعي المصمم لإنشاء الفيديو والصوت معًا يحتوي في الواقع على "توصيلات متقاطعة". فالجزء الصوتي من النموذج ينتبه للفيديو، والجزء المرئي ينتبه للصوت. إذا أسكتَّ الصوت، تتغير عملية توليد الفيديو. وهذا يعني أنه لترميم فيلم حقًا، يجب أن تجعل الفيديو والصوت يساعدان بعضهما البعض، بدلًا من معاملتهما كغرباء.
الحل: فريق من ثلاثة
لبناء OmniVR، ابتكر المؤلفون استراتيجية من ثلاث خطوات لتحويل ذكاء اصطناعي "صانع للأفلام" إلى ذكاء اصطناعي "مرمم للأفلام".
1. مصنع "الأفلام القديمة المزيفة"
أولاً، احتاج الفريق لتعليم الذكاء الاصطناعي كيف يبدو الفيلم القديم المعطل. ولأنهم لم يجدوا أفلامًا قديمة معطلة كافية تحتوي على نسخ "قبل وبعد" مثالية للتدريب عليها، فقد بنوا مصنعًا رقميًا. أخذوا فيديوهات وصوتات حديثة عالية الجودة وأفسدوها عمدًا. أضافوا خدوشًا رقمية، غبارًا، تذبذبًا، وضبابية للفيديو، وأضافوا هسيسًا، وطقطقة، وأصواتًا مكتومة للصوت. تأكدوا من أن هذه "الأضرار المزيفة" تبدو وتسمع تمامًا مثل الأشياء الحقيقية الموجودة في كتب التاريخ. سمح ذلك للذكاء الاصطناعي بالتدرب على إصلاح مشاكل لم يرها من قبل، ليتعلم التمييز بين الوجه الحقيقي والكتلة الضبابية.
2. خدعة "الشريك الصامت"
الذكاء الاصطناعي الذي بدأوا به هو نموذج ضخم مصمم لإنشاء أفلام من أوصاف نصية (مثل "قطة تركض"). لم يرغبوا في إعادة تدريب النموذج بالكامل من الصفر لأن ذلك سيستغرق وقتًا طويلاً وقد يجعله ينسى قدرته على الإبداع. بدلاً من ذلك، استخدموا خدعة ذكية؛ أخبروا الذكاء الاصطناعي: "احتفظ بقدرتك على صنع الأفلام، ولكن الآن، بدلًا من الاستماع إلى وصف نصي، استمع إلى الفيلم المعطل الذي نعطيك إياه".
فعلوا ذلك عن طريق تغذية الفيديو السيئ والصوت السيئ في "آذان" الذكاء الاصطناعي (قنوات الإدخال الخاصة به) مع إبقاء "الدماغ" ثابتًا تقريبًا. كما استخدموا تقنية خاصة تسمى التلدين بالتحفيز (prompt annealing). تخيل أن الذكما الاصطناعي يتعلم لغة جديدة؛ في البداية، سمحوا له بقراءة الأوصاف النصية الأصلية للمشاهد ليبقى "دافئًا"، ثم ببطء، استبدلوا تلك الأوصاف بتعليمات ثابتة واحدة: "اجعل هذا حادًا، واضحًا، ومتزامنًا". ساعد هذا الذكاء الاصطناعي على الانتقال بسلاسة من "صنع أشياء جديدة" إلى "إصلاح أشياء قديمة" دون فقدان شرارته الإبداعية.
3. "المرساة" للأفلام الطويلة
يمكن أن تكون الأفلام القديمة طويلة جدًا، لكن الذكاء الاصطنانا يمكنه معالجة قطع قصيرة فقط في كل مرة (حوالي 5 ثوانٍ أو 121 إطارًا). إذا قمت بمجرد دمج هذه القطع، فقد يبدو نهاية قطعة مختلفة قليلاً عن بداية التالية، مما يسبب قفزة في الفيديو أو تغيرًا في الألوان. ولحل هذه المشكلة، استخدم المؤلفون "مرساة الإطار الأول". عندما ينتهي الذكاء الاصطناعي من إصلاح قطعة ما، يأخذ آخر إطار أنشأه ويستخدمه كنقطة انطلاق للقطعة التالية. إنه يشبه سباق التتابع حيث يسلم العداء العصا للعداء التالي؛ حيث يبدأ العداء التالي تمامًا من حيث انتهى الأخير. هذا يحافظ على سلاسة واستمرارية الفيلم، حتى بالنسبة للأفلام الطويلة.
ما وجدوه: معيار جديد للترميم
اختبر الفريق OmniVR على معيار جديد أنشأوه يسمى OmniVRBench، والذي يتضمن 200 مقطع تاريخي حقيقي. وقارنوا طريقتهم بأفضل الأدوات الموجودة، والتي تعالج عادةً الفيديو والصوت بشكل منفصل أو تضيف الألوان للأفلام بالأبيض والأسود فقط.
كانت النتائج واضحة: OmniVR هي أول طريقة تنجح في إصلاح الفيديو، والصوت، والألوان جميعها في آن واحد.
- الجودة البصرية: على مقياس يقيس مدى "طبيعية" وحدة الصورة، سجل OmniVR درجات أعلى بكثير من أي طريقة أخرى. لم يكتفِ بإزالة الضبابية، بل أعاد التفاصيل الدقيقة مثل ملمس الجلد وأنماط القماش التي فُقدت.
- جودة الصوت: كان الصوت المستعاد أكثر وضوحًا، مع تقليل الهسيس وتحسين مستوى الصوت. بدا وكأنه صوت بشري يتحدث وليس روبوتًا داخل علبة صفيح.
- التزامن: نظرًا لأن الفيديو والصوت تم إصلاحهما معًا، تحركت الشفاه تمامًا مع الكلمات. الطرق الأخرى غالبًا ما تجعل الصوت يبدو جيدًا لكن الشفاه تبدو غير متزامنة، أو العكس.
- اللون: لم يكتفِ بإضافة ألوان عشوائية، بل أضاف ألوانًا منطقية تتناسب مع الإضاءة والمزاج العام للمشهد، مما جعل الأفلام بالأبيض والأسود تبدو وكأنها صُوّرت بالألوان.
كما أظهر الباحثون أن مجرد دمج مُصلح فيديو مع مُصلح صوت (نهج "التتالي") لم يكن يعمل بنفس الكفاءة. فالأدوات المنفصلة لم تستطع التواصل مع بعضها، لذا غالبًا ما ارتكبت أخطاء تجنبها النموذج المشترك. على سبيل المثال، قد يقوم مُصلح صوت منفصل بتغيير توقيت الصوت بما يكفي لجعله غير متزامن مع الفيديو، لكن OmniVR أبقاهما مقيدين ببعضهما البعض.
الخلاصة
يثبت OmniVR أن ترميم التاريخ ليس مجرد تنظيف صورة أو ملف صوتي؛ بل يتعلق بفهم العلاقة بينهما. من خلال التعامل مع الفيديو والصوت كقصة واحدة مترابطة، يمكن للنموذج استعادة تفاصيل كان يُعتقد أنها فُقدت للأبد. وبينما تشير الورقة البحثية إلى أن الأفلام شديدة التلف (حيث تختفي الإطارات تمامًا) لا تزال صعبة، وأن الذكاء الاصطناعي قد "يهلوس" أحيانًا ببعض التفاصيل لملء الفجوات، إلا أن النتائج تمثل قفزة هائلة للأمام. إنها تقدم وسيلة لإعادة الحياة إلى الماضي، ليس فقط كصورة ثابتة، بل كتجربة حية، متنفّسة، ومتزامنة. لقد تم إطلاق الكود والنموذج للجمهور، مما يعني أن أي شخص يمكنه الآن استخدام هذا "المحقق المسافر عبر الزمن" لترميم ذكرياته القديمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.