Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation
يُعد Omni-Customizer إطار عمل متكامل (end-to-end) يتيح توليداً دقيقاً مشتركاً للصوت والفيديو مع هويات بصرية ونبرات صوتية متسقة عبر موضوعات متعددة من خلال تقديم وحدات مبتكرة مثل Omni-Context Fusion وMasked TTS Cross-Attention وSemantic-Anchored Multimodal RoPE لحل تحديات مثل تسرب الكلام وتحقيق أحدث المستويات التقنية في التخصيص متعدد الوسائط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج تحاول تصوير مشهد سينمائي مع عدة ممثلين. لديك نص سينمائي، ولكن عليك أيضًا التأكد من أن الممثل (أ) يبدو دائمًا كالشخص المحدد الذي استأجرته، ويبدو صوته تمامًا مثل صوته الفريد، وكذلك يفعل الممثل (ب) بالنسبة لنفسه. إذا ارتبكت الكاميرا، قد ينتهي الأمر بوجه الممثل (أ) وهو يتحرك بينما صوت الممثل (ب) هو الذي يتحدث، أو الأسوأ من ذلك، قد يبدأ الممثلون في نطق جمل ليست موجودة في النص لمجرد أنك وصفتهم في ملاحظات المشهد.
هذه هي المشكلة ذاتها التي يحلها نظام Omni-Customizer. إنه نظام ذكاء اصطناٍعي جديد مصمم لإنشاء فيديوهات يمكن فيها لأشخاص متعددين التحدث والتفاعل، مع الحفاظ بدقة على ملامحهم وأصواتهم الفريدة.
إليك كيف يعمل، مقسمًا باستخدام تشبيهات بسيطة:
1. المشكلة: "المخرج المرتبك"
كانت أدوات الذكاء الاصطناعي السابقة جيدة في صنع الفيديوهات أو جيدة في صنع الصوت، ولكن عندما حاولت القيام بكليهما في آن واحد مع أشخاص متعددين، أصابها الارتباك.
- الخلط: قد يخلط الذكاء الاصطناعي بين من يتحدث. فقد يجعل الرجل الذي يرتدي قميصًا أحمر ينطق كلمات المرأة.
- "الصوت الشبح": أحيانًا، كان الذكاء الاصطناعي يحول وصف المشهد إلى كلام عن طريق الخطأ. إذا كتبت، "الرجل طويل القامة"، فقد يجعل الشخص يقول فعليًا، "أنا طويل القامة"، رغم أن ذلك لم يكن ضمن الحوار.
- "الانجراف": مع مرور الوقت في الفيديو، قد تتغير وجوه الشخصيات أو أصواتها ببطء، مما يؤدي لفقدان هويتها.
2. الحل: مجموعة أدوات "Omni-Customizer"
بنى الباحثون نظامًا يتكون من ثلاث "أدوات" رئيسية لإصلاح هذه المشكلات:
أ. "الموصل الفائق" (Omni-Context Fusion)
تخيل أن عقل الذكاء الاصطناعي يتكون من أقسام مختلفة: قسم للنصوص، وقسم للصور، وقسم للصوت. عادةً، تتواصل هذه الأقسام مع بعضها البعض ببطء وبشكل غير مباشر.
- الإصلاح: يقوم Omni-Customizer ببناء "موصل فائق" يجبر كل هذه الأقسام على الجلوس حول نفس الطاولة والتحدث فورًا. إنه يأخذ وصف الشخص، وصورته، وعينة صوته، ويدمجهم معًا في حزمة واحدة محكمة قبل بدء عملية توليد الفيديو. هذا يضمن أن الذكاء الاصطناعي يعرف أن: "هذا الوجه، وهذا الصوت، وهذا الاسم، جميعهم ينتمون لنفس الشخص".
ب. نظام "بطاقة الاسم" (Semantic-Anchored RoPE)
تخيل أن لديك كومة من قطع الأحجية (البازل): بعضها وجوه، وبعضها أصوات، وبعضها كلمات. إذا رميتها في صندوق فحسب، فستختلط ببعضها.
- الإصلاح: يستخدم النظام "بطاقة اسم" خاصة (تسمى SA-MRoPE). فهي تقوم بربط قطعة "الوجه أ" و"الصوت أ" ماديًا بكلمة "الموضوع 1" في النص السينمائي. الأمر يشبه وضع علامة مغناطيسية على قطع الأحجية بحيث لا يمكنها أن تبتعد وتلتصق بالشخص الخطأ. هذا يمنع الذكاء الاصطناعي من الارتباك بشأن هوية كل شخص، حتى في المشاهد المزدحمة التي تضم ثلاثة أو أربعة أشخاص.
ج. "زر الصمت" (Masked TTS Cross-Attention)
هل تتذكر مشكلة قيام الذكاء الاصطناعي بنطق أوصاف المشاهد بالخطأ؟
- الإصلاح: قام الباحثون بتثبيت "زر صمت" (MTP-CA). فهم يخبرون الذكاء الاصطناعي: "انطق فقط الكلمات الموجودة داخل وسوم
<S>(البداية) و<E>(النهاية)". أي شيء آخر — مثل وصف الطقس أو ملابس الشخصيات — يتم إسكاته تمامًا. يُجبر الذكاء الاصطناعي على تجاهل النص الوصفي عند توليد الكلام، لذا لا يقرأ تعليمات المسرح بصوت عالٍ عن طريق الخطأ.
3. التدريب: "روتين النادي الرياضي"
لتعليم هذا النظام، لم يلقِ الباحثون بكل البيانات دفعة واحدة، بل استخدموا جدول تدريب ذكي:
- "تدريبات الصوت فقط": في بعض الأحيان، يتدرب الذكاء الاصطناعي على الصوت فقط (الاستماع للأصوات وتعلم اللغات) دون القلق بشأن الفيديو. هذا يساعده على تعلم التحدث بلغات عديدة دون ارتباك.
- "تدريبات الفيديو والصوت": في أوقات أخرى، يتدرب على جعل الفيديو والصوت يتطابقان تمامًا (مزامنة الشفاه).
- "سلم من السهل إلى الصعب": بدأوا بتعليم الذكاء الاصطناعي التعامل مع شخص واحد يتحدث فقط. وبمجرد إتقانه لذلك، انتقلوا إلى شخصين، وأخيرًا إلى مشاهد معقدة تضم عدة أشخاص يتحدثون في وقت واحد. هذا النهج التدريجي منع الذكاء الاصطناعي من الشعور بالإرهاق.
4. النتيجة
عند اختباره، أثبت Omni-Customizer قدرته على:
- الحفاظ على ثبات الوجوه والأصوات، حتى في المحادثات الطويلة.
- منع مشكلة "الصوت الشبح" (حيث تُنطق الأوصاف).
- التعامل مع المشاهد المعقدة التي تضم عدة أشخاص بشكل أفضل من أي نموذج مفتوح المصدر سابق.
باختًا: Omni-Customizer يشبه طاقم تصوير عالي التنظيم لا يفقد أبدًا تتبع أي ممثل هو، ويضمن أنهم ينطقون فقط حواراتهم الفعلية، ويحافظ على اتساق أصواتهم ووجوههم من الثانية الأولى وحتى الأخيرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.