Hierarchical Codec Diffusion for Video-to-Speech Generation
تقدم هذه الورقة HiCoDiT، وهو محول انتشار ترميز هرمي يستفيد من البنية متعددة المستويات لتكميم المتجه المتبقي (RVQ) لرموز الكلام لتحقيق توليد فائق من الفيديو إلى الكلام عبر محاذاة الدلالات الصوتية الخشنة مع حركات الشفاه والبروسوديا دقيقة التفاصيل مع تعبيرات الوجه من خلال آلية تطبيع تكيفية ثنائية المقياس مبتكرة.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيلماً صامتاً. الممثلون يححركون أفواههم، ويصنعون تعبيرات وجهية، ويمثلون مشهداً، ولكن لا يوجد صوت. يحاول دماغك بشكل طبيعي ملء هذا الصمت بما "يُفترض" أن يقوله الشخصيات.
برنامج HiCoDiT هو برنامج حاسوبي جديد يفعل ذلك تماماً، ولكن بدقة تفوق القدرات البشرية. فهو يأخذ فيديو صامتاً ويقوم بتوليد تعليق صوتي مثالي، يتناسب مع حركات شفاه الممثل، وصوته الفريد، وعواطفه.
إليك كيف يعمل، مشروحاً ببعض التشبيهات من الحياة اليومية:
1. المشكلة: النهج "المسطح"
حاولت الأساليب القديمة توليد الكلام عبر معاملته كأنه ورقة واحدة مسطحة. كانت تنظر إلى الفيديو وتحاول تخمين الصوت بأكمِله دفعة واحدة.
- التشبيه: تخيل أنك تحاول رسم لوحة بورتريه عن طريق خلط جميع ألوانك (لون البشرة، لون العين، الظلال، الإضاءة) في دلو واحد كبير من الطلاء البني ثم محاولة تطبيقها كلها دفعة واحدة. سيكون الأمر فوضوياً، وستفقد التفاصيل الدقيقة.
- المشكلة: الكلام ليس مسطحاً؛ بل له طبقات. لديه الكلمات الأساسية (ما يقال)، وهوية الصوت (من الذي يتحدث)، والنبرة العاطفية (كيف يتم قولها). الأساليب القديمة كانت ترتبك وهي تحاول القيام بالأمور الثلاثة في وقت واحد.
2. الحل: "دمية الماتريوشكا" الصوتية
أدرك المؤلفون أن الكلام في الواقع هرمي، مثل مجموعة من دمى "الماتريوشكا" الروسية أو كعكة متعددة الطبقات.
- الطبقات السفلى (الأساس): هذه هي "جوهر" الكلام. تحتوي على الكلمات الأساسية وصوت المتحدث الفريد (مثل جرس صوته أو لكنته).
- الطبقات العليا (الزينة): هذه هي "النكهة". تحتوي على التفاصيل الدقيقة: ارتفاع وانخفاض نبرة الصوت (البروسودي/الإيقاع)، والحماس، أو الحزن، أو السخرية.
HiCoDiT هو أول برنامج يحترم هذا الهيكل. فبدلاً من خلط كل شيء في دلو واحد، يقوم ببناء الصوت طبقة تلو الأخرى.
3. كيف يبني HiCoDiT الصوت
فكر في HiCoDiT كمساعد شيف محترف لديه محطتان مختلفتان في المطبخ:
المحطة (أ): محطة "ماذا ومن" (الكتل منخفضة المستوى)
- المدخلات: ينظر إلى شفاه الممثل وشكل وجهه.
- المهمة: تماماً مثل فنان مزامنة الشفاه، يكتشف ما هي الكلمات التي تُقال ومن الذي يقولها. إنه يبني الأساس المتين للجملة.
- التشبيه: هذا يشبه النجار الذي يبني إطار المنزل؛ يجب أن يكون متيناً ومطابقاً للمخططات (الفيديو).
المحطة (ب): محطة "كيف والشعور" (الكتل عالية المستوى)
- المدخلات: ينظر إلى تعبيرات وجه الممثل (الابتسامات، العبوس، رفع الحاجبين).
- المهمة: يأخذ هذا الأساس المتين ويضيف إليه العاطفة. هل الشخصية تصرخ غضباً؟ أم تهمس خوفاً؟
- التشبيه: هذا يشبه مصمم الديكور الداخلي؛ يأخذ المنزل المتين ويضيف إليه الإضاءة، والمزاج، والشخصية ليجعله يبدو نابضاً بالحياة.
4. السر الخفي: "المعدّل مزدوج النطاق"
للتأكد من عدم حدوث تصادم بين "مَن" و"كيف"، اخترع الباحثون أداة خاصة تسمى Dual-Scale AdaLN.
- التشبيه: تخيل مهندس صوت في حفلة موسيقية.
- مقبض يتحكم في الحجم العام والأسلوب للفرقة الموسيقية (النمط الصوتي العالمي).
- ومقبض آخر يتحكم في الإيقاع والسرعة لعازف الطبل في الأغنية الحالية (الإيقاع المحلي).
- يستخدم HiCoDiT هذه الأداة لضبط الصوت عالمياً (للتأكد من أنه يبدو كشخص واحد) مع ضبطه محلياً أيضاً (للتأكد من أن الصوت يتهدج عندما يبكي الممثل).
5. النتيجة: تطابق مثالي
لأن HiCoDiT يبني الصوت في طبقات، فإنه لا يرتبك.
- هو يعرف أن حركة الشفاه يجب أن تغير الكلمات فقط، وليس العاطفة.
- وهو يعرف أن تعبيرات الوجه يجب أن تغير العاطفة فقط، وليس الكلمات.
في العالم الحقيقي:
إذا شاهدت مقطعاً من فيلم صامت تم إنتاجه بواسطة HiCoDiT، فستجد أن الصوت يبدو طبيعياً. تتحرك شفاه الممثل بدقة مع الكلمات، ويبدو الصوت مطابقاً تماماً للممثل، وإذا بدا الممثل حزيناً، سيبدو الصوت حزيناً. الأمر يشبه أن الحاسوب قد تعلم أخيراً كيف "يسمع" بعينيه.
لماذا هذا مهم؟
يمكن لهذه التكنولوجيا أن تحدث ثورة في:
- دبلجة الأفلام: جعل الأفلام الأجنبية تبدو وكأن ممثليها يتحدثون لغتك ببراعة تامة.
- إمكانية الوصول: منح صوتاً للأشخاص الذين لا يستطيعون الكلام، باستخدام حركات وجوههم فقط.
- الخصوصية: السماح للناس بالتواصل في الأماكن الصاخبة (مثل المصانع) دون الحاجة للصراخ، فقط عبر تحريك شفاههم.
باختصار، HiCoDiT يتوقف عن معاملة الكلام ككتلة فوضوية غير واضحة، ويبدأ في معاملته كمبنى تم تشييده بعناية، مما يضمن وضع كل طوبة (كلمة) وكل طبقة طلاء (عاطفة) في مكانها الصحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.