THEval. Evaluation Framework for Talking Head Video Generation
لمعالجة نقص مقاييس التقييم الكافية لتوليد فيديوهات الرؤوس المتحدثة، تقترح هذه الورقة إطار عمل جديدًا يتكون من ثمانية مقاييس فعالة عبر أبعاد الجودة، والطبيعية، والمزامنة، تم التحقق من صحتها على مجموعة بيانات جديدة و85,000 فيديو من 17 نموذجًا من أحدث النماذج المتطورة للكشف عن القيود الحالية في التعبير وتقليل العيوب الاصطناعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج سينمائي تحاول تقييم دفعة جديدة من الممثلين الرقميين. هؤلاء ليسوا بشراً حقيقيين؛ بل هم "رؤوس متحدثة" مولدة حاسوبياً بواسطة الذكاء الاصطعي. بعض هؤلاء الممثلين الرقميين يتم توجيههم عبر فيديو لشخص حقيقي يتحرك، بينما يتم توجيه البعض الآخر عبر تسجيل صوتي لشخص يتحدث.
لفترة طويلة، حاول قطاع صناعة الأفلام (الباحثون) معرفة كيفية منح درجات لهؤلاء الممثلين الرقميين المتحدثين. لكنهم كانوا يستخدمون أدوات خاطئة. الأمر يشبه محاولة تقييم سيمفونية عن طريق قياس مستوى صوت الطبول فقط، مع تجاهل اللحن، والإيقاع، وكيف يبدو الموسيقيون أثناء العزف.
إليك قصة THEval، وهو إطار عمل جديد صُمم أخيراً لمنح هؤلاء الممثلين الرقميين مراجعة عادلة.
المشكلة: المسطرة المكسورة
يوضح البحث أن الطرق الحالية لتقييم الرؤوس المتحدثة بالذكاء الاصطناعي معطلة.
- المساطر القديمة: استخدم الباحثون مقاييس مثل FID و FVD (فكر فيها كـ "كاشفات ضبابية") أو Syncnet (كـ "فاحص لمزامنة الشفاه").
- الخلل: وجد البحث أن هذه المساطر القديمة تعطي درجات عالية لمقاطع الفيديو التي تبدو سيئة جداً في عيون البشر. على سبيل المثال، قد يكون مقطع الفيديو ذا مزامنة شفاه مثالية وفقاً للكمبيوتر، لكن الوجه يبدو مثل تمثال من الشمع المنصهر. وعلى العكس من ذلك، قد يحصل مقطع فيديو يبدو رائعاً للبشر على درجة رسوب من الكمبيوتر بسبب خلل بسيط غير ملحولاحظ في التوقيت.
- النتيجة: درجة الكمبيوتر ورأي البشر غير متطابقين تماماً. في الواقع، يظهر البحث أن مقياس "مزامنة الشفاه" القديم (Syncnet) لديه في الواقع ارتباط سلبي مع ما يحبه البشر! فكلما زاد ما يقوله الكمبيوتر عن جودة الفيديو، قلّ ما يميل البشر إلى حبه!
الحل: THEval (نظام التقييم الجديد)
ابتكر المؤلفون THEval، وهو إطار عمل تقييمي جديد. بدلاً من مسطرة واحدة مكسورة، قاموا ببناء قائمة تحقق مكونة من 8 نقاط تغطي ثلاثة مجالات رئيسية للأداء: الجودة، الطبيعية، والمزامنة.
فكر في الأمر كأنه بطاقة تقييم لحكم في برنامج مواهب:
1. الجودة (هل الصورة واضحة؟)
- الجماليات العامة: هل الفيديو بأكمله يبدو جيداً؟ هل الإضاءة جميلة؟ هل تناغم الألوان مرضٍ؟
- جودة الوجه والفم: هل الوجه حاد وواضح، أم أنه ضبابي؟ هل منطقة الفم واضحة، أم أنها تبدو كبقعة مشوهة؟
- التشبيه: هذا يشبه التحقق مما إذا كانت عدسة الكاميرا نظيفة والإضاءة احترافية.
2. الطبيعية (هل يبدو حياً؟)
- ديناميكيات الشفاه: هل تتحرك الشفاه بتنوع طبيعي، أم أنها تفتح وتغلق فقط مثل حركة السمكة؟
- ديناميكيات حركة الرأس: هل يحرك الشخص رأسه بالإيماء أو الإمالة أو الدوران بشكل طبيعي، أم أنه يبدو كتمثال جامد؟
- ديناميكيات الحواجب: هل ترتفع الحواجب وتنخفض لإظهار المشاعر، أم أنها متجمدة في نظرة ثابتة؟
- استقرار الشفاه أثناء الصمت: عندما يتوقف الشخص عن الكلام، هل تظل شفتاه ثابتتين، أم أنهما ترتجفان وتتحركان بشكل غير طبيعي؟
- التشبيه: هذا يتحقق مما إذا كان الممثل "يمثل" أم أنه مجرد يحرك فمه. الإنسان الحقيقي يرمش، ويتحرك، ويدير رأسه؛ أما الذكاء الاصطناعي السيئ فيبدو آلياً.
3. المزامنة (هل تتطابق الشفاه مع الصوت؟)
- مزامنة الشفاه: هل ينفتح الفم على اتساعه عندما يصرخ المتحدث، ويبقى مغلقاً عندما يهمس؟ الأمر لا يتعلق بالتوقيت فحسب، بل بمطابقة شدة الصوت.
- التشبيه: هذا يشبه التحقق مما إذا كان الدبلجة تتطابق مع أداء الممثل.
الاختبار الكبير: 85,000 فيديو
لإثبات فعالية نظامهم الجديد، لم يكتفِ المؤلفون بالتخمين. لقد قاموا بـ:
- بناء مجموعة بيانات جديدة: جمعوا أكثر من 5,000 فيديو حقيقي لأشخاص يتحدثون بلغات مختلفة (الإنجليزية، الإسبانية، الصينية، إلخ) لضمان أن نماذج الذكاء الاصطناعي لم ترَ هؤلاء الأشخاص تحديداً من قبل.
- توليد 85,000 فيديو: قاموا بتشغيل 17 نموذجاً مختلفاً من أحدث نماذج الذكاء الاصطنا_الرائدة (المتسابقين) على هذه المجموعة من البيانات.
- إجراء تصويت بشري: طلبوا من بشر حقيقيين مشاهدة أزواج من مقاطع الفيديو واختيار أيهما يبدو أكثر واقعية.
- النتيجة: عندما قارنوا الأصوات البشرية بدرجات THEval، وجدوا تطابقاً بنسبة 87%. هذا أمر ضخم! هذا يعني أن THEval هو "بديل" موثوق للغاية لرأي البشر.
ماذا تعلموا؟
استخدم البحث هذا النظام الجديد لتصنيف الـ 17 نموذج ذكاء اصطناعي ووجدوا بعض الأشياء المثيرة للاهتمام:
- النماذج المدفوعة بالفيديو (حيث ينسخ الذكاء الاصطنائي فيديو لشخص حقيقي) قامت بعمل أفضل عموماً في الظهور بمظهر طبيعي وتحريك الرأس، لكنها واجهت أحياناً صعوبة في جودة الوجه نفسه.
- النماذج المدفوعة بالصوت (حيث يستمع الذكاء الاصطناعي للصوت وينشئ وجهاً) بدأت تتحسن في مزامنة الشفاه، لكنها غالباً ما عانت من التعبيرية. فبعضها صنع وجوهاً مبالغاً فيها (مثل الكرتون) أو عانت من "الانحراف الزمني" (حيث يبدأ الوجه ببطء في التحول ليشبه شخصاً آخر أو يتحول لونه إلى البرتقالي بمرور الوقت).
- مفاجأة "Wav2Lip": حصل نموذج شهير جداً يسمى Wav2Lip على أعلى الدرجات في مقاييس Syncnet القديمة، لكنه احتل مرتبة متدنية في الدراسة البشرية. وهذا أثبت أن المقاييس القديمة كانت مضللة.
الخلاصة
يخلص البحث إلى أنه لا يمكننا الاعتماد على مقاييس الكمبيوتر القديمة والبسيطة للحكم على الرؤوس المتحدثة بالذكاء الاصطناعي. إنها تشبه ميزان حرارة معطل يقول إن الجو شديد البرودة بينما هو في الواقع حار.
THEval هو ميزان الحرارة الجديد والموثوق. فهو يفكك التقييم إلى فئات محددة تشبه التقييم البشري (الجودة، الطبيعية، المزامنة) ويجمعها في درجة واحدة يمكن للبشر الوثوق بها. لقد جعل المؤلفون هذا النظام، ومجموعة البيانات، ولوحة الصدارة متاحة للعامة حتى يتمكن الباحثون الآخرون من استخدامها لبناء ممثلين رقميين أفضل وأكثر واقعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.