AU Codes, Language, and Synthesis: Translating Anatomy to Text for Facial Behavior Synthesis
تتناول هذه الورقة البحثية أوجه القصور في أساليب تخليق السلوك الوجهي الحالية في التعامل مع وحدات الحركة (Action Units) المتعارضة من خلال تقديم تمثيل نصي جديد، وهو مجموعة بيانات BP4D-AUText، ونموذج التوليد VQ-AUFace لإنتاج تعبيرات وجهية ذات مظهر تشريحي منطقي ومقنعة إدراكياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: من "حزين" إلى "النوع المحدد من الحزن"
تخيل أنك ممثل يحاول البكاء بناءً على أمر. إذا صرخ المخرج في وجهك قائلاً: "كن حزيناً!"، فقد تعطيه تعبيراً عاماً يشبه رسوم الكرتون. لكن الحزن البشري الحقيقي معقد؛ فأحياناً يكون حزناً هادئاً ووحيداً، وأحياناً أخرى يكون ضيقاً وقلقاً محمومًا، أو ربما يكون حزناً مكتوماً حيث تحاول جاهدًا ألا تبكي.
مولدات الوجوه بالذكاء الاصطناعي الحالية تشبه ذلك المخرج؛ فهي بارعة في صنع وجه "سعيد" أو "حزين" بشكل عام، لكنها تعاني في فهم التفاصيل الدقيقة. لا يمكنها التمييز بين دمعة هادئة ونحيب مضطرب لأنها تفهم فقط الفئات العريضة.
تقترح هذه الورقة البحثية طريقة جديدة للتحدث مع الذكاء الاصطناعي: بدلاً من إعطائه تسمية مثل "حزين"، سنعطيه سيناريو مفصلاً يصف بالضبط كيف يجب أن تتحرك العضلات.
المشكلة: "شد وجذب العضلات"
لفهم سبب صعوبة هذا الأمر، تخيل أن وجهك عبارة عن دمية متحركة مكونة من أكثر من 40 خيطاً (عضلات).
- الطريقة القديمة: كان العلماء يتحكمون في هذه الخيوط باستخدام قائمة بسيطة من الأرقام (تسمى وحدات الحركة أو AUs). على سبيل المثال: "اسحب الفم للأسفل (AU15)" و"ارفع الفم للأعلى (AU17)".
- الخلل: إذا أخبرت الذكاء الاصطناعي أن يفعل الأمرين معاً باستخدام الطريقة القديمة، فسيصاب بالارتباك. سيحاول سحب الفم للأعلى وللأسفل في آن واحد، مما ينتج عنه وجه غريب ومشوه يبدو فيه الفم وكأنه يهتز أو ينصهر. الأمر يشبه إخبار محرك الدمى بأن يسحب خيطاً لليسار ولليمين في نفس اللحظة وبقوة متساوية؛ ستتحطم الدمية ببساطة.
في الحياة الواقعية، عندما تتصارع العضلات (مثل سحب الفم للأسفل مع شد الشفاه)، تكون النتيجة تعبيراً معقداً ودقيقاً. الذكاء الاصطناعي القديم لم يستطع فهم هذا "الصراع".
الحل: "المترجم التشريحي"
ابتكر مؤلفو هذه الورقة نظاماً جديداً يسمى أوصاف وحدات الحركة (AU Descriptions). بدلاً من إعطاء الذكاء الاصطناعي رمزاً مثل AU15 + AU17، يقومون بترجمة هذا الرمز إلى جملة بلغة طبيعية تشرح فيزياء الحركة.
التشبيه:
فكر في الطريقة القديمة كأنك تعطي طباخاً قائمة بالمكونات: "دقيق، ماء، ملح".
أما الطريقة الجديدة فهي إعطاء الطباخ وصفة: "اخلط الدقيق والماء حتى يتكون عجين، ثم اعجن العجين حتى يصبح ناعماً".
كيف يعمل:
- المترجم (معالج نص وحدات الحركة الديناميكي): هي أداة ذكية تنظر إلى رموز العضلات وتكتب قصة.
- المدخل القديم: "AU15 (الفم للأسفل) + AU17 (الفم للأعلى)".
- المخرج الجديد: "زوايا الفم مسحوبة للأسفل قليلاً، لكن الذقن مدفوع للأعلى، مما يؤدي إلى شد الشفاه وتشكيل الفم على هيئة حرف U مقلوب".
- النتيجة: من خلال قراءة هذه "القصة"، يفهم الذكاء الاصطناعي أن العضلات في حالة تضاد، وليس مجرد إضافة فوق بعضها. هو يعرف كيف يخلق مظهراً مشدوداً ومتضارباً بدلاً من مظهر مشوه.
مجموعة الأدوات: ما الذي بنوه؟
لإنجاح هذا العمل، بنى الفريق ثلاثة أشياء رئيسية:
1. المكتبة (مجموعة بيانات BP4D-AUText)
لا يمكنك تعليم طالب بدون كتاب مدرسي. أنشأ الفريق أول مكتبة ضخمة تضم أكثر من 300,000 صورة لوجه، حيث تقترن كل صورة بوصف نصي مفصل لما تتحرك فيه العضلات بالضبط.
- التشبيه: الأمر يشبه مكتبة ضخمة من صور الأشخاص وهم يصنعون تعابير وجه، ولكن بدلاً من مجرد عنوان مثل "غاضب"، تحتوي كل صورة على فقرة تصف بدقة حركة حواجبهم وشد فكهم.
2. الفنان (نموذج VQ-AUFace)
هذا هو نموذج الذكاء الاصطناعي الجديد الذي قاموا بتدريبه. هو لا يخمن فحسب، بل يستخدم خدعتين خاصتين:
- خريطة العضلات (الأولوية التشريحية): قبل أن يرسم الوجه، لديه خريطة ذهنية لكيفية عمل عضلات الإنسان. هو يعلم أنه إذا ارتفع الذقن، فإن الشفة السفلية عادة ما تُدفع للخارج. هذا يمنع الوجوه "المشوهة".
- مساعد المترجم (المحاذاة عبر الوسائط): يقوم بمطابقة الكلمات في النص مع البكسلات في الصورة بعناية، مما يضمن أنه إذا قال النص "شد الشفاه"، فإن الذكاء الاصطناٍ يعمل فعلياً على شد الشفاه في الصورة.
3. القاضي (مقياس AAAD)
كيف تعرف ما إذا كان الذكاء الاصطناعي قد أدى مهمته جيداً؟ لقد اخترعوا طريقة جديدة للتقييم. بدلاً من السؤال "هل يبدو هذا حقيقياً؟"، يسألون: "هل يطابق الوجه قصة العضلات؟"
- يستخدمون جهاز كمبيوتر "لقراءة" الوجه الناتج وتحديد أي العضلات تتحرك. ثم يقارنون ذلك بالنص الأصلي. إذا قال النص "شد الشفاه" وكان الوجه يمتلك شفاهًا مشدودة، ترتفع الدرجة.
لماذا هذا مهم؟
مثال "الحزن":
في الورقة البحثية، يوضحون أن "الحزن" ليس مجرد وجه واحد.
- السوداوية (Melancholy): حزن هادئ وساكن (سحب الفم للأسفل غالباً).
- الضيق (Distress): حزن قلق ومضطرب (سحب الفم للأسفل ورفع الحواجب الداخلية).
- الكبت (Suppression): محاولة عدم البكاء (سحب الفم للأسفل ودفع الذقن للأعلى للتمسك بالبقاء متماسكاً).
مع هذا النظام الجديد، يمكن للذكاء الاصطناعي أخيراً توليد كل هذه الوجوه المتميزة بمجرد قراءة جملة مختلفة. إنه ينتقل من صنع "وجوه كرتونية" إلى صنع "وجوه بشرية" تبدو حقيقية، معقدة، ودقيقة عاطفياً.
باخت-الكلمات
أدرك المؤلفون أن أجهزة الكمبيوتر كانت سيئة في رسم المشاعر البشرية المعقدة لأنها كانت تتحدث بـ "أكواد روبوتية" (أرقام). لقد علموا أجهزة الكمبيوتر التحدث بـ "اللغة البشرية" (أوصاف حركات العضلات). ومن خلال القيام بذلك، أصلحوا الوجوه المشوهة وخلقوا نظاماً يمكنه توليد تعابير وجه واقعية للغاية، دقيقة، وصحيحة تشريحياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.