💻 computer science

FG-Portrait: 3D Flow Guided Editable Portrait Animation

يقدم FG-Portrait إطار عمل انتشار موجه بالتدفق ثلاثي الأبعاد يستفيد من التدفقات ثلاثية الأبعاد المدفوعة بالهندسة وأخذ العينات الموجه بالعمق لتحقيق رسوم متحركة للصور الشخصية عالية الدقة وقابلة للتعديل، مع نقل حركة وحفاظ على الهوية يتفوقان على الطرق الحالية.

المؤلفون الأصليون: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

نُشر 2026-03-25

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة لصديقتك "أليس" وهي تجلس بهدوء وتبتسم. الآن، تخيل أن لديك فيديو لصديقك الآخر "بوب" وهو يصنع تعبيرات وجه مضحكة، ويميل رأسه، ويتحدث.

الهدف: تريد إنشاء فيديو جديد تكون فيه "أليس" هي من تقوم بكل تلك التعبيرات المضحكة وتحرك رأسها تماماً مثل "بوب"، ولكن مع بقائها تبدو تماماً مثل "أليس".

يُسمى هذا تحريك الصور الشخصية (Portrait Animation). إنه يشبه عرض دمى رقمي، ولكن بدلاً من الخيوط، نستخدم الرياضيات والذكاء الاصطناعي.

المشكلة في الطرق القديمة

فكر في طرق الذكاء الاصطناعي القديمة كأنها محرك دمى أخرق. فهي تحاول تخمين كيف يجب أن يتحرك وجه "أليس" بمجرد النظر إلى فيديو "بوب".

الخطأ: غالباً ما يصيبها الارتباك. إذا أمال "بوب" رأسه لليسار، قد يتسبب الذكاء الاصطناعي بالخطأ في جعل أنف "أليس" يبدو وكأنه يذوب أو قد تتبدل عيناها. الأمر يشبه محاولة تقليد حركة رقص عبر مراقبة القدمين فقط، دون فهم كيفية اتصال الجسم بأكمله.
النتيجة: تبدو الحركة "غير طبيعية"، أو تبدأ "أليس" في الظهور لتشبه "بوب" قليلاً.

الحل الجديد: FG-Portrait (نهج "المخطط ثلاثي الأبعاد")

ابتكر مؤلفو هذه الورقة البحثية، FG-Portrait، طريقة أكثر ذكاءً. فبدلاً من التخمين، يستخدمون مخططاً ثلاثي الأبعاد (3D Blueprint).

إليك التشبيه:

المانيكان غير المرئي: تخيل أنه تحت كل صورة لوجه بشري، يوجد "مانيكان" (نموذج تمثال) ثلاثي الأبعاد مثالي وغير مرئي (نموذج طيني رقمي). هذا المانيكان يعرف بالضبط مكان كل أنف، وخد، وذقن في الفضاء ثلاثي الأبعاد.
خريطة "التدفق" (Flow Map): عندما يحرك "بوب" رأسه، يتحرك المانيكان غير المرئي الخاص به. وعندما تجلس "أليس" ساكنة، يظل المانيكان الخاص بها ثابتاً.
- الطريقة الجديدة ترسم خيطاً صغيراً غير مرئي (تدفق) من كل نقطة على مانيكان "بوب" المتحرك وصولاً إلى النقطة المطابقة لها على مانيكان "أليس" الساكن.
- التشبيه: الأمر يشبه امتلاك خريطة GPS تقول: "إذا تحرك خد 'بوب' الأيسر إلى هنا، فإن خد 'أليس' الأيسر يجب أن يكون قد جاء من هناك".
الترجمة السحرية: يستخدم الذكاء الاصطناعي هذه الخيوط غير المرئية ليخبر الكمبيوتر: "لا تخمن! فقط حرك بكسلات (pixels) 'أليس' تماماً إلى حيث تقول الخريطة ثلاثية الأبعاد أنها يجب أن تذهب".

لماذا يعد هذا أفضل؟

لا يوجد تخمين: لأن المانيكان ثلاثي الأبعاد هو نموذج رياضي مثالي، لا يحتاج الذكاء الاصطناعي لتخمين كيف يتحرك الأنف عند دوران الرأس. إنه يعرف الهندسة بدقة متناهية.
خدعة "العمق": أحياناً، تكون الصورة ثنائية الأبعاد (2D) مخادعة (هل هذا ظل أم تجعيدة عميقة؟). تضيف الورقة البحثية خطوة "موجهة بالعمق" (Depth-Guided). فكر في هذا كأن الذكاء الاصطناعي يرتدي نظارات ثلاثية الأبعاد ليفهم بالضبط مدى بعد أي نقطة، مما يضمن سحب خيوط الحركة من المكان الصحيح.

الميزة الإضافية الرائعة: "التحكم عن بُعد" في التعديل

الجزء الأفضل؟ هذا النظام ليس مخصصاً فقط لتقليد "بوب".

بمجرد أن يفهم الذكاء الاصطناعي الهيكل ثلاثي الأبعاد، يمكنك أنت أن تلعب دور المخرج.
يمكنك أن تقول للذكاء الاصطناعي: "اجعل 'أليس' تبتسم أكثر مما فعل 'بوب*"، أو "اجعلها تميل رأسها أقل مما فعل".
إنه يشبه امتلاك جهاز تحكم عن بعد للمانيكان ثلاثي الأبعاد. يمكنك تعديل التعبير أو الوضعية بعد إنشاء التحريك، وسيقوم الذكاء الاصطناعي بتعديل الصورة فوراً.

ملخص موجز

الطريقة القديمة: "أظن أنه إذا حرك 'بوب' رأسه لليسار، فعلى 'أليس' أن تحرك بكسلاتها لليسار". (غالباً ما ينتج عن ذلك وجه مشوه أو ذائب).
طريقة FG-Portrait: "لدي خريطة ثلاثية الأبعاد لـ 'بوب' و'أليس'. أعرف بالضبط أي بكسل من بكسلات 'أليس' يتوافق مع أنف 'بوب' المتحرك. سأحركها بدقة". (ينتج عن ذلك تحريك واضح، واقعي، ودقيق).

هذه الطريقة تجعل الشخصيات الرقمية تبدو أكثر واقعية وتسمح لنا بتعديل تعبيراتها ووضعياتها بدقة النحات ثلاثي الأبعاد، بدلاً من الرسام الأخرق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FG-Portrait: 3D Flow Guided Editable Portrait Animation".

1. تعريف المشكلة

يهدف تحريك الصور الشخصية (Portrait animation) إلى توليد صورة مستهدفة تحتفظ بهوية الصورة المصدر (source portrait) مع تبني وضعية الرأس وتعبيرات الوجه من الصورة المحركة (driving portrait).

التحدي الجوهري: غالبًا ما تفشل الطرق القائمة على النماذج التوليدية (diffusion-based) في إنشاء توافقات صريحة بين الصور المصدر والمحركة. فهي تعتمد عادةً في تكييف النموذج فقط على الحركة المحركة (مثل المعالم أو الصورة المحركة نفسها)، مما يؤدي إلى نقل حركة غير مثالي، خاصة في حالات تغير الوضعية الكبير أو الاختلافات الكبيرة في المظهر.
قصور النهج الحالية:
- التدفق القائم على التعلم (Learning-based Flow): الطرق التي تتنبأ بمجالات حركة كثيفة من صور ثنائية الأبعاد (2D) تعاني من مشكلة غير محددة جيدًا (غموض من 2D إلى 3D) وتتطلب مجموعات بيانات ضخمة، وغالبًا ما تفشل في التعميم عند حدوث تغييرات كبيرة في الوضعية.
- المقايضة بين الهوية والحركة: تعاني النماذج غالبًا في الموازنة بين الحفاظ على هوية المصدر ومحاكاة الحركة المحركة بدقة.

2. المنهجية

يقترح المؤلفون إطار عمل FG-Portrait، وهو إطار يدمج المقدمات الهندسية ثلاثية الأبعاد (3D geometric priors) في مسار تحريك يعتمد على النماذج التوليدية (diffusion-based). الابتكار الأساسي هو استخدام التدفق ثلاثي الأبعاد (3D Flows) كشرط للحركة.

أ. التدفق ثلاثي الأبعاد كتوافق للحركة

بدلاً من تعلم مجال حركة من بيانات ثنائية الأبعاد، تقوم الطريقة بحساب توافق الحركة مباشرة من نماذج الرأس ثلاثية الأبعاد البارامترية (FLAME).

تقدير النموذج: يتم تقدير معاملات FLAME (الشكل $\beta$ ، الوضعية $\theta$ ، التعبير $\psi$ ) لكل من الصورة المصدر ( $M_{src}$ ) والصورة المحركة ( $M_{dri}$ ).
تجميع الهدف: يتم بناء رأس مستهدف ثلاثي الأبعاد ( $M_{tgt}$ ) عن طريق دمج شكل المصدر ( $\beta_{src}$ ) مع وضعية وتعبير المحرك ( $\theta_{dri}, \psi_{dri}$ ).
حساب التدفق: لكل نقطة $p_{tgt}$ على الشبكة المستهدفة ثلاثية الأبعاد، يتم العثور على النقطة المقابلة $p_{src}$ على شبكة المصدر باستخدام البحث في المجال السطحي. التدفق ثلاثي الأبعاد ( $f_{src \leftarrow tgt}$ ) هو إزاحة المتجه: $p_{src} - p_{tgt}$ . يمثل هذا التدفق الحركة الهندسية المطلوبة لتعيين الحالة المستهدفة عائدة إلى حالة المصدر.

ب. ترميز التدفق ثلاثي الأبعاد وأخذ العينات الموجه بالعمق

لدمج هذه التدفقات ثلاثية الأبعاد في نموذج توليدي ثنائي الأبعاد (ControlNet)، يقترح المؤلفون استراتيجية ترميز محددة:

الإسقاط الخلفي (Back-projection): لكل بكسل في الصورة المستهدفة ثنائية الأبعاد، تقوم الطريقة بإسقاط شعاع خلفي في الفضاء ثلاثي الأبعاد.
أخذ العينات الموجه بالعمق: بدلاً من أخذ عينات منتظمة من النقاط على طول الشعاع (والتي غالبًا ما تخطئ السطح الفعلي)، تقوم الطريقة بأخذ عينات من النقاط القريبة من خريطة العمق (depth map) للرأس المستهدف. يضمن ذلك أن النقاط المأخوذة تتوافق مع السطح ثنائي الأبعاد الفعلي.
الترميز: يتم حساب التدفقات ثلاثية الأبعاد لهذه النقاط المأخوذة وتكديسها لتشكيل ترميز التدفق ثلاثي الأبعاد ( $F_{src \leftarrow tgt}$ )، والذي يعمل كمدخل شرط الحركة لـ ControlNet.

ج. التحريك القابل للتعديل

يدعم إطار العمل التعديل الأمامي (feed-forward editing) أثناء الاستنتاج. يمكن للمستخدمين تعديل معاملات الوضعية ( $\theta$ ) والتعبير ( $\psi$ ) لنموذج FLAME في الحركة المحركة. يقوم النظام بإعادة حساب الرأس المستهدف ثلاثي الأبعاد والتدفقات ثلاثية الأبعاد المقابلة، مما يسمح بالتحكم الدقيق في التحريك النهائي دون الحاجة لإعادة التدريب.

3. المساهمات الرئيسية

تدفق ثلاثي الأبعاد خالٍ من التعلم (Learning-Free 3D Flow): تقديم تدفقات ثلاثية الأبعاد مشتقة من نماذج رؤوس بارامترية كتوافق حركة مدرك للهندسة. يتجنب هذا الغموض التنبؤ من 2D إلى 3D ويضمن المتانة عبر مختلف الوضعيات والهويات.
ترميز التدفق ثلاثي الأبعاد مع أخذ العينات الموجه بالعمق: آلية مبتكرة للاستعلام عن التدفقات ثلاثية الأبعاد وترميزها للبكسلات ثنائية الأبعاد، مما يضمن محاذاة دقيقة بين الإزاحة الهندسية ثلاثية الأبعاد وحركة الصورة ثنائية الأبعاد.
التعديل المحدد من قبل المستخدم: القدرة على تعديل تعبيرات الوجه ووضعيات الرأس ديناميكيًا أثناء الاستنتاج من خلال التلاعب بمعاملات FLAME، مما يوفر مرونة أكبر من الطرق السابقة.
أداء يضاهي أحدث التقنيات (SOTA): أظهر أداءً فائقًا في كل من دقة الحركة (خطأ الوضعية/التعبير) والحفاظ على الهوية مقارنة بالطرق القائمة على النماذج التوليدية وGANs.

4. النتوات التجريبية

تم تقييم الطريقة على مجموعتي بيانات VFHQ (فيديو عالي الدقة) و FFHQ باستخدام إعدادين: إعادة التمثيل الذاتي (نفس الهوية) و إعادة التمثيل المتقاطع (هويات مختلفة).

المقاييس الكمية:
- دقة الحركة: حقق FG-Portrait أدنى متوسط مسافة الوضعية (APD) و متوسط مسافة التعبير (AED) في مهام إعادة التمثيل الذاتي والمتقاطع. على سبيل المثال، في إعادة التمثيل المتقاطع على VFHQ، حقق APD قدره 7.764 و AED قدره 0.652، متفوقًا على النماذج المرجعية مثل X-Portrait (APD 11.22) و Face-Adapter (APD 7.785).
- الحفاظ على الهوية: حافظ على درجات عالية من CSIM (تشابه جيب التمام)، محققًا توازنًا أفضل بين دقة الحركة والاحتفاظ بالهوية مقارنة بالمنافسين.
- جودة الصورة: حقق درجات تنافسية في LPIPS و FID.
النتائج النوعية:
- نجح النموذج في التعامل مع تغيرات الوضعية الكبيرة والخلفيات المعقدة حيث تفشل الطرق الأخرى (مثل إنتاج نتائج شديدة النعومة أو فقدان الهوية).
- يحافظ على الاتساق المكاني بين الموضوع والخلفية، على عكس الطرق التي تحرك فقط مناطق الرأس المجزأة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة أخذ العينات الموجه بالعمق إلى تدهور كبير في دقة الحركة (ارتفع APD من 2.68 إلى 9.65)، مما يثبت ضرورة أخذ العينات بالقرب من السطح ثلاثي الأبعاد الفعلي.
- تفوق استخدام التدفق ثلاثي الأبعاد كشرط بشكل كبير على استخدام معالم (landmarks) المحرك أو خرائط التدفق ثنائية الأبعاد المتوقعة.

5. الأهمية والأثر

الربط بين الهندسة ثلاثية الأبعاد والنماذج التوليدية: نجحت الورقة في إثبات كيفية دمج المقدمات الهندسية ثلاثية الأبعاد الصريحة بفعالية في النماذج التوليدية لحل "مشكلة التوافق" في تحريك الصور.
المتانة: من خلال الاعتماد على الهندسة بدلاً من مجالات الحركة ثنائية الأبعاد المتعلمة، تتعمم الطريقة بشكل أفضل على الهويات غير المرئية وتغيرات الوضعية القصوى.
القابلية للتحكم: القدرة على تعديل التعبيرات والوضعيات في وقت الاستنتاج تجعل الأداة عملية للغاية لتطبيقات إنتاج الأفلام، البشر الرقميين، وصناعة المحتوى المخصص.
القيود: أشار المؤلفون إلى أن التعبيرات الدقيقة قد تكون محدودة بدقة شبكة FLAME، مما يشير إلى عمل مستقبلي على نماذج رؤوس ثلاثية الأبعاد ذات دقة أعلى.

باختصار، يمثل FG-Portrait تقدمًا مهمًا في تحريك الصور الشخصية من خلال تحويل النموذج من تعلم مجالات الحركة ثنائية الأبعاد الغامضة إلى الاستفادة من التدفقات ثلاثية الأبعاد الدقيقة والموجهة هندسيًا، مما يؤدي إلى تحريك أكثر دقة وقابلية للتعديل والحفاظ على الهوية.