🤖 AI

Learning to Generate Conditional Tri-plane for 3D-aware Expression Controllable Portrait Animation

تقدم هذه الورقة Export3D، وهي طريقة لتحريك الصور الشخصية ثلاثية الأبعاد بلمحة واحدة (one-shot) تعتمد على الوعي ثلاثي الأبعاد، وتستخدم إطار تدريب مسبق تبايني ومولد ثلاثي المستويات (tri-plane generator) لتحقيق توليد صور قابل للتحكم في التعبيرات ومتغير من حيث زوايا الرؤية، مع القضاء بفعالية على عمليات تبديل المظهر غير المرغوب فيها أثناء نقل التعبيرات عبر الهويات المختلفة.

المؤلفون الأصليون: Taekyung Ki, Dongchan Min, Gyeongsu Chae

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Taekyung Ki, Dongchan Min, Gyeongsu Chae

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة ثابتة واحدة لصديق لك. الآن، تخيل أنك تريد جعل تلك الصورة تنبض بالحياة، تجعل صديقك يرمش، يبتسم، أو يتحدث، ولكنك تريد استخدام تعبيرات وجه شخص آخر (مثل ممثل سينمائي) كدليل.

هذا هو التحدي الذي تعالجه ورقة بحثية بعنوان Export3D. الأمر يشبه محاولة وضع روح جديدة في جسد قديم دون تغيير ملامح الجسد بالخطأ (مثل إعطاء صديقك أنف الممثل أو شكل عينيه).

إليك شرح بسيط لكيفية قيامهم بذلك، باستخدام تشبيهات من الحياة اليومية:

المشكلة: "النسخ واللصق السيئ"

كانت الطرق السابقة لتحريك الوجوه تشبه استخدام أداة "النسخ واللصق" في برامج تحرير الصور. كانت تحاول شد وتشويه الصورة المصدر لتتطابق مع حركة الشخص القائد للحركة.

المشكلة: عندما تقوم بشد الصورة كثيرًا، تصبح مشوشة أو غريبة. والأسوأ من ذلك، عندما تحاول نسخ تعبير من شخص مختلف، غالبًا ما ينسخ البرنامج ملامحه أيضًا. الأمر يشبه محاولة وضع ابتسامة على وجهك، لكن فجأة يتحول وجهك ليصبح وجه صديقك لأن البرنامج ارتبك بين "الابتسامة" وبين "من أنت".

الحل: "المخطط ثلاثي الأبعاد" (المستوى الثلاثي - Tri-Plane)

بدلاً من مجرد تشويه صورة ثنائية الأبعاد مسطحة، يقوم Export3D ببناء مخطط ذهني ثلاثي الأبعاد للوجه.

التشبيه: فكر في الصورة المسطحة كقطعة من الورق. يقوم Export3D بتحويل تلك الورقة إلى منحوتة طينية ثلاثية الأبعاد.
كيف يعمل: يستخدمون "المستوى الثلاثي" (Tri-plane)، وهو يشبه امتلاك ثلاث طبقات شفافة من الزجاج متراكمة معًا (مشاهد أمامية، جانبية، وعلوية). هذه الطبقات تحمل المعلومات ثلاثية الأبعاد للوجه. ولأن هذا نموذج ثلاثي الأبعاد، فإن الكمبيوتر يعرف تمامًا كيف يجب أن يبدو الوجه من أي زاوية، وليس من الأمام فقط.

السر الصغير: تنقية "إشارة التعبير"

العقبة الكبرى هي أن البيانات المستخدمة لوصف تعبيرات الوجه (المعروفة بمعاملات 3DMM) تكون فوضوية. إنها تشبه إشارة الراديو التي تحتوي على كل من الموسيقى (التعبير) وصوت المذيع (هوية الشخص) مختلطين معًا. إذا قمت بتشغيل الإشارة فحسب، فستحصل على صوت المذيع الخاطئ.

1. "سماعات إلغاء الضجيج" (التدريب التبايني المسبق - Contrastive Pre-training)
ابتكر المؤلفون طريقة تدريب خاصة تسمى CLeBS.

التشبيه: تخيل أن لديك قائمة تشغيل لمغني يغني أغاني مختلفة. أنت تريد تعليم الروبوت التعرف على اللحن فقط (التعبير) دون الاهتمام بصوت المغني (الهوية).
كيف يعمل: عرضوا على الذكاء الاصطناعي فيديوهات كثيرة لنفس الشخص وهو يصنع وجوهًا مختلفة. تعلم الذكاء الاصطناعي تجاهل الملامح الفريدة للشخص والتركيز فقط على الحركة. الأمر يشبه تدريب طباخ على تمييز طعم "الحرارة" بغض النظر عما إذا كان الطعام في وعاء أحمر أو أزرق. هذا ينتج إشارة تعبير "نقية" خالية من تلوث الهوية.

2. "جهاز التحكم الذكي" (EAdaLN)
بمجرد حصولنا على إشارة التعبير "النقية"، نحتاج إلى تطبيقها على الصورة المصدر.

التشبيه: بدلاً من محاولة إعادة بناء المنحوتة الطينية بالكامل من الصرض، نستخدم "جهاز تحكم عن بعد" يقوم بتعديل الطين الموجود بالفعل.
كيف يعمل: يستخدمون طبقة خاصة تسمى EAdaLN. فكر في هذا كقرص تحكم في لوحة مزج الأصوات. تأخذ إشارة التعبير "النقية" وتدور الأقراص لتعديل الوجه المصدر. هي تخبر المخطط ثلاثي الأبعاد: "حسنًا، حافظ على الأنف والعينين كما هما تمامًا، ولكن غير شكل الفم ليتناسب مع هذه الابتسامة".

النتيجة: رسوم متحركة سلسة

أخيرًا، يأخذ الكمبيوتر هذا المخطط ثلاثي الأبعاد المعدل ويقوم بـ "رندرة" (Rendering) أو معالجة العودة إلى فيديو ثنائي الأبعاد.

السحر: نظرًا لأن النظام يفهم المساحة ثلاثية الأبعاد، يمكنك تدوير الكاميرا، وسيبدو الوجه طبيعيًا من الجانب، أو الأعلى، أو الأسفل.
لا تبديل للهوية: نظرًا لأنهم قاموا بتنقية إشارة التعبير أولاً، سيظل صديقك يبدو مثل صديقك، حتى لو كان يقوم بتعبيرات وجه الممثل.

الملخص

Export3D يشبه محرك الدمى عالي التقنية.

يبني نموذجًا طينيًا ثلاثي الأبعاد لصورتك.
يستخدم سماعات إلغاء الضجيج لعزل الحركة "النقية" عن "الشخص" في الفيديو القائد.
يستخدم جهاز تحكم ذكي لتطبيق تلك الحركة على نموذجك الطيني دون تغيير ملامح النموذج.
النتيجة هي فيديو حيث تنبض صورتك بالحياة بتعبيرات جديدة، وتبدو طبيعية من أي زاوية، دون أن تتحول إلى شخص آخر.

إليك ملخص تقني مفصل لورقة البحث "Export3D: 3D-aware Expression Controllable Portrait Animation".

1. بيان المشكلة

تعالج الورقة تحدي تحريك الصور الشخصية ثلاثية الأبعاد بلمحة واحدة (one-shot 3D-aware portrait animation)، وتحديداً القدرة على تحريك صورة شخصية مصدرية باستخدام تعبيرات الوجه وزوايا الكاميرا من فيديو قيادي (driving video) مع الحفاظ على هوية المصدر.

وتشمل التحديات الرئيسية التي حددتها الطرق الحالية ما يلي:

التشابك بين المظهر والتعبير (Appearance-Expression Entanglement): في عمليات النقل عبر الهويات (تحريك الشخص "أ" بتعبيرات الشخص "ب")، غالباً ما تقوم الطرق الحالية بتبديل مظهر المصدر عن غير قصد (مثل تغيير شكل العين أو محيط الوجه) جنباً إلى جنب مع التعبير. ويعود ذلك إلى أن ملامح التعبير والهوية متشابكة للغاية في مساحة الصورة وتمثيلات الحركة القياسية.
قصور التشويه ثنائي الأبعاد (Limitations of 2D Warping): تعتمد معظم الطرق القائمة على 2D على تشويه الصور (warping) أو حقول الحركة، والتي تجد صعوبة في فصل حركة الرأس العالمية عن تعبيرات الوجه المحلية، مما يؤدي إلى عدم اتساق زمني أو ظهور عيوب (artifacts).
قصور النماذج ثلاثية الأبعاد (Limitations of 3D Deformation): تعاني الطرق ثلاثية الأبعاد الحالية (مثل استخدام NeRF أو حقول التشويه) غالباً من عيوب على مستوى الفيديو مثل الوميض (flickering)، أو تفشل في إعادة بناء هوية المصدر بأمانة عند استخدام الأكواد الكامنة (latent codes).
قصور نماذج 3DMM: على الرغم من أن نماذج الـ 3DMM توفر معاملات تعبير صريحة، إلا أن هذه المعاملات الخام هي بطبيعتها متشابكة مع معلومات الهوية/المظهر، مما يسبب "تبديل المظهر" عند نقلها مباشرة إلى شخص آخر.

2. المنهجية: Export3D

يقترح المؤلفون Export3D، وهو إطار عمل يولد تمثيلاً ثلاثي المستويات (tri-plane representation) مدركاً للبعد الثالث، مشروطاً بالصورة المصدرية ومعاملات التعبير القيادية. يتكون خط الإنتاج من ثلاثة مكونات رئيسية:

أ. مقياس الأساس المتعلم بالتباين (CLeBS)

لحل مشكلة التشابك بين المظهر والتعبير، قدم المؤلفون إطار عمل للتدريب المسبق لاستخراج تمثيلات تعبير خالية من المظهر.

التعلم التبايني (Contrastive Learning): قاموا بتدريب مشفر تعبير ( $f_e$ ) على مجموعات بيانات فيديو. يتم محاذاة الأزواج الإيجابية (أزواج صورة-تعبير من نفس الفيديو، أي نفس الهوية وتعبيرات مختلفة) مع الأزوات السالبة غير المحاذية. هذا يجبر المشفر على تعلم تمثيلات ثابتة تجاه الهوية (المظهر) ولكنها حساسة للتعبير.
البنية المتعامدة (LeBS): لاحظ المؤلفون أنه يمكن رسم خرائط لمعاملات 3DMM إلى أساس متعامد. لذا قدموا وحدة مقياس الأساس المتعلم (LeBS) التي تسقط معاملات 3DMM عالية الأبعاد ( $\beta \in \mathbb{R}^{64}$ $β \in R^{64}$ ) إلى فضاء منخفض الأبعاد ( $\lambda \in \mathbb{R}^n$ $λ \in R^{n}$ ) وتقوم بمقياس متجه أساس متعامد متعلم ( $V$ $V$ ).
- الصيغة: $\beta' = \sum \lambda_i \mathbf{v}_i$ ، حيث $\mathbf{v}_i$ هي متجهات الأساس المتعامدة.
- يضمن ذلك أن اتجاهات التعبير المختلفة متعامدة رياضياً، مما يمنع اختلاط سمات الهوية.

ب. مولد المستويات الثلاثية الهجين (Hybrid Tri-plane Generator)

بدلاً من التنبؤ بحقول التشويه (التي تسبب الوميض) أو تشويه الصور ثنائية الأبعاد، يقوم Export3D مباشرة بتوليد مستويات ثلاثية (Tri-plane) ( $T$ ) تمثل الأولوية ثلاثية الأبعاد للهوية المصدرية مع التعبير القيادي.

البنية (Architecture): يجمع المولد بين محول الرؤية (Vision Transformer - ViT) وطبقات تلافيفية (Convolutional layers).
تطبيع الطبقة التكيفي للتعبير (EAdaLN): هذه هي الآلية الجوهرية لحقن التعبير. بدلاً من استخدام الانتباه المتقاطع (cross-attention)، يقوم متجه التعبير المنقح $\beta'$ $β^{'}$ (من CLeBS) بتعديل التوكنات البصرية عبر تطبيع الطبقة التكيفي (adaptive layer normalization) مباشرة قبل كتل الـ MSA و Mix-FFN.
- الصيغة: $\text{EAdaLN}(x, \beta') = \sigma(\beta') \cdot \text{LN}(x) + \mu(\beta')$ .
العملية: يتم تحويل الصورة المصدرية إلى توكنات بصرية، وتتم معالجتها عبر كتل EAdaLN-ViT المشروطة بـ $\beta'$ ، ثم يتم رفع دقتها لتوليد المستويات الثلاثية $T_{\beta_D}(S)$ .

ج. رندرة الحجم والرفع الفائق للدقة (Volume Rendering and Super-Resolution)

الرندرة (Rendering): يتم رندرة المستويات الثلاثية المولدة إلى صورة RGB ثنائية الأبعاد باستخدام رندرة حجم قابلة للاشتقاق (بأسلوب NeRF) بناءً على معاملات الكاميرا القيادية ( $p_D$ ). يضمن هذا الاتساق ثلاثي الأبعاد عبر المشاهد المختلفة.
الرفع الفائق للدقة (Super-Resolution): للتعامل مع التكاليف الحسابية، يقوم النموذج أولاً برندرة صورة منخفضة الدقة ( $H/4 \times W/4$ ) ثم يطبق وحدة رفع دقة فائقة (باستخدام كتل تلافيفية بدلاً من تعديل النمط) للوصول إلى الدقة المستهدفة.

3. المساهمات الرئيسية

إطار عمل Export3D: طريقة لتحريك الصور الشخصية ثلاثية الأبعاد بلمحة واحدة، تتحكم صراحة في تعبير الوجه وزاوية الكاميرا دون الحاجة إلى بيانات تدريب مزدوجة أو تحسين معقد.
CLeBS (مقياس الأساس المتعلم بالتباين): إطار عمل تدريب مسبق مبتكر يستخلص تمثيلات تعبير خالية من المظهر من معاملات 3DMM باستخدام التعلم التبايني وبنية الأساس المتعامد. وهذا يقضي بفعالية على مشكلة "تبديل المظهر" في النقل عبر الهويات.
آلية EAdaLN: طريقة لشرط التعبير باستخدام تطبيع الطبقة التكيفي داخل مولد يعتمد على ViT، والتي تتفوق على الانتباه المتقاطع القياسي في الحفاظ على الهوية أثناء نقل التعبيرات.
التوليد المباشر للمستويات الثلاثية: على عكس الطرق التي تشوه التمثيلات ثلاثية الأبعاد الموجودة، يقوم هذا الأسلوب بتوليد الأولوية ثلاثية الأبعاد (tri-plane) مباشرة المشروطة بالتعبير، مما يتجنب العيوب الناتجة عن التشويه مثل الوميض.

4. النتائج التجريبية

تم تقييم النموذج على مجموعات بيانات VFHQ و TalkingHead-1KH، ومقارنته بأحدث الطرق ثنائية الأبعاد (DPE, StyleHEAT) وثلاثية الأبعاد (HiDe-NeRF, OTAvatar, ROME).

الأداء الكمي:
- النقل عبر الهويات (Cross-Identity Transfer): حقق Export3D أفضل درجات CSIM (الحفاظ على الهوية) و AED (مسافة التعبير) مقارنة بالمنافسين. على سبيل المثال، في VFHQ عبر الهويات، حقق CSIM قدره 0.694 و AED قدره 0.ت08، متفوقاً على HiDe-NeRF (CSIM 0.707 ولكن AED أعلى 0.255) و DPE (CSIM 0.586).
- النقل ضمن نفس الهوية (Same-Identity Transfer): حقق أعلى PSNR (23.555) وأقل AKD (3.453)، مما يشير إلى دقة هيكلية فائقة.
التحليل النوعي:
- تبديل المظهر: تظهر النتائج البصرية أنه بينما تقوم المنافسة مثل DPE و HiDe-NeRF غالباً بتغيير شكل عين المصدر أو محيط وجهه عند نقل التعبيرات، فإن Export3D يحافظ على هوية المصدر بشكل مثالي.
- العيوب: ينتج الأسلوب فيديوهات بدون الوميض أو عدم الاتساق الزمني الذي تظهره الطرق القائمة على حقول التشويه.
- دراسات الاستئصال (Ablation Studies): أدى إزالة CLeBS (استخدام معاملات 3DMM الخام) إلى تغييرات كبيرة في المظهر. كما أدى استبدال EAdaLN بالانتباه المتقاطع (Cross-Attention) إلى تراجع دقة التحكم في التعبير.

5. الأهمية والأثر

حل مشكلة التشابك: تقدم الورقة مساهمة نظرية وعملية هامة من خلال إثبات إمكانية فصل معاملات تعبير 3DMM عن الهوية باستخدام التعلم التبايني ومقياس الأساس المتعامد. وهذه خطوة حاسمة للتحريك الموثوق عبر الهويات.
تحريك ثلاثي الأبعاد قوي: من خلال الابتعاد عن التشويه ثنائي الأبعاد وحقول التشويه النقطية نحو التوليد المباشر للمستويات الثلاثية، يحقق الأسلوب استقراراً زمنياً واتساقاً ثلاثي الأبعاد أعلى.
التطبيقات: هذه التكنولوجيا ذات صلة وثيقة بالصور الرمزية الافتراضية (virtual avatars)، ومؤتمرات الفيديو، ودبلجة الأفلام، حيث يعد الحفاظ على هوية المستخدم مع تبني تعبيرات طبيعية من المحرك أمراً بالغ الأهمية.
القيود: يقر المؤلفون بأن الطريقة لا تستطيع حالياً فصل المقدمة عن الخلفية (رندرتهما ككتلة واحدة) ولا يمكنها التحكم في أجزاء الجسم غير الوجهية أو نظرة العين، حيث أن هذه خارج نطاق معاملات 3DMM القياسية.

باخت-صار، يمثل Export3D نهجاً رائداً لتحريك الصور الشخصية من خلال فك الارتباط بين التعبير والهوية بفعالية عبر التدريب المسبق التبايني، والاستفادة من مولد هجين (ViT-Conv) لإنتاج توليد عالي الدقة ومتسق ثلاثي الأبعاد.