ملخص تقني: Loki – التمثيل فوق البنية الهيكلية للتحريك التوليدي للصور الشخصية القائم على الانتشار

بيان المشكلة

يهدف تحريك الصور الشخصية إلى نقل تعبيرات الوجه ووضعية الرأس من مقطع فيديو محرك (driver) إلى صورة مرجعية واحدة مع الحفاظ على هوية المرجع. ويكمن التحدي العملي في إعادة التمثيل عبر الهويات المختلفة (cross-identity reenactment)، حيث يكون المحرك والمرجع شخصين مختلفين.

تعالج الأنظمة الحالية القائمة على الانتشار (diffusion) هذه المشكلة عن طريق تكدیس وحدات منفصلة ومدربة للهوية، والتعبير، والوضعية. وتعتمد هذه الأنظمة عادةً على إشارات RGB (أو الصوت) كشرط للمدخلات. وتجادل الورقة بأن نظام RGB يدمج الهوية والوضعية والتعبير بشكل جوهري عند كل بكسل؛ وبالتالي، فإن الفصل الذي تقوم به هذه الوحدات المتراكمة هو فصل إحصائي وليس هيكلياً، مما يؤدي إلى مشكلات مثل تسرب هوية المحرك إلى المخرج، وتضاؤل تفاصيل التعبير الدقيقة نحو نموذج مسبق عام. علاوة على ذلك، تتطلب هذه البنى المعقدة مجموعات بيانات تدريب ضخمة وأعداداً هائلة من المعلمات (parameters).

المنهجية: Loki

يقترح Loki تحولاً في النموذج من التعقيد البنيوي إلى اختيار التمثيل. فبدلاً من تعلم فصل الميزات عن RGB، يقوم Loki بتكييف نموذج الانتشار الأساسي (backbone) بناءً على نموذج وجه بارامتري (FLAME) تتميز محاوره الخاصة بالهوية والتعبير والوضعية بالاستقلالية من حيث التصميم.

1. مسار المحرك (التعبير والوضعية)

يقوم Loki بتحويل بارامترات FLAME إلى خريطة محرك مكانية (driver map) تعمل كإشارة شرطية للتعبير ووضعية الرأس. تتكون هذه الخريطة من مجموعتين متمايزتين من القنوات:

• الترميز الموضعي (42 قناة): يقوم بترميز إحداثيات الفضاء المرجعي لقمم (vertices) مش (mesh) FLAME باستخدام ترميز موضعي جيبي. هذا يحدد أي نقطة في الوجه هي المرئية عند كل بكسل. ومن الأهمية بمكان أن هذه القيم مشتقة من الفضاء المرجعي، لذا فهي ثابتة بالنسبة للهوية؛ أي أن نفس النقطة التشريحية (مثل طرف الأنف) تنتج دائماً نفس الترميز بغض النظر عن هوية الشخص.
• تشوه التعبير (3 قنوات): يقوم بترميز متجهات الإزاحة ثلاثية الأبعاد ($\Delta x, \Delta y, \Delta z$) لقمم المش بالنسبة لتعبير محايد. هذا يلتقط كيف تحرك الوجه (مثل تمدد زوايا الشفاه أو سقوط الفك). وبما أن أساس التعبير في FLAME متعامد مع أساس الهوية، فإن هذه التشوهات تعتمد فقط على معاملات التعبير، وليس الهوية أو الوضعية.

يتم تصغير حجم خريطة المحرك هذه بواسطة مشفر خفيف الوزن وحقنها في شبكة UNet المولدة. ولأن الخريطة لا تحتوي على معلومات الهوية من حيث التصميم، فإن النموذج لا يحتاج إلى تعلم فصل الهوية عن التعبير.

2. مسار الهوية

يتم توجيه الهوية بشكل منفصل عبر الميزات المدربة مسبقاً لنموذج الانتشار الأساسي. حيث تقوم نسخة مجمدة من نموذج Stable Diffusion 2.1 UNet بمعالجة الصورة المرجعية، ويتم حقن ميزات الانتباه الذاتي (self-attention) الخاصة بها في شبكة UNet المولدة عبر حقن المفتاح والقيمة (key-value injection). يستفيد هذا من النموذج المسبق التوليدي الموجود للحفاظ على الهوية دون الحاجة إلى محول هوية مخصص ومدرب أو دالة خسارة خاصة.

3. الاستدلال عبر الهويات المختلفة عبر الاستبدال البارامتري

الآلية الجوهرية التي تمكن إعادة التمثيل عبر الهويات المختلفة دون الحاجة لبيانات تدريب محددة هي الاستبدال البارامتري. أثناء الاستدلال، يبني النظام خريطة محرك باستخدام:

• شكل هوية المرجع ($\vec{\beta}_{ref}$) والكاميرا.
• تعبير المحرك ($\vec{\psi}_{drv}$) ووضعيته ($\vec{\theta}_{drv}$).

بما أن قنوات الترميز الموضعي ثابتة بالنسبة للهوية، وقنوات التشوه تعتمد فقط على التعبير، فإن خريطة المحرك الناتجة تكون متطابقة هيكلياً مع ما رآه النموذج أثناء التدريب لنفس الهوية، ولكنها موزعة فقط على هندسة وجه مختلفة. تقوم شبكة UNet المولدة بنفس عملية التمرير الأمامي التي تدربت عليها، مما يؤدي فعلياً إلى نقل حركة المحرك إلى شكل المرجع.

المساهمات الرئيسية

1. الاشتراط البارامتري المنفصل: إطار عمل يلغي الحاجة إلى وحدات مدربة منفصلة للتعبير والوضعية والهوية. من خلال استخدام تمثيل FLAME المسرطن (rasterized)، يتم تقديم التعبير والوضعية عبر إشارة مكانية واحدة، بينما يتم التعامل مع الهوية بواسطة النموذج المسبق الأساسي. هذا يقلل من معلمات الاستدلال بنسبة ~43% مقارنة بالنماذج المرجعية الرائدة في مجال الانتشار.
2. كفاءة التدريب: يتم تدريب النموذج على 1,496 ضعف أقل من بيانات الفيديو (حوالي 1.7 ساعة مقابل آلاف الساعات للنماذج المرجعية) ويحقق قدرات عبر الهويات المختلفة من خلال الاستبدال البارامتري فقط، دون الحاجة إلى أزواج تدريب للهويات المختلفة.
3. مقاييس تقييم جديدة: تقدم الورقة مقييزين مستندين إلى نموذج الوجه البارامتري لقياس الدقة مباشرة، لمعالجة الفجوة في المقاييس الحالية التي تفشل في قياس تتبع الحركة:
   • تتبع وضعية الرأس (HPF): يقيس المسافة الزاوية الجيوديسية بين مسارات دوران الرأس للمحرك والمخرج.
   • تتبع التعبير (HEF): يقيس الفرق في خرائط تشوه التعبير لكل بكسل عند استبدال تعبير المحرك في وضعية وشكل الهدف.

النتائج

تم التقييم على مجموعة بيانات HDTF لإعادة التمثيل عبر الهويات المختلفة:

• دقة الحركة: يتصدر Loki أو يشارك في الصدارة في مقاييس HPF و HEF المقترحة. وقد حقق HEF قدره 0.0828 (الأقل هو الأفضل)، متفوقاً على النماذج الموجهة بصرياً مثل HunyuanPortrait (0.0850)، ومتفوقاً بشكل كبير على الطرق الموجهة صوتياً (0.11–0.12).
• الأداء النوعي: يعيد Loki إنتاج دورات الرأس الكبيرة، وفتحات الفم الواسعة، والتعبيرات غير المتماثلة بدقة أعلى من النماذج المرجعية، والتي تميل إلى تقليل دوران الرأس أو تضاؤل سعة التعبير نحو نموذج مسبق متوسط.
• كفاءة الموارد: يتم تدريب Loki على 10,649 مقطعاً (حوالي 1.7 ساعة) بـ 1.77 مليار معلمة، بينما يتم تدريب النماذج المرجعية الرائدة على أكثر من 166,000 مقطع (يصل إلى 2,543 ساعة) بـ 2.18B–3.11B معلمة.
• دراسات الاستئصال (Ablation Studies): أدى إزالة عملية التسرطن (باستخدام المتجهات الخام) أو إزالة قنوات الترميز الموضعي إلى تدهور كبير في الأداء عبر الهويات المختلفة، مما يؤكد أن التحيز الاستقرائي المكاني ونظام الإحداثيات الثابت بالنسبة للهوية أمران حاسمان.

الأهمية والقيود

تدعي الورقة أن التعقيد البنيوي لأنظمة تحريك الصور الشخصية الحديثة يمكن استبداله باختيار تمثيلي: وهو الاشتراط بناءً على نموذج بارامتري ذي محاور مستقلة. هذا النهج يسمح بإعادة التمثيل عبر الهويات المختلفة بالظهور بشكل طبيعي كعملية استبدال للمعاملات بدلاً من كونها قدرة متعلمة.

ومع ذلك، فإن المؤلفين يتسمون بالتواضع فيما يتعلق بحدود النظام:

• الاعتماد على FLAME: يرتبط الأداء بدقة ملاءمة نموذج FLave الأساسي. فالتعبيرات التي تقع خارج أساس النموذج، أو الوجوه المحجوبة، أو حالات فشل الملاءمة، تنتقل مباشرة إلى خريطة المحرك.
• مقاييس البكسل: يحصل النظام على ترتيب أدنى في مقاييس البكسل التقليدية (PSNR, SSIM, LPIPS) مقارنة بالنماذج المرجعية المشروطة بـ RGB. ويعزو المؤلفون ذلك إلى حقيقة أن مقاييس البكسل تكافئ الأنظمة التي تحافظ على تأطير الحقيقة الأرضية (ground-truth)، بينما يؤدي اتباع المحرك بدقة في Loki إلى إدخال تغييرات في الوضعية والتعبير تعاقبها مقاييس البكسل.
• العمل المستقبلي: تم تحديد سد الفجوة في مقاييس البكسل دون إعادة إدخال تداخل الهوية كاتجاه للبحث المستقبلي.