Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation
تقدم هذه الورقة إطار عمل ثنائي المسار معززاً باستراتيجية موازنة ديناميكية (DBS) لحل المقايضة بين دقة ملامح الوجه واتساق المظهر العام في توليد صور الأشخاص المخصصة، إلى جانب إصدار معيار Pexels-100 للتقييم الشامل للهوية.
تخيل أنك مخرج في استوديو سينمائي، ولكن بدلاً من توظيف الممثلين، لديك كاميرا سحرية يمكنها استحضار أي شخصية تصفها. أنت تريد بطلاً يشبه تماماً صديقك المفضل — بنفس الابتسامة، ونفس العينين، ونفس الأنف الغريب المميز — ولكنه يرتدي بدلة فضاء على كوكب المريخ، أو ربما يمتطي تنيناً في غابة من العصور الوسطى. هذا هو حلم "توليد الصور المخصصة". لفترة طويلة، كان على فناني الذكاء الاصطعي الاختيار بين خيارين محبطين: إما جعل الشخصية تشبه وجه صديقك تماماً، ولكن مع نسيان ما كان يرتديه أو كيف كان شكل جسده؛ أو إلباسه الزي المثالي والوضعية المثالية، ولكن ينتهي الأمر بوجه شخص غريب. كان الأمر أشبه بمحاولة خبز كعكة حيث يمكنك الحصول على الكريمة مثالية أو الإسفنجة مثالية، ولكن ليس كليهما في نفس الوقت. تغوص هذه الورقة البحثية في هذا الركن المحدد من الذكاء الاصطناعي، وتتصدى للمشكلة المعقدة المتمثلة في الحفاظ على "الذات الكاملة" للشخص بشكل متسق — وجهه وأيضاً ملابسه وهويته البصرية بالكامل — عندما يُطلب من الذكاء الاصطناعي وضعه في مواقف جديدة.
قرر الباحثون وراء هذه الدراسة، بقيادة يوكسوان شياو وزملائه، التوقف عن اختيار جانب واحد. بدأوا ببناء نظام "المسار المزدوج الساذج" (Naive Dual-Branch)، وهو في الأساس طريق سريع ذو مسارين. يركز أحد المسارين على الصورة الكبيرة (الملابس، شكل الجسم، تسريحة الشعر)، بينما يركز المسار الآخر على التفاصيل الدقيقة للوجه. وجدوا أنه بينما كان هذا النهج ذو المسارين بداية جيدة، إلا أنه كان فوضوياً بعض الشيء. كان "مسار الوجه" يقود بسرعة كبيرة ويستولي على السيارة بأكملها، بينما كان "مسار المظهر" يضيع في المرآة الخلفية. النتيجة؟ وجوه رائعة، لكن الملابس كانت تتحول أحياناً إلى شيء غريب، أو يتغير شكل الجسم ليصبح مضغوطاً.
ولإصلاح هذا الازدحام المروري، اخترع الفريق نظام تحكم مروري ذكي يسمى "توسيع التوازن الديناميكي" (Dynamic Balancing Scaling - DBS). فكر في الأمر كقائد أوركسترا ذكي. يستخدم القائد خدعتين رئيسيتين. أولاً، يستخدم "البوابة الزمنية التكيفية" (Adaptive Temporal Gating)، وهي تشبه مفتاح تعتيم يغير مستوى صوت عازفي الوجه والجسم في لحظات مختلفة من الأغنية. في بداية العملية، قد يسمح القائد للوجه بأن يعزف لحناً ثابتاً وموثوقاً لتحديد الهوية، ولكن مع تقدم الأغنية، يرفع مستوى صوت الجسم والملابس بلطف حتى لا يتم طغيانهم. ثانياً، قدموا "التحسين المدرك للمنطقة" (Region-Aware Optimization). تخيل أن الذكاء الاصطناعي يرسم لوحة، وهو عادة يرسم اللوحة بأكملها بضغط فرشاة متساوٍ. هذه الخدعة الجديدة تخبر الذكاء الاصطناعي: "مهلاً، كن دقيقاً للغاية وحذراً عند رسم الوجه، ولكن لا تنسَ منح الملابس والخلفية نفس القدر من الاهتمام". هذا يضمن أن الذكاء الاصطناعي لا يبالغ في التركيز على العينين ويتجاهل القميص.
اختبر الفريق طريقتهم الجديدة على مقياس مخصص أنشأوه يسمى "Pexels-100"، والذي يتميز بـ 100 صورة كاملة الجسم لمعرفة مدى قدرة الذكاء الاصطناعي على الحفاظ على هوية الشخص عبر مشاهد مختلفة. كانت النتائج واعدة. نجحت طريقتهم في تحقيق توازن أفضل بكثير من الأدوات مفتوحة المصدر الأخرى، حيث حافظت على التعرف على الوجه مع التأكد أيضاً من أن الملابس والجسم يبدوان صحيحين. في الواقع، كان أداؤهم جيداً لدرجة أنها نافست بعض الأنظمة التجارية المغلقة والمكلفة. ومع ذلك، يلاحظ المؤلفون بحذر أن هذا ليس عصا سحرية لكل المشكلات بعد. إذا طلبت من الذكاء الاصطناعي رسم شخص يقوم بشقلبة جمبازية معقدة أو يظهر حركات يد دقيقة، فقد تظل الصورة مهتزة أو مشوهة قليلاً، لأن نموذج الذكاء الاصطناعي الأساسي لا يزال يعاني مع تلك الهياكل الفيزيائية الصعبة. ولكن بالنسبة لمعظم السيناريوهات اليومية، يساعد هذا "القائد" الجديد الذكاء الاصطناعي أخيراً على الغناء في تناغم، مما يحافظ على مظهر الشخص بالكامل وكأنه هو نفسه، وليس مجرد وجهه.
ملخص تقني: ما وراء اتساق الوجه: توليد صور الأشخاص المخصصة مع الحفاظ الشامل على الهوية
بيان المشكلة يهدف توليد صور الأشخاص المخصصة إلى تخليق صور تطابق هوية المستخدم بناءً على صورة مرجعية ومطالبات نصية. تواجه الطرق الحالية مقايضة جوهرية: فهي عادةً ما تركز إما على اتساق الموضوع (الحفاظ على المظهر العام، والملابس، وشكل الجسم) أو اتساق الوجه (الحفاظ على بنية الوجه وتفاصيله المحلية)، ولكن نادراً ما تحقق كليهما في آن واحد. تعاني النهج القائمة غالباً من عدم الاستقرار عند محاولة الجمع بينهما، مما يؤدي إلى سيناريوهات يتم فيها الحفاظ على الهوية الوجهية على حساب المظهر العام، أو العكس. ينشأ هذا الخلل بسبب تمثيلات المساحات غير المتجانسة وآليات الحقن المختلفة للفروع الهوياتية، مما يسبب تفاعلات غير منسقة وهيمنة مستمرة لفرع الوجه خلال عملية إزالة الضجيج (denoising).
المنهجية يقترح المؤلفون إطار عمل موحداً مبنياً على نموذج المحول الانتشار (diffusion transformer) FLUX.1-dev، حيث يقدمون نموذجاً أساسياً يُسمى الفرع المزدوج الساذج (NDB) ويقومون بتحسينه باستخدام استراتيجية ضبط دقيق تُسمى تدرج التوازن الديناميكي (DBS).
الأساس المكون من فرعين مزدوجين ساذجين (NDB): يجمع إطار العمل مسارين شرطيين متميزين:
فرع المظهر: يعتمد على InstantCharacter [23]، ويقوم هذا الفرع بالتقاط سمات الهوية العالمية (تسريحة الشعر، تناسب الجسم، الملابس) باستخدام ميزات DINOv2 وSigLIP المدمجة والمحقونة عبر Q-Former عبر آلية الانتباه المتقاطع (cross-attention).
فرع الوجه: يعتمد على InfiniteYou [10]، ويركز هذا الفرع على الهندسة الدقيقة للوجه والنسيج باستخدام مشفر وجه مدرب مسبقاً، ويتم حقنه عبر مسار متبقي بأسلوب ControlNet. بينما تعطي هذه التوليفة نتائج واعدة، إلا أنها تظهر عدم استقرار حيث يهيمن فرع الوجه على عملية التوليد، مما يؤدي إلى مظهر غير متسق.
تدرج التوازن الديناميكي (DBS): لتنسيق الفرعين والتخفيف من هيمنة فرع الوجه، يقدم DBS مكونين متكاملين:
البوابة الزمنية التكيفية (ATG): آلية مدركة للوقت تعمل على تعديل قوة مساهمة فرعي المظهر والوجه ديناميكياً طوال مسار إزالة الضجيج. يعمل فرع الوجه كمرساة مرجعية مستقرة، بينما يتم تخفيف مساهمة فرع المظهر تدريجياً بالنسبة لهذه المرساة. وهذا يمنع التحسين غير المستقر في مراحل التدريب المبكرة ويضمن توجيهاً متوازناً عبر الخطوات الزمنية المختلفة.
التحسين المدرك للمناطق (RAO): دالة خسارة مصممة لمعالجة عدم التوازن المكاني. نظرًا لأن المناطق الوجهية صغيرة ومناطق المظهر كبيرة، فإن خطأ متوسط المربعات (MSE) العالمي القياسي يوفر إشرافاً موحداً يفشل في تحسين مناطق محددة بفعالية. يقوم RAO بتفكيك خطأ إزالة الضجيج إلى ثلاثة أهداف إقليمية: الوجه (Lf)، والمظهر (La)، والعالمي (Lg). وهو يستخدم تجميعاً بأسلوب باريتو (Pareto-style) موجهاً بالمرجع، حيث يتم تفعيل خسائر الوجه والمظهر فقط عندما لا تؤدي أداءها مقارنة بمرجع المتوسط المتحرك الأسي (EMA)، بينما تظل الخسارة العالمية هدفاً خلفياً مستمراً. هذا يحمي سمات الهوية الخاصة بالمناطق دون السما permitir لفرع واحد بالهيمنة على مسار التحسين.
المساهمات الرئيسية
منهج الفرع المزدوج الساذج (NDB): اقتراح النمذجة الصريحة لميزات المظهر والوجه المحلية بشكل منفصل ضمن إطار توليد مشترك لمعالجة الاتساق الشامل للهوية.
تدرج التوازن الديناميكي (DBS): استراتيجية ضبط دقيق تتكون من البوابة الزمنية التكيفية والتحسين المدرك للمناطق. تخفف هذه الاستراتيجية من ضعف الحفاظ على الاتساق الشامل الناتج عن هيمنة الإشارة القوية في نموذج NDB الأساسي، مما يحقق توازناً أفضل بين دقة الوجه واتساق المظهر.
معيار Pexels-100: بناء أول معيار اختبار مخصص لتقييم الاتساق الشامل للهوية في توليد صور الأشخاص المخصصة، باستخدام صور كاملة الجسم ومطالبات نصية لتقييم الأداء عبر أبعاد الوجه والمظهر.
النتائج التجريبية تم تقييم الطريقة على معيار Pexels-100 باستخدام مقاييس تشمل تشابه الوجه (ArcFace)، وإعادة التعرف على الأشخاص (ReID)، ودرجة DINOv2، وCLIP-T.
الأداء الكمي: يتفوق المنهج المقترح على النماذج الأساسية مفتوحة المصدر (مثل InstantCharacter، وInfiniteYou، وUNO، وKontext) في الاتساق الشامل للهوية. وتحديداً، يحقق درجة وجه تبلغ 0.7875 ودرجة DINOv2 تبلغ 0.3202، متجاوزاً معظم النماذج مفتوحة المصدر ومنافساً للأنظمة التجارية مغلقة المصدر (مثل GPT-Image-2).
الأداء النوعي: تظهر المقارنات البصرية أنه بينما تتفوق بعض الطرق إما في تشابه الوجه أو اتساق الملابس، فإن الطريقة المقترحة تحافظ على توازن أكثر ملاءمة، حيث تحافظ على الهوية الوجهية وتماسك المظهر العام عبر سيناريوهات متنوعة.
دراسات الاستئصال (Ablation Studies): تؤكد التجارب أن كلاً من ATG وRAO يساهمان في تحسين الأداء. يحقق نموذج DBS الكامل أفضل اتساق شامل، مما يثبت أن المكونات متكاملة وليست زائدة عن الحاجة.
الأهمية والادعاءات يدعي البحث تقديم إطار عمل أساسي قابل للتحكم لنمذجة الهوية الشاملة. ومن خلال معالجة المقايضة المتأصلة بين دقة الوجه واتساق المظهر، يقدم المنهج المقترح نهجاً أكثر استقراراً وقابلية للتفسير لتوليد الأشخاص المخصصين مقارنة بالحلول مفتوحة المصدر الحالية. يؤكد المؤلفون أن نهجهم لا يهدف إلى تعظيم تشابه الوجه بمعزل عن غيره، بل يهدف إلى تحسين تماسك التمثيل الهوياتي بأكمله. وبينما يعتمد الأسلوب على التعديل القائم على البوابات (gating) دون تغيير تعلم الميزات الأساسي للنموذج (مما يحد من أدائه في الوضعيات المعقدة أو الهياكل الدقيقة مثل اليدين)، فإنه يشكل خطوة هامة نحو توحيد قيود الهوية العالمية والمحلية في نماذج التوليد الانتشارية.