ملخص تقني: DiLAST – إطلاق العنان للأسلوب القابل للتعميم باستخدام الانتشار ثنائي الأبعاد (2D Diffusion)

بيان المشكلة

أدى التقدم السريع في نماذج التوليد ثلاثية الأبعاد (مثل Trellis، وUniLat، وHunyuan3D) إلى تمكين تخليق أصول ثلاثية الأبعاد عالية الدقة من النصوص أو الصور. ومع ذلك، لا يزال هناك قصور حرج في نقل الأسلوب ثلاثي الأبعاد (3D style transfer): تعتمد الطرق الحالية عادةً على القدرات الجوهرية لنماذج التوليد ثلاثية الأبعاد الأساسية. وغالباً ما يتم تدريب هذه النماذج على توزيعات محددة، مما يؤدي إلى تدهور أدائها بشكل كبير أو فشلها تماماً عند مواجهة صور ذات أساليب خارج نطاق التوزيع (OOD). وتكافح النهج الحالية، مثل StyleSculptor وMorphAny3D، للتعميم على الأساليب التعسفية لأنها تعتمد على آليات انتباه داخلية ليست قوية بما يكفي تجاه تحولات التوزيع. وهذا يحد من قابليتها للتطبيق في السيناريوهات الواقعية حيث يختار المستخدمون صور الأسلوب بطريقة غير مقيدة.

المنهجية: DiLAST

لمعالجة ذلك، يقترح المؤلفون DiLAST (الاستيقاظ الكامن للانتشار ثنائي الأبعاد لنقل الأسلوب ثلاثي الأبعاد)، وهو إطار عمل للتحسين في وقت الاختبار (test-time optimization). بدلاً من إعادة تدريب المولد ثلاثي الأبعاد أو تعديل بنيته، يستفيد DiLAST من نموذج انتشار كامن ثنائي الأبعاد (2D LDM) مدرب مسبقاً كـ "معلم" لتوجيه مسار إزالة الضجيج (denoising) للكمونات ثلاثية الأبعاد المهيكلة.

الآلية الجوهرية

1. البنية وفك التشفير: تستخدم الطريقة تمثيلاً كامناً ثلاثي الأبعاد مهيكلاً (على سبيل المثال، من Trellis) والذي يتم فك تشفيره إلى تنسيق ثلاثي الأبعاد، وتحديداً النقاط الغاوسية ثلاثية الأبعاد (3D Gaussian Splatting)، لتمكين الرندرة التفاضلية متعددة الزوايا.
2. التحسين ثلاثي الفروع: يعمل إطار العمل ضمن نموذج انتشار ثنائي الأبعاد (2D LDM) مدرب مسبقاً (مثل Stable Diffusion) باستخدام ثلاثة فروع متوازية:
   • فرع المحتوى (Content Branch): يأخذ المناظر المصدرة للأصل ثلاثي الأبعاد المتولد من صورة المحتوى.
   • فرع الأسلوب (Style Branch): يأخذ صورة أسلوب الـ OOD المستهدفة مباشرة.
   • فرع التحسين (Optimization Branch): يأخذ المناظر المصدرة للأصل ثلاثي الأبعاد الذي يتم تحسينه. ومن الأهمية بمكان أن هذا الفرع يحافظ على البنية المتفرقة من مرحلة التوليد الأولى، ولكنه يستخدم نسخة رمادية من صورة المحتوى كشرط لمنع الانحراف الهيكلي أثناء تعلم الأسلوب.
3. تقطير الانتباه (Attention Distillation): الابتكار الجوهري هو نقل توجيه الأسلوب عبر تقطير الانتباه. تقوم الطريقة بحساب الفرق بين خرائط الانتباه الذاتي لفرع التحسين وخرائط الانتباه المتقاطع لفرع الأسلوب. ومن خلال تقليل هذا الفرق، يتم توجيه فرع التحسين لتبني أنماط الانتباه (وبالتالي الأسلوب) الخاصة بفرع الأسلوب، بينما يضمن فرع المحتوى الدقة الهيكلية.
4. توجيه التدرج (Gradient Steering): يتم حساب تدرجات إجمالي الخسارة بالنسبة للكمون ثلاثي الأبعاد واستخدامها لتوجيه مسار إزالة الضجيج في فضاء الكمون ثلاثي الأبعاد. تظل معلمات محول التدفق (flow transformer) للمولد ثلاثي الأبعاد مجمدة، ويتم فقط ضبط مسار الكمون.

دالات الخسارة

يتكون هدف التحسين الإجمالي ($L_{total}$) من أربعة مكونات:

• خسارة تقطير الانتباه ($L_{AD}$): توائم انتباه فرع التحسين مع فرع الأسلوب لنقل الأسلوب المستهدف.
• خسارة المحتوى ($L_C$): تضمن مطابقة ميزات الاستعلام لفرع التحسين مع فرع المحتوى، مما يحافظ على الهندسة والبنية الأساسية.
• خسارة إزالة العوالق ($L_{FR}$): تنظم خرائط تركيب ألفا (alpha compositing) لمنع ظهور "الغاوسيات العائمة" (العيوب حيث تنحرف الهندسة بشكل مفرط عن الظل الأصلي).
• خسارة كبح بقع اللون ($L_{CSS}$): تعاقب التباينات الكبيرة بين ألوان الجوار لمنع عيوب التشبع وبقع الألوان الزائفة.

المساهمات الرئيسية

يحدد الورقة ويعالج النقاط التالية:

• تحديد أوجه القصور: حدد المؤلفون أن فشل طرق نقل الأسلوب ثلاثية الأبعاد الحالية مع أساليب OOD لا ينبع من عدم كفاية قدرة النموذج، بل من عدم استغلال الإمكانات التعبيرية الكامنة في الفضاءات الكمية ثلاثية الأبعاد المهيكلة.
• إطار عمل DiLAST: طريقة "plug-and-play" للتحسين في وقت الاختبار، تفصل نقل الأسلوب عن توزيع التدريب للمولد ثلاثي الأبعاد باستخدام معلم انتشار ثنائي الأبعاد.
• التعبيرية الكامنة: يقدم العمل رؤية مفادها أن الكمونات ثلاثية الأبعاد المهيكلة، رغم تدريبها على بيانات محدودة، تمتلك إمكانات تعبيرية كبيرة. ومع التوجيه المناسب للانتشار، يمكن توجيه هذه الكمونات نحو اتجاهات محددة في الفضاء الكامن لتحقيق أساليب متنوعة وOOD.
• التعميم: تظهر الطريقة فعاليتها عبر عدة دعامات توليد ثلاثية الأبعاد (Trellis، وUniLat3D، وHunyuan3D) ومدخلات أسلوب متنوعة دون الحاجة لإعادة تدريب النماذج.

النتائج التجريبية

أُجريت تجارب مكثفة باستخدام مجموعة بيانات TRELLIS-500K للمحتوى وInstantStyle-Plus للأساليب.

• الأداء الكمي: يتفوق DiLAST بشكل كبير على النماذج المرجعية (MorphAny3D، وStyleScultyor) في جميع المقاييس، بما في ذلك درجة التفضيل البشري (HPSv3)، ودرجة الجمالية (AS)، وتفضيل المستخدم (UP). والجدير بالذكر أنه يظهر أداءً محسناً تحت أوامر (prompts) محددة، مما يشير إلى توازن أفضل بين الحفاظ على المحتوى ونقل الأسلوب.
• النتائج النوعية: تُظهر المقارنات البصرية أن الطرق المرجعية غالباً ما تنتج عيوباً أو تفشل تماماً مع أساليب OOD، بينما ينجح DiLAST في نقل أساليب متنوعة (مثل سايبر بانك النيون، واللوحات الحبرية، والتكعيبية) مع الحفاظ على الاتساق الهندسي.
• دراسات الاستئصال (Ablation Studies): يؤدي إزالة مكونات الخسارة المحددة إلى حالات فشل متميزة:
  • بدون $L_C$، يحدث تسرب محتوى شديد.
  • بدون $L_{FR}$، تظهر غاوسيات عائمة.
  • بدون $L_{CSS}$، تؤدي عيوب الألوان (بقع مشبعة زائفة) إلى تدهور الجودة البصرية.
• القدرة على العمل المباشر (Plug-and-Play): تم تطبيق الطريقة بنجاح على UniLat3D وHunyuan3D، مما أكد توافقها مع مختلف المساحات الكمية ثلاثية الأبعاد ومسارات التوليد.

الأهمية والادعاءات

يزعم البحث أن DiLAST يمثل خطوة مهمة نحو الأسلوبية ثلاثية الأبعاد القابلة للتعميم. من خلال الاستفادة من قوة نماذج الانتشار ثنائية الأبعاد المدربة على مجموعات بيانات ضخمة، تقوم الطريقة بـ "إيقاظ" القدرة الكامنة للمولدات ثلاثية الأبعاد للتعامل مع أي أسلوب. ويؤكد المؤلفون أن هذا النهج يتجنب الحاجة لإعادة تدريب النماذج ثلاثية الأبعاد، مما يوفر حلاً مرناً للتطبيقات الواقعية حيث تكون مدخلات الأسلوب غير مقيدة. ويشير العمل إلى أن إمكانات الكمونات ثلاثية الأبعاد المهيكلة قد تم التقليل من شأنها، وأن توجيه الانتشار هو آلية قوية لتوجيه هذه الكمونات نحو نتائج جمالية مرغوبة.

يشير المؤلفون إلى أن أداء الطريقة يعتمد على جودة النماذج ثنائية وثلاثية الأبعاد المدربة مسبقاً، ويتوقعون مزيداً من التحسينات مع تطور هذه النماذج الأساسية. كما يسلطون الضال على إمكانية توسيع المهام التحريرية ثلاثية الأبعاد لتشمل ما هو أبعد من نقل الأسلوب في الأعمال المستقبلية.