ملخص تقني: التحكم المكاني العالمي بلقطات قليلة لنماذج الانتشار

بيان المشكلة

حققت نماذج الانتشار (Diffusion Models) لإنتاج الصور من النصوص (T2I) المسبقة التدريب نجاحاً ملحوظاً في توليد صور عالية الجودة من مطالبات اللغة الطبيعية. ومع ذلك، غالباً ما يفتقر التحكم القائم على اللغة إلى الدقة المطلوبة للمناورة البصرية الدقيقة، مثل فرض أوضاع محددة للأجسام، أو أشكال، أو تخطيطات للمشاهد. ولمعالجة ذلك، تستخدم الأساليب الحالية محولات التحكم المكاني (مثل ControlNet و Uni-ControlNet) التي تضخ إشارات مكانية صريحة (خرائط الحواف، العمق، الوضعية) في نماذج الانتشار المجمدة.

وعلى الرغم من فعاليتها، تواجه هذه المحولات الحالية قيودين حرجين:

1. تكاليف تدريب عالية: يتم تدريبها عادةً بشكل مستقل لكل مهمة تحكم مكاني محددة، مما يتطلب موارد حوسبة كبيرة وآلاف الأمثلة المصنفة (مثلاً 150 ألف صورة لكل مهمة).
2. ضعف القدرة على التكيف: غالباً ما يفشل إعادة استخدام المحولات متعددة المهام مسبقة التدريب أو الأساليب الخالية من التدريب (training-free) في التعميم على الظروف المكانية الجديدة التي تختلف بشكل كبير عن توزيع التدريب. أما الأساليب الخالية من التدريب، ورغم تجنبها لتكاليف البيانات، فإنها غالباً ما تعتمد على عمليات تحسين طويلة في الفضاء الكامن (latent optimization) مما يزيد من وقت التوليد ويقدم قدرة تحكم محدودة.

تفترض الورقة الحاجة إلى إطار عمل متعدد الاستخدامات قادر على التحكم في نماذج الانتشار باستخدام ظروف مكانية جديدة باستخدام عدد قليل فقط من الأمثلة المصنفة (التعلم بلقطات قليلة - few-shot learning) عند الاختبار، دون تكبد أعباء إضافية كبيرة في وقت التوليد.

المنهجية: التحكم العالمي بلقطات قليلة (UFC)

يقترح المؤلفون التحكم العالمي بلقطات قليلة (Universal Few-Shot Control - UFC)، وهو محول تحكم عالمي مصمم لتوجيه نماذج الانتشار (T2I) المجمدة باستخدام ظروف مكانية جديدة عشوائية عبر مجموعة دعم (support set) مكونة من أزواج (صورة-شرط).

الآلية الجوهرية

يعالج UFC تحدي تنسيقات المدخلات غير المتجانسة (مثل نقاط المفاتك المتفرقة مقابل خرائط العمق الكثيفة) وندرة البيانات الشديدة من خلال مكونين رئيسيين:

1. استكمال الميزات المستقل عن المهمة عبر المطابقة على مستوى الرقعة (Patch-wise Matching):
   بدلاً من ترميز الشروط الخاصة بالمهمة مباشرة في تمثيل ثابت، يستفيد UFC من القياس بين شرط الاستعلام ($y^q_\tau$) ومجموعة الدعم ($S_\tau = \{(x_i, y^i_\tau)\}$).

   • المشفرات: تستخدم الطريقة مشفراً صورياً مجمداً $f$ (لاستخراج الميزات البصرية من صور الدعم) ومشفراً للشرط قابلاً للتعلم $g_\tau$ (لترميز كل من شرط الاستعلام وشرط الدعم).
   • المطابقة: يتم بناء ميزات التحكم لرقعة استعلام عن طريق استكمال الميزات البصرية لرقع الدعم، بوزن يعتمد على التشابه بين شرط الاستعلام وشرط الدعم.
   • الصيغة: يتم حساب ميزة التحكم $I(y^{q,k}_\tau; S_\tau)$ للرقعة $k$ من الاستعلام كالتالي:
     $$I(y^{q,k}_\tau; S_\tau) = \sum_{i=1}^N \sum_{j=1}^M \sigma(g_\tau(y^{q,k}_\tau), g_\tau(y^{i,j}_\tau)) \cdot f(x^{i,j})$$
     حيث أن $\sigma$ هي دالة تشابه على مستوى الرقعة. وهذا يضمن أن ميزات التحكم الناتجة تقع في فضاء ميزات بصرية موحد، بغض النظر عن المهمة $\tau$ المحددة، مما يسهل التعميم القوي.

2. التكيف بكفاءة في المعاملات (Parameter-Efficient Adaptation):
   للتكيف السريع مع المهام الجديدة دون الإفراط في ملاءمة (overfitting) مجموعة الدعم الصغيرة، يستخدم UFC استراتيجية تعلم ميتا (meta-learning) مدمجة مع ضبط دقيق كفء للمعاملات:

   • التدريب الميتا (Meta-Training): يتم تدريب النموذج على مجموعة بيانات تدريب ميتا حلقية (episodic) تحتوي على مهام متعددة. في كل حلقة، يتعلم النموذج رسم خريطة من شرط الاستعلام ومجموعة الدعم إلى ميزات التحكم.
   • الضبط الدقيق (Fine-Tuning): بالنسبة لمهمة جديدة، يتم فقط ضبط مجموعة صغيرة من المعاملات الخاصة بالمهمة ($\theta_\tau$) في مشفر الشرط (مثل حدود الانحياز أو معاملات LoRA) وطبقات المطابقة/الإسقاط باستخدام مجموعة الدعم. وتظل معاملات الهيكل الأساسي المشترك مجمدة.

تجسيد البنية (Architecture Instantiation)

يجسد المؤلفون UFC ضمن إطار عمل ControlNet باستخدام Stable Diffusion (بنيتي UNet و DiT).

• يتم تهيئة مشفر الشرط $g_\tau$ والمشفر الصوري $f$ كنسخ من مشفر UNet مسبق التدريب.
• تتم عملية المطابقة على مستوى الرقعة عند مستويات متعددة من المشفر باستخدام كتل الانتباه المتقاطع متعددة الرؤوس.
• يتم إسقاط ميزات التحكم الناتجة وإضافتها إلى ميزات نموذج الانتشار عبر طبقات خطية مهيئة بالصفر، على غرار حقن ControlNet القياسي.

المساهمات الرئيسية

1. أول إطار عمل للتحكم المكاني بلقطات قليلة: تقترح الورقة أول طريقة مصممة خصيصاً للتحكم المكاني بلقطات قليلة في نماذج الانتشار لإنتاج الصور، مما يسمح بتوليد صور بظروف جديدة باستخدام الحد الأدنى من البيانات المصنفة (مثلاً 30 مثالاً).
2. تصميم محول عالمي: من خلال استخدام المطابقة على مستوى الرقعة لاستكمال الميزات البصرية المستقلة عن المهمة، يوحد UFC مختلف الوسائط المكانية (الحواف، العمق، الوضعية، التجزئة) في آلية تحكم واحدة، متجاوزاً مشكلات التباين النطاقية التي واجهت الأساليب السابقة.
3. كفاءة البيانات والحوسبة: يحقق UFC أداءً تنافسياً مع النماذج المرجعية الخاضعة للإشراف الكامل باستخدام 0.1% فقط من بيانات التدريب الكاملة (150 مثالاً) وعدد أقل بكثير من المعاملات للتكيف.
4. استقلالية البنية: تم إثبات فعالية الطريقة على كل من بنيتي UNet و DiT (محول الانتشار)، مما يضمن قابليتها للتطبيق على بنيات الانتشار الحديثة.

النتائج التجريبية

قيم المؤلفون UFC على ست مهام تحكم مكاني جديدة: حواف Canny، حواف HED، العمق (Depth)، الناظم السطحي (Surface Normal)، وضعية الإنسان (Human Pose)، وDensepose. تضمنت عملية التقييم تدريباً ميتاً على مجموعات فرعية من هذه المهام واختباراً على مهام محجوزة باستخدام الضبط الدقيق بلقطات قليلة (30 لقطة).

• القدرة على التحكم: تفوق UFC باستمرار على النماذج المرجعية الحالية ذات اللقطات القليلة والخالية من التدريب (مثل Prompt Diffusion و Ctrl-X و Uni-ControlNet) عبر جميع المهام. على سبيل المثال، في مهمة Canny، حقق UFC معامل SSIM قدره 0.3239 مقارلة بـ 0.2120 لـ Prompt Diffusion (لقطات قليلة) و 0.2901 لـ Ctrl-X (خالٍ من التدريب).
• جودة الصورة: حافظ UFC على جودة صورة عالية (درجات FID مقاربة للنماذج المرجعية الخاضعة للإشراف الكامل) مع تحقيق تحكم مكاني دقيق.
• أداء اللقطات القليلة: باستخدام 30 مثال دعم فقط، حقق UFC تحكماً دقيقاً يتوافق مع الشروط المكانية. وعند ضبطه بدقة باستخدام 150 مثالاً (0.1% من البيانات الكاملة)، كان أداء UFC في مهام Normal و Depth و Canny على قدم المساواة مع النماذج المرجعية الخاضعة للإشراف الكامل.
• دراسات الاستئصال (Ablation Studies): أدى إزالة آلية المطابقة أو خطوة الضبط الدقيق إلى انخفاض كبير في الأداء، مما يؤكد ضرورة كل من الاستكمال القائم على القياس والضبط الميتا للتعميم.
• التعميم على ثلاثي الأبعاد (3D): تم اختبار الطريقة أيضاً على ظروف ثلاثية الأبعاد جديدة (الشبكات، الأسلاك الهيكلية، السحب النقطية)، مما أظهر قدرتها على التعميم على وسائط مكانية غير مرئية خارج مجموعة التدريب الميتا.

الأهمية والادعاءات

تدعي الورقة أن UFC يمثل خطوة هامة نحو العملية والمرونة في التحكم المكاني في الذكاء الاصطناعي التوليدي. فمن خلال تمكين استخدام نماذج الانتشار مسبقة التدريب مع ظروف مكانية جديدة باستخدام حفنة قليلة من الأمثلة، يلغي UFC الحاجة إلى مسارات تدريب مكلفة وخاصة بكل مهمة.

يؤكد المؤلفون أن نهجهم يسد الفجوة بين صرامة محولات التحكم الخاضعة للإشراف الكامل والقدرة المحدودة للأساليب الخالية من التدريب. ويضعون UFC كحل يسم يسمح بتحكم "متعدد الاستخدامات وفعال في البيانات"، مما يجعل من الممكن نشر التحكم المكاني للمهام الناشئة أو المتخصصة دون الحاجة إلى مجموعات بيانات ضخمة.

تختتم الورقة بإقرار متواضع بالقيود: الإطار مصمم حالياً لتوليد التحكم المكاني وليس لمهام الحفاظ على المظهر (مثل نقل النمط أو الترميم/inpainting)، ولا يزال يتطلب قدراً صغيراً من الضبط الدقيق لكل مهمة جديدة، على عكس النماذج اللغوية الكبيرة التي تتكيف عبر التعلم في السياق (in-context learning) وحده. ومع ذلك، يرى المؤلفون أن تطوير قدرات مماثلة للتعلم في السياق للتحكم المكاني يعد اتجاهاً واعداً للبحث المستقبلي.