ملخص تقني: التوجيه الطيفي للتحكم المرن والفعال في نماذج الانتشار

بيان المشكلة

حققت نماذج الانتشار (Diffusion models) دقة عالية في التوليد عبر مختلف الوسائط، ولكن التحكم في هذه النماذج لتلبية مواصفات مستخدم محددة (مثل تسميات الفئات، أو المطالبات النصية، أو الأقنعة المكانية) لا يزال يمثل تحديًا. تواجه الأساليب الحالية مقايضة بين المرونة والكفاءة:

• الأسالهم القائمة على التدريب (مثل توجيه المصنف - Classifier Guidance، وتوجيه المصنف الحر - Classifier-Free Guidance): تتطلب إعادة تدريب النموذج أو تدريب مصنفات مساعدة لكل شرط جديد، مما يربط النموذج ارتباطًا وثيقًا بمجموعة ثابتة من الشروط.
• الأساليب الخالية من التدريب (مثل أخذ عينات الانتشار البعدي - Diffusion Posterior Sampling، والتوجيه الموجه بالخسارة - Loss-Guided Diffusion): توفر المرونة من خلال تحسين الأهداف المحددة من قبل المستخدم وقت أخذ العينات. ومع ذلك، فهي تتطلب عادةً إجراء تفاضل عبر شبكة إزالة الضجيج (denoiser) عند كل خطوة، مما يؤدي إلى تكاليف حوسبة عالية، وتحكم غير مستقر، والحاجة إلى تقريب التوزيعات اللاحقة المستعصية عبر تقديرات نقطية.

التحدي الجوهري هو تحقيق تحكم مستقر وعالي الدقة في نماذج الانتشار غير المشروطة دون إعادة التدريب أو استخدام الانتشار العكسي (backpropagation) المكلف عبر عملية إزالة الضجيج أثناء أخذ العينات.

المنهجية: التوجيه الطيفي (Spectral Guidance)

يقترح المؤلفون التوجيه الطيفي، وهو إطار عمل يستفيد من الهندسة الجوهرية لعملية الانتشار لتمكين التحكم المرن. تعتمد الطريقة على ملاحظة أنه مع فساد البيانات بفعل الضجيج، تُفقد التفاصيل الدقيقة بينما تستمر الميزات الدلالية الخشنة. تشكل هذه الميزات المستمرة نظام إحداثيات منخفض الأبعاد.

1. الأساس النظري

يعمل النهج على نمذجة التوقع الشرطي لإشارة توجيه $h(x_0)$ بمعلومية ملاحظة مشوشة $x_t$ كعمل لـ مؤثر التوقع الشرطي $T_t$.

• تعريف المؤثر: يقوم $T_t$ برسم خرائط للدوال من فضاء البيانات النظيفة $H_0$ إلى فضاء البيانات المشوشة $H_t$.
• التفكك الطيفي: يحلل المؤلفون التفكك القيمي المفرد (SVD) للمؤثر $T_t$. وقد أظهروا أن الدوال المفردة الرائدة $\{\phi_{t,k}\}$ لمؤثر التغاير $T_t T_t^*$ تقابل الاتجاهات في البيانات المشوشة التي تنجو من رحلة الذهاب والإياب بين الفساد وإعادة البناء.
• التقريب منخفض الرتبة: عند مستويات الضجيج العالية، يتركز طيف $T_t$ على عدد قليل من الأنماط الرائدة. وهذا يسمح بتقريب التوقع الشرطي لأي إشارة توجيه عبر توسيع منخفض الرتبة:
  $$E[h(X_0) | X_t = x_t] \approx \sum_{k=1}^K c_{t,k} \phi_{t,k}(x_t)$$
  حيث $c_{t,k}$ هي معاملات تعتمد على التوجيه و $\phi_{t,k}$ هي دوال الأساس الطيفي المتعلمة.

2. تعلم الأساس الطيفي (المرحلة غير المتصلة - Offline)

بدلاً من تدريب مصنفات خاصة بالمهمة، يتعلم المؤلفون الإحداثيات الطيفية الجوهرية لعملية الانتشار باستخدام هدف التعلم الخاضع للإشراف الذاتي (SSL).

• الهدف: يتم توصيف الدوال المفردة اليسرى الرائدة لـ $T_t$ كالدوال التي تعظم الارتباط بين عرضين مشوشين بشكل مستقل $(x_t, \tilde{x}_t)$ لنفس العينة النظيفة $x_0$، مع مراعاة قيد التبييض (whitening) لمنع الانهيار.
• التنفيذ: يتم تدريب شبكة عصبية خفيفة الوزن $f_\phi$ (وهي شبكة ResNet متغيرة زمنياً) لإنتاج هذه الدوال المفردة. يتم اشتقاق خسارة التدريب من توصيف Rayleigh-Ritz للفضاء الذروي العلوي، باستخدام تحويل التبييض على إحصائيات الدفعة (على غرار Barlow Twins أو VICReg ولكن باستخدام ضجيج الانتشار كنوع من التعزيز).
• الكفاءة: يتم إجراء هذا التدريب مرة واحدة في المرحلة غير المتصلة. والأساس الناتج هو مستقل عن المهمة.

3. أخذ العينات والتوجيه (المرحلة المتصلة - Online)

أثناء أخذ العينات، تقوم الطريقة بإسقاط أي إشارات توجيه على الأساس الطيفي المتعلم مسبقاً.

• تقدير المعاملات: بالنسبة لمهمة محددة (مثل تسمية الفئة، أو تضمين CLIP، أو القناع)، يتم تقدير المعاملات $c_{t,k}$ في المرحلة غير المتصلة باستخدام مجموعة مرجعية من البيانات النظيفة.
• متجه التوجيه: في كل خطوة زمنية، يتم حساب متجه التوجيه كاشتقاق لدالة خسارة مطبقة على الإشارة المسقطة: $g(x_t) = \nabla_{x_t} L(\hat{c}_t^\top f_\phi(x_t, t))$.
• تحديث أخذ العينات: يتم تحديث المتغير الكامن $x_t$ باستخدام خطوة DDIM القياسية مضافاً إليها حد التوجيه الموزون بمعامل قوة $\kappa$. والأهم من ذلك، أن هذا يتطلب فقط اشتقاق الشبكة الطيفية خفيفة الوزن $f_\phi$، مما يتجنب الانتشار العكسي عبر إزالة الضجيج الرئيسية $\epsilon_\theta$.

المساهمات الرئيسية

1. إعادة صياغة التوجيه: تعيد الورقة صياغة توجيه الانتشار كإسقاط على نظام إحداثيات محاذٍ للديناميكيات التوليدية، مما يتيح تحكماً مرناً دون إعادة تدريب نموذج الانتشار.
2. التعلم الخاضع للإشراف الذاتي للتحليل الطيفي: قدمت الطريقة هدفاً للتعلم الخاضع للإشراف الذاتي لتقدير التفكك الطيفي لمؤثر الانتشار، مما ينتج خوارزمية توجيه خفيفة الوزن ومنفصلة عن تدرجات إزالة الضجيج.
3. الأداء والكفاءة: يحقق إطار العمل تحسينات كبيرة في الدقة والسرعة مقارنة بالنماذج المرجعية الخالية من التدريب، مع دعم ضوابط معقدة (التسميات، النصوص، الأقنعة) باستخدام مجموعة واحدة من التمثيلات المتعلمة.
4. فهم ديناميكيات الانتشار: يكشف التحليل الطيفي عن "انتقال طوري" في العملية التوليدية، حيث يحدد النافذة الزمنية المثلى لفعالية التوجيه (حيث ينتقل الطيف من حفظ المعلومات إلى محو المعلومات).

النتائج التجريبية

قيم المؤلفون "التوجيه الطيفي" على مجموعات بيانات CIFAR-10 و CelebA-HQ و ImageNet عبر ثلاثة وسائط: التسميات الفئوية، والمطالبات النصية (CLIP)، والأقنعة المكانية.

• الدقة: في CIFAR-10، حقق التوجيه الطيفي دقة بلغت 89.4%، متفوقاً على أقوى نموذج مرجئي خالي من التدريب (TFG) بمقدار 37 نقطة مئوية. وفي CelebA-HQ، حسن الدقة لتركيبات السمات (مثل الجنس + العمر) إلى 91.5% مقارلة بـ 75.2% لـ TFG.
• الأمانة (Fidelity): حافظت الطريقة على أمانة تنافسية أو متفوقة (FID/log KID) مقارنة بالنماذج المرجعية.
• السرعة: من خلال تجنب الانتشار العكسي عبر إزالة الضجيج، توفر الطريقة سرعة أخذ عينات تبلغ 4 أضعاف مقارنة بالأساليب الخالية من التدريب مثل TFG. زمن التأخير لكل خطوة يقارب أخذ العينات غير المشروط.
• التعميم: تم استخدام نفس التمثيلات الطيفية المتعلمة للتسميات بنجاح لإرشاد CLIP والأقنعة دون إعادة تدريب أو نماذج مساعدة.
• الانتقال الطوري: أكدت التجارب أن التوجيه يكون أكثر فعالية خلال الانتقال الطيفي (على سبيل المثال، $t \approx 400$ لـ CIFAR-10)، مما يتوافق مع التنبؤ النظري بأن هذه هي النافذة التي تكون فيها العملية مهيكلة بما يكفي للاحتفاظ بالدلالات ولكنها مرنة بما يكفي ليتم توجيهها.

الأهمية والادعاءات

تزعم الورقة أن التوجيه الطيفي يوفر آلية مرنة وفعالة للتحكم في نماذج الانتشار. ومن خلال نقل عبء الحوسبة إلى مرحلة تدريب واحدة غير متصلة والاستفادة من الهيكل الطيفي الجوهري لعملية الانتشار، فإنها تلغي الحاجة إلى:

1. إعادة التدريب الخاص بالمهمة (على عكس توجيه المصنف).
2. الانتشار العكسي المكلف لكل خطوة عبر إزالة الضجيج (على عكس التوجيه الخالي من التدريب).

يضع المؤلفون هذا العمل كخطوة نحو فهم البنية الداخلية لنماذج الانتشار، حيث يجعل تطور المعلومات عبر الزمن مرئياً وقابلاً للاستخدام للتحكم. ويشيرون إلى أنه بينما تركز تجاربهم الحالية على نماذج فضاء البكسل، فإن الإطار قابل للتطبيق نظرياً على نماذج الانتشار الكامنة (Latent Diffusion Models) أيضاً. تُقدم الطريقة كعنصر مكمل للأساليب القائمة على المتوسط البعدي، وتتفوق بشكل خاص في مهام التحكم الدلالي حيث يكون عدد القيود منخفضاً بالنسبة لأبعاد البيانات.