ملخص تقني: المشفرات التلقائية المتناثرة الزمنية المتبقية لتفسير نماذج الانتشار

بيان المشكلة

تنتج نماذج الانتشار (Diffusion Models) من نص إلى صورة عملية توليد الصور من خلال عملية إزالة ضجيج تكرارية، مما يجعل الطبقات العصبية الداخلية تنتج مسارات من التنشيطات (trajectories of activations) بدلاً من تمثيلات ثابتة واحدة. وبينما تم تطبيق المشفرات التلقائية المتناثرة (SAEs) مؤخراً لتفكيك تنشيطات الانتشار إلى اتجاهات ميزات قابلة للتفسير، فإن النهج الحالية عادةً ما تحلل التنشيطات في خطوات زمنية معزولة، أو تشترط الشرط بالزمن، أو تطبق الـ SAEs على بنيات مثل محولات الانتشار (Diffusion Transformers).

يكمن القصور الحرج في هذه الأساليب الحالية في أنها لا تأخذ في الاعتبار صراحةً الارتباط الزمني القوي المتأصل في تنشيطات الانتشار. فالتنشيطات في الخطوات الزمنية المتجاورة تكون مترابطة للغاية، حيث يكون جزء كبير من الإشارة في خطوة ما قابلاً للتنبؤ به خطياً من الخطوة السابقة. إن تدريب SAE مباشرة على التنشيطات الخام المجمعة زمنياً ينطوي على خطر إضاعة قدرة النموذج في تعلم الديناميكيات المتكررة والقابلة للتنبؤ خطياً بدلاً من التقاط البنية المتناثرة للميزات.

المنهجية

يقترح المؤلفون المشفرات التلقائية الزمنية المتبقية (Residualized Temporal SAEs)، وهو إطار عمل مصمم لتعلم الميزات المتناثرة من مسارات التنشيط عن طريق الفصل الصريح بين الديناميكيات القابلة للتنبؤ خطياً والبنية المتبقية.

1. جمع البيانات والمعالجة المسبقة

• المصدر: يتم جمع التنشيطات من الفرع الشرطي لشبكة U-Net في نموذج Stable Diffusion 1.5 أثناء التوجيه الخالي من المصنف (classifier-free guidance). وتحديداً، يتم استخراج المساهمة المتبقية لطبقة الانتباه المتقاطع (cross-attention) في الكتلة الوسطى (mid-block).
• بناء المسار: لكل صورة يتم توليدها، يتم أخذ عينات فرعية من كل $\ell$ من خطوات إزالة الضجيج (على سبيل المثال، $\ell=10$) لتشكيل تسلسل من ت tensors التنشيط $\{a(\tau_i)\}$.

2. التبقية الخطية (Linear Residualization)

لإزالة التكرار الزمني، تقوم الطريقة بملاءمة متنبئات خطية بين كتل التنشيط الطبيعية المتتالية:

• التطبيع (Normalization): يتم تطبيع التنشيطات لكل خطوة زمنية باستخدام إحصائيات مجموعة التدريب.
• انحدار ريدج (Ridge Regression): لكل انتقال مجاور $i-1 \to i$، يتم ملاءمة منظم ريدج $(W_i, b_i)$ للتنبؤ بالتنشيط الحالي $\bar{a}_{q,i}$ من التنشيط السابق $\bar{a}_{q,i-1}$.
• حساب المتبقي (Residual Calculation): يحسب المتبقي $r_{q,i} = \bar{a}_{q,i} - (W_i \bar{a}_{q,i-1} + b_i)$ المكون الذي لا يمكن التنبؤ به خطياً من الخطوة السابقة.

3. تدريب SAE على المسارات المتبقية

المدخل لـ SAE هو متجه مجمع $z_q$ يتكون من التنشيط الأولي والمتبقيات اللاحقة:
$$z_q = [\bar{a}_{q,0}, r_{q,1}, \dots, r_{q,T-1}]$$
يتم تدريب BatchTopK SAE على هذا التمثيل المتبقي. والهدف هو إعادة بناء المدخل المطبق مع فرض التناثر (الاحتفاظ فقط بأعلى $K$ من الكمونات النشطة لكل دفعة). وهذا يشجع الكمونات المتناثرة على التقاط البنية الموجودة خلف الانجراف الزمني القابل للتنبؤ به خطياً.

4. تفسير فضاء التنشيط

مكون رئيسي في الطريقة هو رسم خرائط الميزات المتعلمة للعودة إلى فضاء التنشيط الأصلي لتحليلها كمسارات:

1. اتجاهات فك الترميز (Decoder Directions): تكون متجهات فك ترميز SAE في البداية في فضاء المتبقي المطبع.
2. إلغاء التطبيع (Un-normalization): تُطبق المقاييس للعودة إلى فضاء المتبقي المطبع.
3. دمج الديناميكيات الخطية: يتم رسم اتجاهات المتبقي مرة أخرى عبر المتنبئات الخطية الملائمة ($W_i$) لإعادة بناء اتجاه المسار الكامل في فضاء التنشيط المطبع.
4. الرسم النهائي (Final Mapping): النتيجة هي إلغاء التطبيع للحصول على مسار فك الترميز $\{\phi_{k,i}\}$ في وحدات التنشيط الأصلية. وهذا يسمح بتحليل كل كمون كمسار ميزة يتطور عبر زمن إزالة الضجيج.

المساهمات الرئيسية

1. المشفرات التلقائية الزمنية المتبقية: تقديم طريقة تفصل مسارات تنشيط الانتشار إلى مكونات قابلة للتنبؤ خطياً ومتبقيات، وتدريب SAEs خصيصاً على الأخيرة لتجنب نمذجة الديناميكيات الزمنية المتكررة.
2. تفسير فك الترميز في فضاء التنشيط: اشتقاق يرسم اتجاهات فك ترميز المتبقي للعودة إلى فضاء التنشيط الأصلي، مما يتيح تحليل كل كمون كمسار ميزة زماني مكاني.
3. التوصيف التجريبي: تقييم شامل على Stable Diffusion 1.5 يوضح أن هذه التمثيلات تلتقط اتجاهات مهيكلة زمنياً وموضعية مكانياً ذات تأثيرات توليدية ذات معنى دلالي.

النتائج والتقييم

أداء إعادة البناء

• تفوق التبقية (Residualization): تحت ميزانية تناثر ثابتة على مستوى المسار، تتفوق النسخ المتبقية باستمرار على النظائر غير المتبقية (سواء المجمعة زمنياً أو الموزعة حسب الخطوة الزمنية) في متوسط مربع الخطأ (MSE) والتباين المفسر (EV).
• الكفاءة: يحقق نموذج التركيب المتبقي (Residualized Concatenated) أداء إعادة بناء تنافسياً مع استخدام رمز متناثر واحد للمسار بأكمله، بينما تتطلب النماذج المرجعية الموزعة حسب الخطوة الزمنية رموزاً موزعة.
• المقارنة مع النماذج المرجعية: تتفوق الطريقة على نموذج Matryoshka SAE المرجعي (الذي يستخدم مسارات غير متبقية ومطبعة المكونات) في جودة إعادة البناء.

تحليل البنية الزمانية المكانية

• التخصص الزمني: تظهر الكمونات ملفات تعريف زمنية متميزة. "الميزات المبكرة" تميل إلى امتلاك دعم زمني واسع وتشابه ذاتي عالٍ عبر الخطوات الزمنية، مما يشير إلى أنها تلتقط مفاهيم هيكلية مستمرة. "الميزات المتأخرة" أكثر تخصيصاً للخطوات الزمنية وأقل استقراراً زمنياً.
• التمركز المكاني:
  • الميزات المبكرة تظهر دعماً مكانياً إيجابياً أوسع (إنتروبيا مكانية أعلى)، وغالباً ما تغطي مناطق منتشرة أو حدودية.
  • الميزات الوسطى والمتأخرة أكثر تركيزاً مكانياً (إنتروبيا أقل)، وتتمركز في مناطق محددة تشبه الأشياء أو المناطق البارزة.

تجارب التوجيه (Steering)

• توجيه الميزة الواحدة: يؤدي التدخل مع كمونات محددة إلى تأثيرات توليدية مرئية. تؤثر الميزات المبكرة على الهيكل العالمي، بينما يمكن للميزات الوسطى تحديد التغييرات (مثل إضافة مجوهرات إلى الجذع). أظهرت الميزات المتأخرة تأثيرات دلالية أقل وضوحاً في بعض الأمثلة.
• نقل الميزة: باستخدام مجموعة بيانات RIEBench، قام المؤلفون بإجراء نقل الميزة من المصدر إلى الهدف. حقق نموذج التركيب المتبقي (Residualized Concatenated) أفضل توازن بين كفاءة التعديل (تحسين تشابه CLIP مع المطالبة المستهدفة) والحفاظ على بنية الصورة المصدر (تقليل مسافة LPIPS). وقد تفوق على المتغيرات غير المتبقية والمتغيرة حسب الخطوة الزمنية في كفاءة التعديل.

الأهمية والادعاءات

يزعم البحث أن المشفرات التلقائية الزمنية المتبقية توفر إطار عمل مفيداً لدراسة تنشيطات الانتشار المهيكلة زمنياً. ومن خلال إزالة الانجراف القابل للتنبؤ به خطياً صراحةً، تسمح الطريقة للكمونات المتناثرة بالتركيز على البنية غير المتكررة وذات المعنى الدلالي لعملية التوليد.

يؤكد المؤلفون أن نهجهم يختلف عن العمل السابق من خلال تعلم قواميس متناثرة فوق مسارات التنشيط المتبقية بدلاً من الخطوات الزمنية المعزولة أو التمثيلات الزمنية غير المتبقية. إن القدرة على رسم خرائط هذه الكمونات للعودة إلى فضاء التنشيط كمسارات تتيح فهماً أعمق لـ متى و أين يتم التعبير عن ميزات محددة خلال عملية إزالة الضجيج.

القيود التي لاحظها المؤلفون:

• تركز التجارب على مصدر واحد لتنشيط U-Net (الطبقة الوسطى للاهتمام المتقاطع) في Stable Diffusion 1.5.
• تجارب التوجيه هي تجارب نوعية؛ لا يدعي البحث أداء تعديل صور محسّن، بل يستخدم التوجيه للتحقق من قابلية التفسير والتأثير السببي للميزات المتعلمة.