ملخص تقني: AHPA: محاذاة الأولويات الهرمية التكيفية لترانسفورمرات الانتشار (Diffusion Transformers)

1. بيان المشكلة

أدت التطورات الأخيرة في ترانسفورمرات الانتشار (DiTs) إلى تحسين توليد الصور عالية الدقة، ومع ذلك، تظل عملية تدريب هذه النماذج من الصفر مكلفة حاسوبياً، حيث تتطلب غالباً ملايين التكرارات لتعلم تمثيلات ذات معنى دلالي وتماسك هيكلي. وقد برزت محاذاة التمثيل (Representation alignment) كنموذج لتسريع هذه العملية من خلال محاذاة ميزات الترانسفورمر المتوسطة مع أولويات بصرية غنية بالمعلومات (مثل المشفرات البصرية الخارجية مثل DINOv2 أو ميزات VAE الداخلية).

ومع ذلك، تعاني طرق المحاذاة الحالية من قصور حرج: فهي تفرض هدف إشراف ثابت أو درجة محاذاة ثابتة طوال مسار إزالة الضجيج (denoising trajectory). ويرى المؤلفون أن هذا النهج "غير المتكيف مع الخطوة الزمنية" (timestep-agnostic) هو نهج غير مثالي لأن درجة المحاذاة المفيدة للتمثيل تتغير بشكل منهجي مع نسبة الإشارة إلى الضجيج (SNR):

• في أنظمة الضجيج العالي: تستفيد النماذج من التثبيت (anchoring) على مستوى المعنى العام والتخطيط الكلي.
• في أنظمة الضجيء المنخفض: تتطلب النماذج صقلاً دقيقاً للتفاصيل المكانية والهياكل المخلصة للواقع.

تؤدي المشرفات أحادية المستوى والثابتة إلى خلق عدم تطابق تمثيلي مع الاحتياجات المتطورة للنموذج، مما يؤدي إلى تراجع الاتساق الاتجاهي للتدرجات (gradients) وتداخل التدرجات مع تقدم عملية إزالة الضجيج. علاوة على على ذلك، تفرض الطرق التي تعتمد على معلمين خارجيين عبئاً كبيراً على الذاكرة وتعقيداً في التدريب، بينما تعتمد طرق التعلم الذاتي غالباً على أهداف ميزات متجانسة (monolithic) تفشل في التقاط الطبيعة غير المستقرة لتدريب الانتشار.

2. المنهجية: محاذاة الأولويات الهرمية التكيفية (AHPA)

لمعالجة عدم التطابق التمثيلي، يقترح المؤلفون AHPA، وهو إطار عمل خفيف الوزن يعيد صياغة محاذاة التمثيل من مطابقة الأهداف الثابتة إلى جدولة أولويات هرمية تكيفية مشروطة بالخطوة الزمنية.

المكونات الأساسية

1. تنقيب أولويات VAE الهرمية:
   بدلاً من معاملة مشفر VAE المجمد كمجرد وحدة ضغط كامنة، يستخدم AHPA هذا المشفر كمستودع متعدد المقاييس للأولويات. يتم تقسيم طبقات المشفر المتوسطة إلى مجموعات وظيفية:

   • المجموعة متوسطة المستوى ($G_{mid}$): تلتقط الطبوغرافيا المكانية والعلاقات بين الأجزاء (الهياكل التخطيطية).
   • المجموعة عميقة المستوى ($G_{deep}$): تجسد التكوينات الأوسع والتمثيلات الدلالية العالمية.
     يتم استبعاد الطبقات الضحلة ($G_1, G_2$) لأنها غالباً ما تسبب ضجيجاً مفرطاً على مستوى البكسل خلال مراحل إزالة الضجيج المبكرة.

2. الموجه الديناميكي المشروط بالخطوة الزمنية:
   يقوم موجه (Router) خفيف الوزن يعتمد على مدرك متعدد الطبقات (MLP)، يرمز له بـ $R_\phi$، بأخذ الخطوة الزمنية الحالية $t$ كمدخل للتنبؤ بالأوزان التكيفية. يقوم الموجه بعمليتين من الجدولة:

   • التجميع داخل المجموعة: وزن الميزات داخل المجموعات متوسطة المستوى وعميقة المستوى.
   • التنسيق بين المجموعات: موازنة مساهمة $G_{mid}$ مقابل $G_{deep}$.
     يقوم الموجه باختيار ووزن هذه الأولويات الهرمية ديناميكياً لمزامنة درجة محاذاة التمثيل مع مرحلة إزالة الضجيج الحالية للنموذج.

3. التحسين المشترك:
   يتم تحسين هيكل الترانسفورمر ($\theta$) والموجه ($\phi$) بشكل مشترك. يقلل هدف المحاذاة من خسارة تشابه جيب التمام (cosine similarity loss) بين الحالات المخفية المسقطة للترانسفورمر والهدف الهرمي المجمع $z_s(t)$. ومن الأهمية بمكان أن فرع المحاذاة يتم التخلص منه أثناء الاستنتاج، مما يعني عدم وجود تكلفة إضافية عند الاستنتاج.

3. المساهمات الرئيسية

• تحليل المحاذاة غير المستقرة: حدد المؤلفون أن درجة المحاذاة الفعالة تختلف عبر خطوات إزالة الضجيج. وقد قدموا مقياس نسبة الإشارة إلى الضجيج في التدرج (G-SNR) لقياس صحة المحاذاة، موضحين أن النماذج المرجعية الثابتة تعاني من تدهور كارثي في الدقة (تداخل التدرج) مع اقتراب $t$ من الصفر.
• تنقيب أولويات VAE الهرمية: كشف المؤلفون أن الطبقات المتوسطة لمشفر VAE المجمد توفر بنكاً طبيعياً متعدد المقاييس للأولويات. وتظهر التجارب أن $G_{mid}$ و $G_{deep}$ تظهران تكاملاً طورياً كبيراً، حيث تثبت الميزات العميقة المعنى العام في أنظمة الضجيج العالي، بينما توجه الميزات متوسطة المستوى الصقل الهيكلي في أنظمة الضجيج المنخفض.
• محاذاة تكيفية وفعالة: يحقق AHPA إشرافاً هرمياً تكيفياً دون الحاجة لمعلمين خارجيين. كما أنه لا يضيف سوى عبء حسابي ضئيل (زيادة بنسبة 5% في GFLOPs و2.5 مليون معلمة فقط) ويحافظ على إنتاجية تدريب عالية مقارنة بالنماذج المرجعية.

4. النتائج التجريبية

أُجريت التجارب على مجموعتي بيانات ImageNet (256×256 و 512×512) و MS-COCO باستخدام هياكل SiT (Scalable Interpolant Transformers) بمقاييس مختلفة (B/2, L/2, XL/2).

• سرعة التقارب: يحقق AHPA تقارباً تنافسياً بعدد أقل بكثير من التكرارات. بالنسبة لـ SiT-XL/2، يصل AHP إلى FID قدره 8.1 في 400 ألف تكرار، وهو ما يضاهي أداء نموذج SiT أصلي تم تدريبه لـ 7 ملايين تكرار.
• الأداء مقابل SOTA (أحدث ما توصل إليه العلم):
  • يتفوق AHPA على طرق المحاذاة الذاتية الثابتة (SRA 2) عبر جميع المقاييس.
  • ينافس أو يتفوق على الطرق التي تستخدم معلمين خارجيين ثقال (مثل REPA مع DINOv2) من حيث FID والتماسك الهيكلي (sFID)، رغم كونه خالياً من المعلمين الخارجيين. فعلى سبيل المثال، في ImageNet 256×256، حقق AHPA قيمة FID قدرها 8.1 (400 ألف خطوة) مقارنة بـ 8.5 لـ REPA (400 ألف خطوة).
  • في مهام تحويل النص إلى صورة في MS-COCO، حقق AHPA قيمة FID قدرها 4.52، متفوقاً على كل من SRA 2 و REPA.
• الكفاءة: يتجنب AHFA التكاليف الثقيلة للذاكرة والحوسبة للمشفرات الخارجية. فهو يضيف حوالي 5% فقط إلى إجمالي GFLOPs ويحافظ على سرعة تدريب تبلغ 7.4 تكرار/ثانية (مقابل 8.1 تكرار/ثانية للنموذج المرجعي)، بينما تعاني الطرق القائمة على المعلمين مثل REPA من انخفاض في السرعة بنسبة 22%.
• التحقق الآلي: يؤكد تحليل سياسة التوجيه المتعلمة وجود "تسليم تلقائي"، حيث ينتقل الموجه طبيعياً من التركيز على الميزات الدلالية العميقة إلى الميزات الهيكلية متوسطة المستوى مع انخفاض الخطوة الزمنية، مما يعكس المتطلبات النظرية غير المستقرة.

5. الأهمية والادعاءات

يزعم البحث أن AHPA يقدم حلاً مبدئياً، اقتصادياً، ومكتفياً ذاتياً لتسريع النماذج التوليدية واسعة النطاق. تكمن أهميته الأساسية في حل مشكلة عدم التطابق التمثيلي المتأصلة في نماذج التوجيه الثابتة من خلال مواءمة درجة الإشراف ديناميكياً مع الفيزياء غير المستقرة لعملية الانتشار.

من خلال الاستفادة من تسلسلات VAE الهرمية بدلاً من المعلمين الخارجيين، يلغي AHPA المقايضة بين الكفاءة وجودة التوليد. ويضع المؤلفون هذا العمل كخطوة نحو دمقرطة أبحاث الذكاء الاصطناعي، مما يمكن الباحثين ذوي الميزانيات الحسابية المحدودة من تدريب نماذج انتشار عالية الدقة دون الأعباء الباهظة للمشفرات البصرية الخارجية أو تكرارات التدريب الزائدة. يشير العمل إلى أن "متطلبات المحاذاة غير المستقرة" هي خاصية أساسية لمسارات الانتشار والتي، عند معالجتها، تفتح الإمكانات الكاملة للتوجيه الهرمي الجوهري.