ملخص تقني: HyperTransport: التكييف الموزع (Amortized Conditioning) لنماذج توليد الصور من النصوص (T2I)

بيان المشكلة

مع توسع النماذج التوليدية التأسيسية، تصبح القدرة على التحكم في سلوكها بكفاءة وموثوقية أمراً بالغ الأهمية. تواجه طرق التحكم التقليدية قيوداً كبيرة:

• الضبط الدقيق (Fine-tuning): يتطلب موارد حوسبة هائلة وهو مكلف لكل مفهوم جديد.
• التلقين (Prompting): رغم كونه عملياً، إلا أنه هش وحساس للغاية لصياغة الكلمات وهيكلها بدقة.
• توجيه التنشيط (Activation Steering): توفر الطرق الموجودة (مثل CAA، ITi، Linear-AcT، LinEAS) تحكماً مستقراً عبر تعديل التنشيطات الداخلية دون تغيير الأوزان. ومع ذلك، فهي تتطلب تحسيناً لكل مفهوم (per-concept optimization)، حيث يجب ملاءمة تدخل جديد للنموذج المستهدف لكل مفهوم محدد. هذه العملية تستغرق دقائق من عمليات التمرير الأمامي/الخلفي (forward/backward passes) لكل مفهوم، مما يجعلها غير مناسبة للواجهات التفاعلية، أو مجموعات المفاهيم المتطورة، أو السيناريوهات التي يتم فيها تحديد المفاهيم فقط عند وقت الطلب.

المنهجية: HyperTransport

يقترح المؤلفون HyperTransport (HT)، وهو إطار عمل لشبكة فائقة (hypernetwork) مصمم لـ توزيع (amortize) تكلفة التحسين لكل مفهوم. بدلاً من ملاءمة تدخل جديد لكل مفهوم، يتعلم HT رسم خريطة من تمثيلات المفاهيم مباشرة إلى معلمات التدخل.

البنية الأساسية

1. الشبكة الفائقة ($H_\psi$): هي عبارة عن شبكة عصبية متعددة الطبقات (MLP) خفيفة الوزن وأصغر بكثير (حوالي 1000 ضعف) من النموذج التوليدي المستهدف ($G$).
2. المُشفّر ($E$): مُشفّر مُجمد ومدرب مسبقاً (نموذج CLIP في تطبيق الورقة) يقوم برسم خرائط لبيانات المدخلات (نصوص أو صور) إلى تضمينات (embeddings).
3. التنبؤ بالتدخل: تأخذ الشبكة الفائقة تمثيل المفهوم $e_c = E(x_c)$ وتتنبأ بمعلمات التدخل $\theta_c$ في تمريرة أمامية واحدة.
   • يتبع التدخل شكلاً توافقياً عنصرياً (affine elementwise form): $I_{\theta_c}(a) = (1-\lambda)a + \lambda(w \odot a + b)، حيث$\theta_c = [w, b]^\top$.
   • هذا التوصيف مناسب للخصائص العالمية منخفضة التردد (الأنماط، لوحات الألوان) بدلاً من التعديلات الموضعية مكانياً.

هدف التدريب

يتم تدريب إطار العمل بالكامل (end-to-end) من خلال النموذج التوليدي المستهدف باستخدام خسارة النقل الأمثل (Optimal Transport - OT loss)، وتحديداً مسافة Wasserstein أحادية البعد ($p=1$).

• دالة الخسارة: تهدف الدالة إلى تقليل التباعد بين توزيع التنشيطات الموجهة (الناتجة عن تطبيق $H_\psi(E(x'_c))$ على النصوص المصدرية) وتوزيع التنشيطات المستهدفة (الناتجة عن النصوص المستهدفة $x_c$).
• البيانات غير المزدوجة (Unpaired Data): يتطلب التدريب بيانات غير مزدوجة فقط (جمل مصدرية وجمل مفاهيم مستهدفة)، وهي أقل تكلفة وأكثر قابلية للتوسع في الجمع مقارنة بالبدائل المزدوجة.
• التحكم في القوة: ترث الطريقة معامل القوة المحدود $\lambda \in [0, 1]$ من توجيه النقل الأمثل، مما يوفر تحكماً قابلاً للتفسير في حجم التدخل.

الاستدلال والمرونة

• الاستدلال الموزع (Amortized Inference): بمجرد تدريبه، ينتج HT تدخلات لمفاهيم جديدة (بما في ذلك تلك التي لم تُشاهد أثناء التدريب) في تمريرة أمامية واحدة (0.08 ثانية على Nitro-1-PixArt، و0.26 ثانية على DMD2).
• التكييف عبر الوسائط (Cross-Modal Conditioning): نظرًا لأن الشبكة الفائقة تعمل على مخرجات المُشفّر، فإنها تدعم التكييف عبر الوسائط بصفر من التدريب (zero-shot). وبما أن نموذج CLIP يقبل النصوص والصور معاً، يمكن لصورة مرجعية توجيه توليد الصور من النصوص مباشرة دون إعادة تدريب.

المساهمات الرئيسية

1. إطار عمل HyperTransport: شبكة فائقة ترسم خرائط من تمثيلات المفاهيم إلى تدخلات التوجيه، مدربة بالكامل باستخدام خسارة النقل الأمثل. إنها تلغي الحاجة لثوانٍ أو دقائق من التحسين لكل مفهوم المطلوبة في الطرق القياسية، مما يقلل تكلفة الاستدلال إلى جزء من الثانية.
2. التكييف عبر الوسائط بصفر تدريب (Zero-Shot Cross-Modal Conditioning): يعد HT أول طريقة لتوجيه التنشيط تقبل الصور كإشارات تكييف، مما يسمح للصور المرجعية بتوجيه توليد الصور من النصوص دون إعادة تدريب.
3. تقييم شامل: تم التحقق من صحة HT على 167 مفهوماً غير مختبر على نماذج DMD2 وNitro-1-PixArt. يضاهي HT أقوى خط أساس لكل مفهوم (LinEAS) في استحضار المفاهيم المستهدفة مع الحفاظ على جودة التوليد الأصلية، وذلك بتكلفة ضئيلة جداً.

النتائج التجريبية

تقيم الورقة HT مقابل أربعة خطوط أساس لكل مفهوم (CAA، ITI، Linear-AcT، LinEAS) والتلقين (prompting).

• السرعة: HT أسرع بـ 3,600 إلى 7,000 ضعف من عملية الملاءمة لكل مفهوم.
  • وقت تدريب LinEAS: حوالي 936 ثانية (DMD2) و543 ثانية (Nitro-1-PixArt) لكل مفهوم.
  • وقت استدلال HT: حوالي 0.258 ثانية (DMD2) و0.078 ثانية (Nitro-1-PixArt) لكل مفهوم.
• الأداء (دقة المفهوم): على 167 مفهوماً غير مختبر، يضاهي HT نموذج LinEAS في استحضار المفهوم المستهدف (على سبيل المثال، 0.280 مقابل 0.278 على DMD2).
• الأداء (دقة المدخلات): يحافظ HT على دقة عالية للنص الأصلي، مع انخفاض طفيف فقط مقارنة بـ LinEAS (ضمن حدود 0.02).
• تقييم المستخدم ونماذج اللغة الكبيرة (VLM): في المقارنات الثنائية، فضل كل من الحكام البشر ونماذج VLM (مثل InternVL2.5-26B) استخدام HyperTransport على التلقين (prompting) بمعدل ضعفين تقريباً (على سبيل المثال، معدل تفضيل 70.4% لـ HT مقابل 29.7% للتلقين على DMD2).
• التعميم: يتعمم HT بفعالية على المفاهيم التي لم تُشاهد أثناء التدريب، بشرط أن تكون ممثلة جيداً في فضاء تضمين CLIP.

الأهمية والادعاءات

تدعي الورقة أن HyperTransport يجمع بنجاح بين ثلاث قدرات لا يقدمها أي نهج آخر كمجموعة واحدة:

1. التوجيه الموزع (Amortized Steering): يتيح مجموعات مفاهيم مفتوحة حيث يمكن تقديم مفاهيم جديدة فوراً دون إعادة تدريب.
2. التحكم المستمر في القوة القابل للتفسير: يوفر معامل قوة محدوداً وقابلاً للتفسير ($\lambda \in [0, 1]$) مشتقاً من النقل الأمثل.
3. التكييف عبر الوسائط: يسمح للصور المرجعية بتوجيه توليد الصور من النصوص مباشرة.

يضع المؤلفون HT في مكانة أكثر فائدة عندما تكون مجموعة المفاهيم كبيرة، أو متطورة، أو يتم تحديدها عند وقت الطلب. وهم يقرون بأن طرق "لكل مفهوم" تظل تنافسية للمجموعات الصغيرة والثابتة، وأن التلقين (prompting) يكفي عندما يستطيع النص وحده استحضار الهدف. يسلط هذا العمل الضوء على التحول من التلقين الهش والضبط الدقيق المكلف نحو توجيه التنشيط الموزع والفعال للتحكم القابل للتوسع في النماذج التوليدية.