ملخص تقني: تشخيص وتصحيح حذف المفاهيم في نماذج المحولات الانتشارية متعددة الوسائط

بيان المشكلة

حققت نماذج المحولات الانتشارية متعددة الوسائط (MM-DiT)، مثل FLUX وStable Diffusion 3.5، تقدماً كبيراً في توليد الصور من النصوص (T2I). ومع ذلك، فإنها تعاني بشكل متكرر من حذف المفاهيم (concept omission)، وهو نمط فشل حيث تغيب كائنات محددة مطلوبة في النص الوصفي (Prompt) تماماً من الصورة المتولدة (حذف الكائن)، أو حيث يتم تجاهل الخصائص البصرية لهذه الكائنات (إهمال الصفات). تتطلب الحلول الحالية غالباً تدريباً إضافياً للنموذج أو تترتب عليها تكاليف حوسبية عالية أثناء الاستدلال. علاوة على ذلك، ركزت أبحاث القابلية للتفسير السابقة بشكل كبير على التضمينات البصرية، تاركةً دور تضمينات النصوص في اكتشاف وتصحيح عمليات الحذف هذه دون استكشاف كافٍ.

المنهجية

1. التشخيص عبر الاختبار الخطي (Linear Probing)

تفترض الورقة أن تضمينات الرموز النصية (text token embeddings) داخل نماذج MM-DiT تحتوي على معلومات تتعلق بوجود أو غياب المفهوم المقابل أثناء عملية التوليد. وللتحقق من ذلك، استخدم الباحثون الاختبار الخطي:

• بناء مجموعة البيانات: قاموا بتوليد صور باستخدام نصوص تحتوي على كائنين (بناءً على GenEval). وقاموا بتصنيف التمثيلات الداخلية بناءً على ما إذا كانت الكائنات قد ظهرت بنجاً في الصورة النهائية أم لا.
• اختيار التمثيل: ركزوا على متجهات المفتاح (key vectors - $k$) للرموز النصية، حيث يُعرف أنها تؤثر بقوة على توليد الصور في بنيات MM-DiT.
• التصفية الزمنية: لاحظ الباحثون أن التوافق بين التمثيلات الداخلية ونتائج التوليد النهائية يكون ضعيفاً في الخطوات الزمنية المبكرة والمتأخرة. وبناءً على ذلك، قصروا تحليلهم على الخطوات الزمنية المتوسطة، حيث يكون الاتفاق بين الصور النظيفة المتوقعة ($\hat{x}_0$) والتسميات النهائية في أعلى مستوياته (0.965).
• النتائج: حققت المصنفات الخطية المدربة على هذه التمثيلات المتوسطة دقة عالية (تصل إلى 91.0%) في رؤوس انتباه (attention heads) محددة، لا سيما في الطبقات الوسطى من النموذج. وهذا يؤكد أن رؤوساً معينة تشفر "إشارة حذف" (omission signal) متميزة تميز بين وجود المفهوم وغيابه.

2. التدخل في إشارة الحذف (OSI)

بالاستفادة من إشارة الحذف المحددة، اقترح المؤلفون التدخل في إشارة الحذف (Omission Signal Intervention - OSI)، وهو طريقة خالية من التدريب تُستخدم أثناء الاستدلال لتصحيح حذف المفاهيم:

• استخراج الاتجاه: قاموا بحساب متجه اتجاه التوجيه ($\delta$) الذي يمثل الفرق بين متوسط متجهات المفتاح للمفاهيم المحذوفة ($y=0$) والمفاهيم الموجودة ($y=1$).
• آلية التدخل: أثناء الاستدلال، يتم التدخل في متجهات المفتاح لرموز المفاهيم المحددة عن طريق إضافة نسخة مُقاسة من متجه الاتجاه هذا:
  $$k^{(t,l,h)}_c \leftarrow k^{(t,l,h)}_c + \alpha \sigma^{(l,h)} \theta^{(l,h)}$$
  حيث أن $\theta$ هو المتجه الاتجاهي الموحد، و$\sigma$ هو الانحراف المعياري للإسقاطات، و$\alpha$ هو معامل فائق يتحكم في قوة التدخل.
• استراتيجية الاستهداف: لتقليل الاضطرابات غير المرغوب فيها، يتم تطبيق التدخل فقط على:
  1. أعلى $K$ من رؤوس الانتباه ذات أعلى دقة اختبار خطي.
  2. فترات زمنية محددة (الخطوات الأولية من عملية التوليد، $t \in [t_{stop}, 1]$)، حيث يحدث تشكل المفهوم بشكل أساسي.

المساهمات الرئيسية

1. التحقق التجريبي: تثبت الورقة أن الرموز النصية في MM-DiT تلتقط المعلومات المتعلقة بالحذف من خلال التفاعل المشترك مع الرموز الصورية، وتحديداً داخل رؤوس انتباه معينة في الخطوات الزمنية المتوسطة.
2. طريقة OSI: تقديم منهجية التدخل في إشارة الحذف، وهي طريقة تعمل أثناء الاستدلار دون الحاجة لإعادة تدريب، حيث تعمل على تضخيم "إشارة الحذف" الداخلية لجعل النموذج مدركاً للمفاهيم المفقودة، مما يحفز توليدها.
3. التحقق الشامل: تم التحقق من فعالية الطريقة عبر فئتين من الاختبارات المرجعية (حذف الكائن وإهمال الصفات) على نموذجين من أحدث النماذج (FLUX.1-Dev وSD3.5-Medium)، مما أظهر تحسناً كبيراً مقارنة بالنماذج المرجعية القوية مثل TACA وPLADIS.

النتائج التجريبية

• حذف الكائن: في مجموعة بيانات GenEval (2-6 كائنات) وT2I-CompBench، تفوقت طريقة OSI بشكل كبير على النماذج المرجعية. على سبيل المثال، في نموذج FLUX مع نصوص تحتوي على 6 كائنات، حققت OSI دقة قدرها 0.40، مقارنة بـ 0.18 للنموذج الأساسي و0.20 لـ TACA/PLADIS.
• إهمال الصفات: حسنت OSI الأداء في مهام ربط الصفات (اللون، الشكل، الملمس) عبر كلا النموذجين. ومن الجدير بالذكر أن تطبيق التدخل على رموز الصفات (بالإضافة إلى رموز الكائنات) أدى إلى مكاسب إضافية، مما يشير إلى أن الإشارة تتجاوز مجرد رموز الكائنات.
• دراسات الاستبعاد (Ablation Studies):
  • الاتجاه: أدى عكس الاتجاه أو استخدام متجهات عشوائية إلى تدهور الأداء أو تحقيق مكاسب ضئيلة، مما يؤكد التوافق الدلالي للاتجاه المستخلص.
  • اختيار الرؤوس: الفشل في مطابقة أداء اختيار أفضل $K$ من الرؤوس عند التدخل في رؤوس ذات دقة منخفضة أو رؤوس عشوائية.
  • خصوصية الرموز: التدخل فقط في الرموز المحذوفة عزز بشكل كبير احتمالية توليدها ودقتها، بينما لم يكن للتدخل في الرموز الموجودة بالفعل تأثير يذكر.
  • المعاملات الفائقة: تتميز الطريقة بالمتانة عبر نطاق واس من معاملات القياس ($\alpha$) وأعداد الرؤوس ($K$)، مع ضبط الإعدادات المثلى لتحقيق التوازن بين المحاذاة وجودة الصورة (مقاسة بـ MANIQA).

الأهمية والادعاءات

تدعي الورقة أن OSI تقدم منظوراً جديداً حول آلية توليد الصور من النصوص من خلال تحديد أن النموذج يمتلك وعياً داخلياً يمكن اكتشافه بالمفاهيم المفقودة. ومن خلال تضخيم هذه الإشارة، يمكن توجيه النموذج لـ "هلوسة" العناصر المفقودة بشكل متعمد.

يضع المؤلفون OSI كحل خالٍ من التدريب وفعال حوسبياً، يعالج مشكلة حذف المفاهيم دون الحاجة إلى ضبط دقيق (fine-tuning) أو تحسين معقد للقيود. ويؤكدون أنه بينما تحسن الطريقة من القدرة على التحكم، إلا أنها لا تُدخل معرفة جديدة إلى النموذج، بل توجه التمثيلات الموجودة بالفعل. ويشير العمل إلى أن فهم ومعالجة "إشارات الحذف" الداخلية يعد مساراً قابلاً للتطبيق لتحسين دقة نماذج الانتشار متعددة الوسائط.