ملخص تقني: DebFilter

بيان المشكلة

تعاني نماذج الانتشار من نص إلى صورة (Text-to-image diffusion models)، رغم تكافؤها نظرياً مع النماذج التوليدية القائمة على الدرجة (score-based generative models)، من تحيزات اجتماعية ودلالية متأصلة. هذه التحيزات — وتحديداً فيما يتعلق بالنوع الاجتماعي، والعمر، والمهنة — مشفرة داخل تمثيلات النصوص المستخرجة من نماذج الرؤية واللغة سابقة التدريب (مثل CLIP). وخلال عملية إزالة الضجيج (denoising)، يتم نقل هذه التمثيلات المتحيزة وتضخيمها عبر آليات التوجيه الخاصة بالنموذج، لا سيما طبقات الانتباه المتقاطع (cross-attention layers). ونتيجة لذلك، غالباً ما تؤدي المطالبات المحايدة (على سبيل المثال: "شخص يعمل كطبيب") إلى مخرجات منحازة أو نمطية. تعتمد استراتيجيات التخفيف الحالية عادةً على إعادة التدريب المكلفة حوسبياً أو الضبط الدقيق (fine-tuning) لشبكة الدرجة أو مشفر النص، مما يتطلب مجموعات بيانات متوازنة وموارد واسعة، وهو ما يحد من عمليتها في التطبيقات الواقعية.

المنهجية: DebFilter

يقترح المؤلفون DebFilter، وهو إطار عمل خفيف الوزن وخالٍ من التدريب، مصمم لتخفيف التحيزات أثناء مرحلة الاستدلال لنماذج الانتشار من نص إلى صورة. تعمل الطريقة عن طريق التعديل الانتقائي لمكونات القيمة (value components) ضمن آلية الانتباه المتقاطع، بدلاً من تعديل أوزان النموذج.

الآلية الجوهرية

1. تصحيح التحيز عبر تعديل القيمة: تلاحظ الطريقة أن تنبؤ النموذج للخطأ عند كل خطوة إزالة ضجيج يتأثر بشكل أساسي بديناميكيات الانتباه المتقاطع. وتحديداً، يحدد التضمين الشرطي $c$ تمثيلات المفتاح والقيمة. يقدم DebFilter متجه تصحيح التحيز $\Delta c$ إلى الإشارة الشرطية الأصلية.
2. محاذاة الانتباه المتقاطع: تهدف الطريقة إلى محاذاة مخرج الانتباه المتقاطع لمطالبة محايدة $c$ مع مطالبة صريحة مصححة للتحيز $c'$ (على سبيل المثال: محاذاة "طبيب" مع "طبيبة").
   • يتم التعامل مع تنبؤ إزالة الضجيج $\hat{\epsilon}_\theta(z_t, c)$ كدالة لمخرجات الانتباه المتقاطع.
   • تحسب الطريقة متجه القيمة المستهدف $\hat{v}_m$ لمؤشر رمز محدد $m$ (المقابل للمفهوم المنحاز) عن طريق حل مشكلة تحسين المربعات الصغرى (least-squares optimization). يعمل هذا التحسين على تقليل الفرق بين مخرج الانتباه المتقاطع المصدر والمخرج المستهدف المستمد من المطالبة الصريحة.
3. تقدير التوجيه الموحد: بما أن شبكة U-Net تحتوي على كتل انتباه متعددة ذات أعماق ورؤوس متباينة، تقوم الطريقة بتقدير متجه القيمة المستهدف بشكل مستقل لكل طبقة ورأس. ثم يتم تجميع هذه التقديرات باستخدام انحدار المربعات الصغرى الموزون لاستخلاص تضمين موحد غير منحاز $c^{new}_m$.
4. توجيه التصحيح المستقر (DebFilter): لضمان القابلية للتوسع وتجنب حساب التصحيحات لكل مطالبة، تحسب الطة الإزاحة $\Delta c = c^{new}_m - c_m$ عبر مطالبات متعددة وتقوم بمتوسطها. يعمل هذا المتوسط الإزاحي، المسمى DebFilter، كاتجاه تصحيح ثابت وعالمي قابل للتطبيق على أي مطالبة تحتوي على المفهوم المستهدف.
5. التطبيق أثناء الاستدلال: خلال الاستدلال، يتم إضافة هذا الإزاف الثابت إلى التضمين الشرطي. تركز الطريقة على خطوات إزالة الضجيج المبكرة (عادةً الخطوتين الأوليين) حيث يتم تحديد الهياكل الخشنة والسمات عالية المستوى، مما يضمن عدم تداخل تصحيح التحيز مع عمليات صقل الملمس أو الأسلوب اللاحقة.

الميزات الرئيسية

• خالٍ من التدريب: لا يتطلب بيانات إضافية أو تحديثات للنموذج.
• تحكم دقيق: من خلال تحديد مؤشرات الرموز المحددة، تسمح الطريقة بالتحكم على مستوى الكائن في المشاهد متعددة الكائنات (على سبيل المثال: تغيير جنس "الطبيب" مع إبقاء "الممرضة" دون تغيير).
• القابلية للعكس: يمكن عكس متجه التصحيح (عن طريق تغيير الإشارة) لتطبيق المرشح في الاتجاه المعاكس (على سبيل المثال: من ذكر إلى أنثى مقابل من أنثى إلى ذكر).

المساهمات الرئيسية

1. إزالة التحيز دون تدريب: تقديم طريقة لـ Stable Diffusion تخفف التحيز عن طريق تعديل آليات الانتباه المتقاطع أثناء الاستدلال، مما يلغي الحاجة لإعادة التدريب.
2. التحكم على مستوى الكائن: إثبات القدرة على التحكم المستهدف في الصور متعددة الكائنات، مما يسمح بإزالة التحيز لمفاهيم محددة مع الحفاظ على الاتساق المكاني والسمات الأخرى.
3. القابلية للتوسع العملي: تقديم نهج مرن يحسن العدالة دون تغيير بنية النموذج أو طلب مجموعات بيانات مخصصة لإزالة التحيز لكل تطبيق جديد.

النتائج التجريبية

قيم المؤلفون DebFilter على Stable Diffusion v2.1 (و SDXL لمقارنات محددة) باستخدام مقاييس تحيز النوع الاجتماعي والعمر.

• تخفيف تحيز النوع الاجتماعي:
  • تم التقييم على 87 مهنة (58 مهنة يهيمن عليها الذكور، و29 مهنة تهيمن عليها الإناث).
  • نسبة التحيز ($\Delta$): قلل DebFilter بشكل كبير من الانحراف المطلق المعياري عن توازن النوع الاجتماعي بنسبة 50% عبر المهن، متفوقاً على النماذج المرجعية مثل TIME و UCE و MIST.
  • درجة الانتقال (TS): حققت الطريقة درجة انتقال قريبة من النسبة المستهدفة (مثلاً 0.5)، مما أظهر تحكماً دقيقاً في نسبة العينات المصححة.
  • الانحراف (Skew): حقق DebFilter أدنى درجة انحراف (SKEW) بلغت (62.1) مقارنة بالطرق الأخرى، مما يشير إلى توزيع أكثر توازناً للنوع الاجتماعي عبر المهن.
  • درجة CLIPScore: حافظت الصور غير المنحازة على توافق عالٍ مع مطالبات النص، وغالباً ما طابقت أو تجاوزت درجات CLIPScore للنموذج الأصلي، مما يؤكد الحفاظ على الأمانة الدلالية.
• تخفيف تحيز العمر:
  • نجح في تخفيف تحيزات العمر للمهن المرتبطة بمجموعات عمرية محددة (مثل "صانع الساعات" مقابل "باريستا").
  • عدلت الطريقة بشكل طبيعي السمات البصرية مثل تسريحة الشعر وملمس الجلد مع الحفاظ على الحركة والخلفية.
• سيناريوهات الكائنات المتعددة:
  • أظهر القدرة على تطبيق مرشحات إزالة تحيز مختلفة لكائنات مختلفة ضمن مطالبة واحدة (على سبيل المثال: "طبيب وممرضة")، ونجح في عكس تمثيلات النوع الاجتماعي لكيانات محددة دون التأثير على الآخرين.

الأهمية والادعاءات

يدعي البحث أن DebFilter يوفر مساراً قابلاً للتوسع وفعالاً نحو توليد صور أكثر عدلاً وشمولية. ومن خلال العمل بالكامل في وقت الاستدلال، تعالج الطريقة عدم الجدوى الحوسبية لإعادة تدريب النماذج واسعة النطاق. ويؤكد المؤلفون أن طريقتهم توفر تحكماً دقيقاً وقابلاً للتفسير في قوة إزالة التحيز مع الحفاظ على الأمانة الدلالية للمخرجات المولدة.

تكمن الأهمية في إثبات أن الاضطرابات الطفيفة في التوجيه النصي يمكن أن تعيد تشكيل مشهد دالة الدرجة (score-function landscape) بفعالية لقمع التحيزات الكامنة. يضع المؤلفون DebFilter ليس كبديل لتنقية البيانات أو إعادة تدريب النماذج، بل كحل عملي وفوري لتخفيف التحيزات الاجتماعية في النماذج التوليدية المستخدمة. كما يشيرون إلى أن الطريقة قابلة للتوسع لتشمل مفاهيم تحيز أخرى مثل العرق أو السمات الثقافية، رغم أن تجاربهم الحالية تركز على النوع الاجتماعي والعمر.

يخلص البحث إلى أن تعديل التوجيه المحكوم يوفر آلية قوية للإبداع المدفوع بالذكاء الاصطناعي المسؤول اجتماعياً، مما يعزز الشمولية والقدرة على التحكم في النماذج التوليدية دون الأعباء الإضافية للتدريب.