A Closed-Form Solution for Debiasing Vision-Language Models with Utility Guarantees Across Modalities and Tasks

إليك ملخص تقني مفصل للورقة البحثية بعنوان "حل مغلق الصيغة لإزالة التحيز من نماذج الرؤية واللغة مع ضمانات المنفعة عبر الوسائط والمهام المختلفة."

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs)، مثل CLIP، أداءً رائدًا من خلال التدريب على أزواج هائلة من الصور والنصوص المستخرجة من الويب. ومع ذلك، تحتوي هذه المجموعات بطبيعتها على تحيزات اجتماعية (مثل الصور النمطية الجندرية التي تربط "الممرضة" بـ "الأنثى" و"الطبيب" بـ "الذكر") وارتباطات زائفة. وعند نشر هذه النماذج في مهام لاحقة (مثل تصنيف الصور، أو الاسترجاع، أو التوليد)، تنتشر هذه التحيزات، مما يؤدي إلى مخرجات تمييزية.

تواجه طرق إزالة التحيز الحالية خمس عوائق حرجة:

1. التحيز متعدد الوسائط: تكتفي العديد من الطرق بإزالة التحيز من تمثيلات النصوص أو الصور فقط، متجاهلة أن التحيز مشفر في المحاذاة بين الوسائط (cross-modal alignment).
2. تكلفة التدريب: تتطلب معظم الأساليب إعادة التدريب أو إضافة شبكات مساعدة (مثل الرؤوس التنافسية)، مما يزيد من التكلفة الحسابية وتعقيد النموذج.
3. الاعتماد على البيانات: تعتمد العديد من الطرق على مجموعات بيانات مصنفة بسمات حساسة (الجنس، العرق)، والتي يصعب جمعها بسبب القيود المتعلقة بالخصوصية والأخلاقيات.
4. خصوصية المهام: غالبًا ما تستهدف الحلول الحالية مهمة واحدة (مثل التصنيف صفري المعرفة) وتفشل في التعميم عبر مهام متنوعة مثل استرجاع النص إلى صورة أو التوليد.
5. فقدان المنفعة: غالبًا ما تؤدي عملية إزالة التحيز إلى تدهور أداء النموذج (المنفعة). وتفتقر الطرق الحالية إلى ضمانات نظرية للحفاظ على المنفعة الدلالية أو المحاذاة بين الوسائط.
6. العمى التقاطعي: تركز معظم الطرق على العدالة الجماعية (سمة واحدة) بدلاً من العدالة التقاطعية (مزيج من السمات، مثل الجنس × العرق).

2. المنهجية

يقترح المؤلفون حلاً مغلق الصيغة (closed-form solution)، لا يتطلب تدريبًا ولا بيانات، يعمل مباشرة في فضاء التمثيل عبر الوسائط. تتكون الطريقة من مرحلتين رئيسيتين:

أ. بناء النماذج الأولية للمجموعات بتوجيه من النماذج اللغوية الكبيرة (LLM)

بدلاً من الاعتماد على بيانات مصنفة مسبقًا، تستخدم الطريقة نموذجًا لغويًا كبيرًا لبناء "نماذج أولية للمجموعات" (group prototypes) بشكل ديناميكي.

1. المدخلات: مطالبة محايدة (مثلاً: "صورة لطبيب").
2. معالجة الـ LLM: بالنسبة لسمة حساسة محددة (مثل الجنس) ومجموعة معينة (مثل "ذكر")، يقوم الـ LLM بـ:
   • إدراج مواصفات المجموعة داخل المطالبة (مثلاً: "صورة لطبيب ذكر").
   • توليد متغيرات لغوية متعددة لهذه المطالبة (مثلاً: "صورة لرجل طبيب"، "صورة لطبيب ذكوري") لالتقاط التنوع الدلالي للمجموعة.
3. تجميع النماذج الأولية: يقوم مشفر النصوص بتوليد تمثيلات (embeddings) للمطالبة الأصلية ومتغيراتها. ويتم حساب النموذج الأولي للمجموعة ($\vec{p}_g$) كمتوسط كروي لهذه التمثيلات على الفضاء الكروي الوحدة.
4. الفضاء الفرعي للسمة ($\mathcal{A}$): تحدد الطريقة "اتجاه السمة" كفرق بين النماذج الأولية للمجموعات (مثلاً: $\vec{a} = \vec{p}_{male} - \vec{p}_{female}$). الفضاء الفرعي للسمة $\mathcal{A}$ هو الامتداد (span) لهذه الاتجاهات.

ب. البحث عن التمثيل منزوع التحيز مغلق الصيغة

الهدف هو إيجاد تمثيل منزوع التحيز $\vec{u}$ يكون متعامدًا مع الفضاء الفرعي للسمة $\mathcal{A}$ (لإزالة التحيز) مع البقاء قريبًا من التمثيل الأصلي $\vec{e}$ (للحفاظ على المنفعة).

1. التفكيك: باستخدام نظرية التفكيك المتعامد، يتم تقسيم أي تمثيل $\vec{e}$ إلى مكون موازٍ لـ $\mathcal{A}$ (تسرب التحيز، $\vec{e}_{A\parallel}$) ومكون متعامد مع $\mathcal{A}$ (المحتوى المحايد، $\vec{e}_{A\perp}$).
2. صياغة الأمثلة (Optimization): تتم صياغة المشكلة كتقليل لمجموع مرجح من تسرب السمة (العدالة) وفقدان المنفعة الذاتية (الحفاظ على الدلالة).
   • المنفعة الذاتية: تشابه جيب التمام بين $\vec{u}$ و $\vec{e}$.
   • المنفعة المتبادلة: الحفاظ على المحاذاة بين أزواج الصور والنصوص.
3. الحل الأمثل لباريتو (Pareto-Optimal): يثبت المؤلفون أن الحل الأمثل يقع على جبهة باريتو. ولتجنب ضبط المعلمات الفائقة الخاص بكل مهمة، يشتقون حلاً مغلق الصيغة باستخدام تدرج تشيبيشيف (Chebyshev scalarization) (تقليل أسوأ حالة خسارة).
   • يتم اشتقاق المعلمة المثلى $\alpha^*$ تحليليًا، لموازنة المقايضة بين إزالة التحيز والحفاظ على المحتوى الدلالي الأصلي.
   • التمثيل النهائي منزوع التحيز هو: $\vec{u}^* = \sqrt{1-(\alpha^*)^2}\frac{\vec{e}_{A\perp}}{\|\vec{e}_{A\perp}\|} + \alpha^*\frac{\vec{e}_{A\parallel}}{\|\vec{e}_{A\parallel}\|}$.

الضمان النظري الرئيسي: توفر الطريقة حدًا نظريًا علويًا لفقدان المنفعة، مما يثبت أن الحل المقترح يحقق عدالة مثالية لباريتو مع تدهور محدود في أداء المهام.

3. المساهمات الرئيسية

1. حل مغلق الصيغة: أول طريقة توفر حلاً نظريًا مغلق الصيغة لإزالة التحيز من نماذج الرؤية واللغة في الفضاء عبر الوسائط، مما يضمن عدالة مثالية لباريتو مع فقدان محدود للمنفعة.
2. لا يتطلب تدريبًا ولا بيانات: لا تتطلب الطريقة إعادة تدريب النموذج، ولا معاملات شبكة إضافية، ولا مجموعات بيانات مصنفة بسمات حساسة. فهي تعتمد فقط على مشفرات النموذج الموجودة واستخدام LLM لهندسة المطالبات.
3. إزالة التحيز المشترك للوسائط: على عكس الأعمال السابقة التي تركز على النصوص أو الصور بشكل منفصل، تقوم هذه الطريقة بإزالة التحيز من كلتا الوسيطين معًا، مما يعالج السبب الجذري للتحيز في المحاذاة عبر الوسائط.
4. العدالة التقاطعية: يمتد الإطار بشكل طبيعي ليشمل العدالة التقاطعية (مثل الجنس $\times$ العرق) عن طريق تحديد نماذج أولية للمجموعات للتركيبات التقاطعية.
5. استقلالية المهمة: الطريقة قابلة للتطبيق عبر مهام متنوعة، بما في ذلك التصنيف الصفر معرفة للصور، واسترجاع النص إلى صورة، وتوليد النص إلى صورة.

4. النتائج التجريبية

تم تقييم الطريقة على نماذج CLIP (ببنيتي ViT-L/14 و ResNet50) و BLIP عبر ثلاث مهام:

• التصنيف الصفر معرفة للصور (CelebA, FACET):

  • حققت أفضل أو ثاني أفضل مقاييس العدالة (انتهاك تكافؤ الفرص) عبر جميع النماذج المرجعية.
  • الأهم من ذلك، حافظت على المنفعة أو حسنتها (درجة F1)، بينما عانت الطرق الأخرى (مثل SFID و FairerCLIP) من انخفاض كبير في الأداء.
  • تعاملت بنجاح مع العدالة التقاطعية (الجنس $\times$ العمر) دون الحاجة لبيانات مصنفة.

• استرجاع النص إلى صورة (Flickr30K, COCO2017):

  • قللت بشكل كبير من التحيز (MaxSkew@M) في النتائج المسترجعة.
  • حافظت على درجات عالية من Recall@K، متفوقة على الطرق القائمة على التدريب مثل PromptArray و FairerCLIP.

• توليد النص إلى صورة (Stable Diffusion v2.1):

  • ولدت توزيعات جندرية متوازنة للمطالبات المحايدة (مثلاً: "صورة لطبيب").
  • الحفاظ على المنفعة: على عكس Orth-Proj و Orth-Cali، اللذين أديا إلى تدهور قدرة النموذج على توليد صور محددة جندريًا عند طلبها صراحة، حافظت هذه الطريقة على درجات عالية من CLIP و دقة التوليد (AccG) للمطالبات الصريحة.

• دراسات الاستئصال (Ablation Studies): أكدت أن استخدام المتغيرات المولدة بواسطة LLM (بدلاً من المرابط المفردة) وإزالة التحيز من كلا الوسيطين أمران ضروريان للأداء الأمثل.

5. الأهمية

تمثل هذه الورقة تحولًا جذريًا في مجال إزالة التحيز من نماذج الرؤية واللغة عبر الانتقال من النهج المعقد والمستهلك للبيانات والقائم على التدريب إلى حل هندسي وتحليلي.

• الواقعية: كونها لا تتطلب تدريبًا أو بيانات، فإنها تخفض حاجز نشر الذكاء الاصطناعي العادل، مما يجعل الأمر متاحًا للمؤسسات التي لا تملك الوصول إلى مجموعات بيانات السمات الحساسة أو موارد حوسبة ضخمة.
• الدقة النظرية: إن توفير الحلول مغلقة الصيغة وحدود المنفعة يعالج فجوة كبيرة في الأدبيات، حيث كان التعامل مع إزالة التحيز غالبًا كاستدلال تجريبي ذي آثار جانبية غير متوقعة على أداء النموذج.
• النهج الشامل: من خلال معالجة العدالة التقاطعية وتحيز الوسائط المشترك، تقدم الطريقة حلاً أكثر قوة وواقعية لنشر الذكاء الاصطناعي في العالم الحقيقي حيث ينتمي الأفراد إلى مجموعات حساسة متعددة في آن واحد.

باختاً، يثبت المؤلفون أنه من الممكن رياضياً "طرح" التحيز من تمثيلات نماذج الرؤية واللغة دون "طرح" ذكاء النموذج أو منفعته، مما يوفر مسارًا قابلًا للتوسع ومبنياً على أسس نظرية نحو ذكاء اصطناعي عادل.