Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التحيز هو فضاء جزئي، وليس إحداثياً: إعادة تفكير هندسي في إزالة التحيز البعدي في نماذج الرؤية واللغة."

١. بيان المشكلة

أصبحت نماذج الرؤية واللغة (VLMs) أساسية للمهام متعددة الوسائط، لكنها ترث وتضخم التحيزات الديموغرافية (مثل النوع الاجتماعي، العرق، العمر) من بيانات التدريب الخاصة بها. تظهر هذه التحيزات في شكل ترتيب استرجاع منحاز، وتوصيفات نمطية، وتنبؤات غير عادلة.

بينما تُفضل طرق إزالة التحيز البعدي (post-hoc debiasing) (التي تعمل على النماذج المجمدة) على إعادة التدريب بسبب كفاءتها، فإن الطريقة الحالية الأكثر تطوراً، وهي SFID (التضمين الانتقائي للميزات لإزالة التحيز)، تعتمد على افتراض هندسي معيب: وهو أن التحيز يتركز في مجموعة صغيرة ومنفصلة من إحداثيات التضمين. يرى المؤلفون أن هذا النهج القائم على الإحداثيات يعاني من ثلاثة قيود حرجة:
١. تشابك الميزات: تتشارك السمات المختلفة (مثل النوع الاجتماعي والعرق) في أبعاد التضمين المتداخلة. لذا، فإن إزالة الإحداثيات لسمة واحدة يؤدي دون قصد إلى تشويه سمات أخرى.
٢. ضعف التعميم عبر مجموعات البيانات: تختلف مؤشرات الأبعاد "المهمة" عبر مجموعات البيانات المختلفة، مما يجعل قيم التضمين المستندة إلى الإحداثيات والتي تم تعلمها على مجموعة بيانات واحدة (مثل FairFace) غير فعالة على مجموعة أخرى (مثل FACET).
٣. إزالة غير كاملة للتحيز: التحيز ليس متركزاً في أعلى ($m$) من الإحداثيات، بل يتوزع عبر فضاء خطي جزئي أوسع. إن استبدال الإحداثيات العليا فقط يترك إشارات تحيز لا تزال قابلة للفك الخطِي بشكل كبير.

٢. المنهجية: إزالة التحيز عبر إسقاط الفضاء الجزئي (SPD)

يقترح المؤلفون إزالة التحيز عبر إسقاط الفضاء الجزئي (SPD)، وهو إطار عمل مبني على أسس هندسية يعامل التحيز كفضاء خطي جزئي مستمر بدلاً من إحداثيات منفصلة. تتكون الطريقة من ثلاث مراحل:

أ. تحديد الفضاء الجزئي للتحيز (عبر INLP)

بدلاً من اختيار إحداثيات محددة، يستخدم SPD طريقة إسقاط الفضاء الصفري التكراري (INLP) لتحديد الفضاء الجزئي الخطي الذي تمتد فيه الاتجاهات المتنبئة بالسمات الحساسة.
١. يتم تدريب مصنف خطي للتنبؤ بالسمة الحساسة من التضمينات.
٢. يتم تحليل مصفوفة الوزن لهذا المصنف (عبر تحليل QR) لاستخراج أساس متعامد ($U^{(t)}$) يمثل الاتجاهات التمييزية.
٣. يتم إسقاط التضمينات على الفضاء الصفري لهذه الاتجاهات لإزالة إشارة السمة.
٤. تتكرر هذه العملية تكرارياً ($T$ من المرات) لالتقاط عدة اتجاهات مترابطة، مما يشكل الفضاء الجزئي النهائي للتحيز $U \in \mathbb{R}^{d_b \times D}$.

ب. إسقاط الفضاء الجزئي

بمجرد تحديد الفضاء الجزئي للتحيز $U$، يقوم النموذج بإسقاط التضمين المدخل $x$ على المتمم المتعامد لـ $U$:
$$x' = x(I - U^\top U)$$
تعمل هذه العملية على إزالة مكون التضمين الواقع ضمن الفضاء الجزئي للتحيز، مما يؤدي بفعالية إلى كبح معلومات السمة القابلة للفك الخطي.

ج. إعادة الحقن المحايد

يمكن لعملية الإسقاط الصرفة أن تسبب "انزياحاً عن المنوع" (off-manifold drift)، مما يؤدي إلى تدهور الدقة الدلالية وأداء المهمة. ولمواجهة ذلك، يعيد SPD حقن متوسط محايد ($\bar{x}_{low}$) على طول الفضاء الجزئي الذي تمت إزالته.
١. يستخدم مصنف "الغابة العشوائية" (Random Forest) لتقدير ثقة التنبؤ لكل عينة.
٢. يتم حساب متوسط التضمين لـ العينات ذات الثقة المنخفضة (تلك التي يكون فيها المصنف غير متأكد) كـ $\bar{x}_{low}$.
٣. يتم إسقاط هذا المتوسط المحايد مرة أخرى على الفضاء الجزئي للتحيز وإضافته إلى التضمين المزيل للتحيز:
$$x'' = x' + U^\top (U \bar{x}_{low})$$
تعمل هذه الخطوة على إعادة تمركز التضمينات دون إعادة إدخال التباين الخاص بالسمة، مما يحافظ على البنية الدلالية مع الحفاظ على العدالة.

٣. المساهمات الرئيسية

١. الرؤية الهندسية: تثبت الورقة أن التحيز الديموغرافي في نماذج الرؤية واللغة هو بنية فضاء جزئي ومتشابكة، وليست إحداثيات متفرقة. وهذا يتحدى الافتراض الأساسي لطرق إزالة التحيز القائمة على الإحداثيات.
٢. إطار عمل SPD: طريقة مبتكرة، لا تتطلب تدريباً، وتعمل بعد عملية التدريب (post-hoc) لإزالة التحيز عبر إسقاط الفضاء الجزئي المستمر بدلاً من استبدال الإحداثيات المنفصلة.
٣. آلية إعادة الحقن المحايد: تقنية للحفاظ على الدقة الدلالية عبر إعادة تمركز التضمينات باستخدام إحصائيات العينات ذات الثقة المنخفضة، مما يخفف من فقدان المنفعة المرتبط غالباً بعمليات إزالة التحيز القوية.
٤. التحليل المنهجي: دراسة إعادة إنتاج دقيقة لـ SFID تثبت تجريبياً فشله في التعامل مع تشابك الميزات، والتعميم عبر مجموعات البيانات، والإزالة الكاملة للتحيز.

٤. النتائج التجريبية

قيم المؤلفون SPD عبر ثلاث مهام تابعة باستخدام عدة نماذج خلفية للرؤية واللغة (CLIP ResNet-50, CLIP ViT-B/32, XVLM) ونماذج توليدية (SDXL, CoDi).

• التصنيف بدون تدريب (معيار FACET):
  • حقق SPD أدنى فجوات التكافؤ الديموغرافي ($\Delta DP$) عبر جميع النماذج الخلفية.
  • حسن مقاييس العدالة بمتوسط 13.8% إلى 16.0% مقارنة بالنماذج المرجعية مع الحفاظ على الدقة أو تحسينها قليلاً.
• استرجاع الصور من النصوص (Flickr30K):
  • قلل SPD بشكل كبير من انحراف الاسترجاع ($Skew@100$) مقارنة بـ SFID والنماذج المرجعية الأخرى.
  • بالنسبة لنموذج CLIP ViT-B/32، حقق SPD تحسناً بنسبة 59.4% في العدالة مع تحسين Recall@1 في الوقت نفسه.
• توليد الصور من النصوص:
  • قلل SPD من معدلات عدم التطابق بين الجنسين للمطالبات المتعلقة بالجنس، وأنتج توزيعات أكثر توازناً للمطالبات المحايدة مقارنة بالطرق التنافسية أو القائمة على المطالبات (prompts).
  • حافظ على جودة إدراكية عالية، متجنباً عدم الاستقرار الذي تسببه الطرق المتبقية التنافسية.
• دراسات الاستئصال (Ablation Studies):
  • أدت إزالة خطوة "إعادة الحقن المحايد" إلى انخفاض في الدقة، مما يؤكد دورها في الحفاظ على الدقة الدلالية.
  • يعمل عمق الإسقاط ($r$) كمقبض قابل للضبط للموازنة بين العدالة والمنفعة؛ حيث قدمت القيم المتوسطة (مثل $r=5$) أفضل توازن.

٥. الأهمية

يحدث هذا العمل تحولاً جوهرياً في نموذج إزالة التحيز البعدي من تعديل الإحداثيات إلى هندسة الفضاء الجزئي. من خلال إدراك أن التحيز موزع ومتشابك، يقدم SPD حلاً أكثر قوة وقابلية للتعميم والتفسير. إنه يثبت أن إزالة التحيز الفعالة لا تتطلب إعادة تدريب مكلفة أو هندسة مطالبات معقدة؛ بل يمكن تحقيقها من خلال عمليات جبر خطي مبدئية على التضمينات المجمدة. يوفر هذا النهج إطاراً موحداً لتخفيف التحيز متعدد السمات مع الحفاظ على سلامة التعميم للأنظمة متعددة الوسائط.