🤖 AI

Interpretable Debiasing of Vision-Language Models for Social Fairness

تقدم هذه الورقة DeBiasLens، وهو إطار عمل قابل للتفسير ومستقل عن النموذج يستخدم المشفرات التلقائية المتفرقة لتحديد وتعطيل عصبونات السمات الاجتماعية بشكل انتقائي داخل نماذج الرؤية واللغة، مما يؤدي إلى تخفيف التحيزات الاجتماعية دون المساس بالمعرفة الدلالية.

المؤلفون الأصليون: Na Min An, Yoonna Jang, Yusuke Hirota, Ryo Hachiuma, Isabelle Augenstein, Hyunjung Shim

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Na Min An, Yoonna Jang, Yusuke Hirota, Ryo Hachiuma, Isabelle Augenstein, Hyunjung Shim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكيًا جدًا وسريعًا للغاية يُدعى نموذج لغة-رؤية (VLM). لقد قرأ هذا الأمين مليارات الكتب ونظر إلى مليارات الصور. ولأنه تعلم من العالم الحقيقي، فقد تعلم أيضًا الصور النمطية الموجودة في العالم.

إذا سألته: "أرني صورة لرئيس تنفيذي (CEO)"، فقد يعرض لك فقط صور رجال يرتدون بدلات رسمية، رغم أن النساء أيضًا رئيسات تنفيذيات. وإذا سألته: "هل هذا الشخص ممرض؟"، فقد يجيب بـ "لا" إذا بدا الشخص رجلاً، لأنه تعلم أن الممرضين عادة ما يكونون من النساء.

المشكلة هي أن هذا الأمين عبارة عن "صندوق أسود". يمكننا رؤية إجاباته، لكننا لا نعرف لماذا يقدم تلك الإجابات المتحيزة. الأمر يشبه محاولة إصلاح ساعة معطلة دون السماح لك بفتح ظهرها لرؤية التروس.

المشكلة في الحلول الحالية

يحاول معظم الناس إصلاح هذا الأمين عن طريق:

إعادة كتابة ذاكرته: إجباره على إعادة تعلم كل شيء من الصفر (وهذا أمر مكلف وبطيء جدًا).
وضع مرشح (فلتر) على عينيه: إخباره: "لا تنظر إلى الجنس"، لكن هذا غالبًا ما يجعله ينسى كيفية أداء وظيفته بشكل صحيح (مثل نسيان كيفية التمييز بين القطة والكلب).

هذه الأساليب تشبه محاولة إصلاح أنبوب مسرب عن طريق طلاء الجدار فوقه. الماء (التحيز) لا يزال يتسرب في الداخل، وقد يبدأ الجدار في الانهيار (أي يصبح النموذج أسوأ في أداء مهمته).

الحل الجديد: DEBIASLENS

قام مؤلفو هذه الورقة البحثية ببناء أداة تسمى DEBIASLENS. فكر فيها كأنها نظارات أشعة سينية (X-ray) عالية التقنية تسمح لنا برؤية التروس الصغيرة داخل عقل أمين المكتبة دون تفكيك الساعة.

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. حديقة "العصبونات"

تخيل أن عقل أمين المكتبة هو حديقة ضخمة تحتوي على ملايين النباتات الصغيرة (التي تسمى العصبونات).

بعض النباتات تساعد الأمين على التعرف على "قطة".
بعض النباتات تساعده على التعرف على "الحزن".
لسوء الحظ، نمت بعض النباتات بشكل عشوائي وهي لا تظهر إلا عند الحديث عن "الرجال" أو "النساء" في وظائف معينة. هذه هي "نباتات التحيز".

2. "المشفّر التلقائي المتناثر" (SAE) - عدسة البستاني

استخدم الباحثون أداة خاصة تسمى المشفّر التلقائي المتناثر (Sparse Autoencoder - SAE). فكر في هذا كأنه بستاني ذكي للغاية يمكنه النظر إلى الحديقة والقول:

"آه، أرى تلك النبتة المحددة هناك؟ إنها لا تضيء إلا عندما نتحدث عن 'ممرضة أنثى'. هذه نبتة تحيز!"

عادةً ما تكون هذه النباتات متشابكة مع نباتات أخرى (مثل اختلاط مفهوم "ممرض" مع مفهوم "أنثى"). يقوم الـ SAE بفك هذا التشابك، وفصل مفهوم "الممرض" عن مفهوم "الأنثى". إنه يجد النبتة المحددة المسؤولة عن التحيز.

3. "إزالة التحيز" - خفض مستوى الصوت

بمجرد أن يجد البستاني "نباتات التحيز"، فإنه لا يقتلعها (لأن ذلك قد يضر بالحديقة). بدلاً من ذلك، يقوم فقط بـ خفض مستوى صوت تلك النباتات المحددة.

قبل: عندما تسأل عن رئيس تنفيذي، تصرخ نبتة "الرئيس التنفيذي الذكر" بصوت عالٍ بنسبة 100%.
بعد استخدام DEBIASLENS: يتم خفض صوت نبتة "الرئيس التنفيذي الذكر" إلى 10% فقط. لا يزال الأمين يعرف ما هو الرئيس التنفيذي، لكنه لا يفترض تلقائيًا أنه رجل.

لماذا هذا الأمر مميز؟

إنه شفاف: نحن نعرف بالضبط أي النباتات قمنا بخفض صوتها. نحن لا نخمن.
إنه دقيق: نحن نلمس فقط نباتات التحيز. أما النباتات التي تساعد الأمين على التعرف على القطط والكلاب والمسائل الرياضية فتظل تعمل بوضوح وقوة.
يعمل في كل مكان: يعمل على كل من "العينين" (التعرف على الصور) و"الصوت" (فهم النصوص).

النتائج

اختبر الباحثون هذه الأداة على اثنين من أشهر "الأمناء" (CLIP و InternVL).

قبل: عندما يُطلب منه البحث عن "رئيس تنفيذي"، كان النموذج يظهر الرجال بنسبة 90% من الوقت.
بعد: باستخدام DEBIASLENS، أظهر النموذج الرجال والنساء بشكل أكثر تساوٍ (قريب من 50/50).
والأفضل من ذلك: لم يصبح الأمين "أغبى". بل ظل جيدًا جدًا في الإجابة على الأسئلة والتعرف على الأشياء؛ لقد توقف فقط عن وضع افتراضات غير عادلة.

باختสร (الخلاصة)

DEBIASLENS يشبه المشرط الجراحي للذكاء الاصطناعي. بدلاً من تحطيم الآلة بأكملها لإصلاح مشكلة صغيرة، فإنه يحدد بهدوء التروس الصغيرة المتحيزة بالداخل، ويخفض صوتها، ويترك الآلة تعمل بسلاسة وعدالة. إنه يجعل الذكاء الاصطناعي أكثر موثوقية من خلال جعل "عملية تفكيره" مرئية وقابلة للإصلاح.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Interpretable Debiasing of Vision-Language Models for Social Fairness" (إزالة التحيز القابل للتفسير لنماذج الرؤية واللغة من أجل العدالة الاجتماعية) للباحثين نا مين آن وآخرون.

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) والنماذج الكبيرة من هذا النوع (LVLMs) قدرات مذهلة، لكنها ورثت وغالبًا ما ضخمت التحيزات المجتمعية الموجودة في بيانات التدريب الخاصة بها. وتتجلى هذه التحيزات بطريقتين رئيسيتين:

استرجاع النص إلى الصورة (T2I): تسترجع نماذج مثل CLIP توزيعات ديموغرافية منحازة (مثل صور يغلب عليها الذكور) لمطالبات محايدة مثل "صورة لمدير تنفيذي".
الإجابة على الأسئلة البصرية (VQA): تقدم نماذج مثل InternVL إجابات جازمة ومنحازة للأسئلة الغامضة (مثل افتراض جنس معين لمهنة ما) بدلاً من الإقرار بعدم اليقين.

محدودية الأساليب الحالية: تعتمد أساليب إزالة التحيز الحالية على التعلم اللاحق (الضبط الدقيق، ضبط المطالبات) أو خوارزميات وقت الاختبار (التقليم، هندسة المطالبات). وتعاني هذه الأساليب من قيود حرجة:

نقص التفسير: تتعامل مع النموذج كصندوق أسود، وتفشل في تحديد أين أو كيف يتم تشفير التحيز داخليًا.
مقايضات الأداء: تؤدي تقنيات مثل تقليم الأوزان غالبًا إلى تقليل التحيز على حساب تدهور كبير في قدرات الاستدلال العامة للنموذج.
إصلاحات سطحية: تعالج الأعراض دون تغيير التمثيلات الداخلية الأساسية المسؤولة عن انتشار التحيز.

2. المنهجية: DEBIASLENS

يقترح المؤلفون DEBIASLENS، وهو إطار عمل مستقل عن النموذج وقابل للتفسير، يعمل على تحديد وتعديل "العصبونات الاجتماعية" داخل نماذج الرؤية واللغة دون إعادة تدريب أوزان النموذج الأساسي. تتكون الطريقة من ثلاث مراحل:

أ. تدريب المشفر التلقائي المتناثر (SAE)

البنية: يتم إرفاق SAE بالطبقة الأخيرة من مشفر الصور أو النصوص في نموذج VLM.
الهدف: يقوم SAE بتفكيك مساحة الميزات المتشابكة لمشفر VLM المجمد إلى مساحة كامنة متناثرة وعالية الأبعاد. يتم تدريبه على إعادة بناء الميزات الأصلية مع فرض التناثر.
البيانات: يتم تدريب SAE على مجموعات بيانات الصور الوجهية أو التعليقات (مثل FairFace، Cocogender) دون استخدام تسميات السمات الاجتماعية الصريحة أثناء مرحلة التدريب. الهدف هو ترك SAE يكتشف بشكل طبيعي السمات الكامنة المقابلة للديموغرافيا.
دالة الخسارة: يستخدم خسارة إعادة بناء متعددة المقاييس (Matryoshka SAE) وخسارة مساعدة لضمان إعادة بناء دقيقة عند مستويات مختلفة من التناثر.

ب. سبر العصبونات الاجتماعية (Social Neuron Probing)

الفرضية: ينشأ التحيز الاجتماعي من الارتباطات المتسقة مع ديموغرافيا معينة. لذلك، ستنشط عصبونات محددة في المساحة الكامنة لـ SAE باستمرار لمجموعة معينة (مثل "أنثى") ولكن ليس لمجموعات أخرى.
عملية الاختيار:
1. الفعالية: تحديد العصبونات التي تنشط بقيمة غير صفرية لنسبة عالية ( $\tau$ ) من العينات ضمن مجموعة معينة $g$ .
2. الخصوصية: حساب فرق المجموعة للعصبونات الفعالة لمجموعة $g$ واتحاد العصبونات الفعالة لجميع المجموعات الأخرى. هذا يعزل العصبونات الفريدة للمجموعة $g$ .
3. التصنيف: اختيار أفضل العصبونات ذات أعلى قيم تنشيط متوسطة ضمن المجموعة المستهدفة.
النتيجة: يتم تحديد مجموعة من "العصبونات الاجتماعية" ( $Z_B$ ) لسمات مثل الجنس، العمر، والعرق.

ج. الاستدلال المعدل بالعصبونات الاجتماعية

إلغاء التنشيط: أثناء الاستدلال، يتم ضبط قيم تنشيط العصبونات الاجتماعية المحددة في المتجه الكامن لتصبح صفرًا (أو تعديلها بمعامل $\gamma$ ).
إعادة البناء: يتم تمرير المتجه الكامن المعدل عبر فك تشفير SAE لإنشاء ميزة معاد بناؤها خالية من التحيز ( $\hat{v}$ ).
خلط الميزات: للحفاظ على المعرفة الدلالية العامة مع إزالة التحيز، تكون الميزة النهائية $v'$ عبارة عن مجموع مرجح للميزة الأصلية $v$ والميزة المعاد بناؤها $\hat{v}$ :
$v' = \alpha \hat{v} + (1 - \alpha)v$
حيث يتحكم $\alpha$ في المقايضة بين قوة إزالة التحيز والأداء العام.

3. المساهمات الرئيسية

أول إطار عمل قابل للتفسير: يقدم أول إطار عمل لإزالة التحيز قابل للتطبيق على كل من VLMs و LVLMs يعمل على مستوى العصبون، مما يوفر شفافية حول أي المكونات الداخلية تشفر التحيز.
مستقل عن النموذج ولا يتطلب تسميات (أثناء التدريب): لا تتطلب الطريقة إعادة تدريب نموذج VLM الضخم أو استخدام تسميات ديموغرافية أثناء مرحلة تدريب SAE (تُستخدم التسميات فقط للسبر/الاختيار).
الحفاظ على الأداء العام: من خلال إلغاء تنشيط عصبونات محددة فقط بدلاً من تقليم الأوزان أو الضبط الدقيق، تخفف الطريقة من التحيز مع الحفاظ على الأداء العالي في مهام الاستدلال العامة.
فك تشابك السمات الاجتماعية: يثبت أن SAEs يمكنها بنجًا فك تشابك السمات الاجتماعية (الجنس، العمر، العرق) إلى عصبونات متميزة أحادية المعنى، مما يسمح بمعالجة مستهدفة للتحيزات.

4. النتائج التجريبية

قيم المؤلفون DEBIASLENS على نماذج CLIP (ViT-B/16, ViT-L/14) و InternVL2 / LLaVA-1.5.

تخفيف التحيز (VLMs):
- حقق انخفاضًا بنسبة 9–16% في الحد الأقصى للانحراف (Max Skew) في استرجاع صور CLIP عبر مطالبات متنوعة (صفات، مهن، أنشطة).
- تفوق على أو طابق الأساليب الرائدة (مثل SANER، Prompt، Projection) مع تقديم قابلية للتفسير.
تخفيف التحيز (LVLMs):
- قلل معدلات عدم التناسب بين الجنسين في مهام VQA بنسبة 40–50% في نموذج InternVL2.
- حسن قدرة النموذج على الإجابة بـ "غير متأكد" أو "لا يمكن التحديد" للأسئلة الغامضة، بدلاً من تقديم تخمينات جازمة منحازة.
الأداء العام:
- حافظ على درجات عالية في الاختبارات المرجعية العامة (ImageNette, MME, MMMU, Seed-Bench).
- حقق أفضل درجة مقايضة (trade-off score) مقارنة بطرق التقليم والضبط الدقيق الكامل.
التحقق من قابلية التفسير:
- خصوصية العصبون: أدى إلغاء تنشيط "عصبونات الجنس" إلى تقليل تحيز الجنس بشكل كبير ولكن كان له تأثير ضئيل على تحيز العمر أو العرق (والعكس صحيح)، مما يؤكد فك التشابك.
- الدليل البصري: تناسبت الصور الأكثر تنشيطًا للعصبونات المختارة بوضوح مع مفاهيم اجتماعية محددة (مثل تسريحات شعر معينة للجنس، أو فئات عمرية محددة)، مما أكد قابلية التفسير البشرية.
دراسات الاستئصال (Ablation Studies):
- وجدت أن FairFace هي مجموعة البيانات المثلى لتدريب SAEs للعثور على عصبونات اجتماعية قوية.
- حددت الوزن الأمثل ( $\alpha \approx 0.6$ ) الذي يوازن بين تقليل التحيز والقدرة العامة.

5. الأهمية والعمل المستقبلي

الذكاء الاصطناły الموثوق: يحول DEBIASLENS عملية تخفيف التحيز من تصحيح "الصندوق الأسود" إلى تدخل شفاف وقابل للتدقيق. وهذا أمر بالغ الأهمية لنشر الذكاء الاصطناعي في المجالات عالية المخاطر مثل التقنيات المساعدة.
الكفاءة: على عكس الضبط الدقيق، الذي يكون مكلفًا حاسوبيًا وينطوي على خطر النسيان الكارثي، فإن DEBIASLENS هو تدخل خفيف الوزن يتم أثناء الاستدلال.
القيود: تعتمد الطريقة على جودة بيانات تدريب SAE (المقتصرة حاليًا على السمات الوجهية). وهي تفترض أن التحيزات يمكن فك تشابكها بوضًا في عصبونات فردية، وهو ما قد لا ينطبق على التحيزات التقاطعية المعقدة (مثل العرق + الجنس + العمر).
الاتجاهات المستقبلية: يقترح المؤلفون التوسع في مجموعات بيانات أكثر تنوعًا وثقافية محددة، واستكشاف SAEs هرمية للتعامل مع التحيزات التقاطعية المعقدة.

باختصار، يقدم DEBIASLENS حلاً مبدئيًا، وقابلاً للتفسير، وفعالاً للتحيز الاجتماعي في نماذج الرؤية واللغة من خلال استخدام المشفرات التلقائية المتناثرة لعزل وتحييد "العصبونات الاجتماعية" المحددة دون المساس بالذكاء الجوهري للنموذج.