🤖 AI

A Woman with a Knife or A Knife with a Woman? Measuring Directional Bias Amplification in Image Captions

تقدم هذه الورقة البحثية "تضخيم الانحياز الاتجاهي في الوصف" (DBAC)، وهو مقياس جديد مدرك للغة يتغلب على قيود الطرق الحالية من خلال القياس الدقيق وتحديد مصادر تضخيم الانحياز في نماذج وصف الصور، لا سيما فيما يتعلق بسمات النوع الاجتماعي والعرق.

المؤلفون الأصليون: Rahul Nair, Bhanu Tokas, Hannah Kerner

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rahul Nair, Bhanu Tokas, Hannah Kerner

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً (روبوت) مهمته هي النظر إلى الصور ووصف ما يحدث فيها. أنت تُعلّم هذا الروبوت من خلال إظهار الملايين من الصور مع أوصاف كتبها البشر. المشكلة هي أن البشر ليسوا مثاليين؛ فأحياناً تحتوي أوصافنا على صور نمطية خفية (تحيزات). على سبيل المثال، قد نصف امرأة تمسك بسكين بـ "امرأة تحمل سكيناً" (مما يوحي بالخطر)، بينما نصف رجلاً يحمل سكيناً بأنه "رجل يطبخ" (مما يوحي بالأمان).

عندما يتعلم الروبوت من هذه الأوصاف البشرية، فإنه لا يكتفي بنسخ التحيز فحسب، بل غالباً ما يقوم بتضخيمه. فقد يبدأ في التنبؤ بكلمة "سكين" كلما رأى امرأة، حتى لو كانت تمسك بزهرة فقط، لأنه تعلم أن "امرأة" و"سكين" يشكلان ثنائياً خطيراً في بيانات التدريب الخاصة به.

هذه الورقة البحثية تدور حول بناء كاشف تحيز أفضل لمعرفة كيف ولماذا يخطئ الروبوت في فهم الصور النمطية بدقة.

المشكلة في الكواشف القديمة

يوضح المؤلفون أن الأدوات السابقة لقياس التحيز كانت تشبه المترجمين السيئين أو الموازين المعطلة:

الموازين "العمياء": بعض الأدوات القديمة كانت تكتفي فقط بعدّ عدد مرات ظهور الكلمات معاً (مثل "رجل" + "كرة"). لم تكن تفهم معنى الجملة، ولم تستطع التمييز بين "هو لديه كرة" و"هو ليس لديه كرة"، رغم أن التحيز مختلف تماماً.
المرايا "أحادية الاتجاه": أدوات أخرى كانت تخبرك بوجود تحيز، لكنها لم تكن تستطيع إخبارك إلى أي اتجاه يشير هذا التحيز.
- التشبيه: تخيل غرفة حيث يصرخ الناس. المرآة "أحادية الاتجاه" تخبرك: "هناك الكثير من الصراخ"، لكنها لا تخبرك ما إذا كان الناس يصرخون باتجاه الباب أم من الباب.
- بمصطلحات الورقة البحثية: هل رأى الروبوت سكين فقرر: "آه، لا بد أنها امرأة"؟ (المهمة $\leftarrow$ الصفة) أم رأى امرأة فقرر: "آه، لا بد أنها تحمل سكيناً"؟ (الصفة $\leftarrow$ المهمة).
- بدون معرفة الاتجاه، لا يمكنك إصلاح المشكلة. فإذا حاولت إصلاح الاتجاه الخاطئ، قد تجعل التحيز أسوأ.

الحل الجديد: DBAC

يقدم المؤلفون أداة جديدة تسمى DBAC (تضخيم التحيز الاتجاهي في الوصف). فكر في DBAC كأنه محقق ذكي جداً يمكنه:

قراءة القصة: يفهم المعنى الكامل للجملة (وعي لغوي).
تتبع الأسهم: يمكنه تحديد الاتجاه الذي يتدفق فيه التحيز بدقة (اتجاهي).
تجاهل الضجيج: يعطي إجابات متسقة بغض النظر عن "القاموس" (مشفر الجملة) الذي يستخدمه لقراءة النص.

كيف يعمل DBAC (حقيبة أدوات المحقق)

لكشف التحيز، يستخدم DBAC خدعة ذكية تعتمد على الحجب والاستبدال:

لعبة الحجب: تخيل أن الروبوت يكتب وصفاً: "امرأة تحمل سكيناً".
- يقوم DBAC بإخفاء كلمة "امرأة" ويسأل: "هل لا تزال قادراً على تخمين الجنس بمجرد النظر إلى بقية الجملة؟" إذا كانت الإجابة "نعم، إنها بالتأكيد امرأة"، فهذا يعني أن الكلمات الأخرى (مثل "سكين") تحمل تحيزاً ثقيلاً.
- كما يفعل العكس أيضاً: يخفي "السكين" ويسأل: "هل يمكنك تخمين الشيء بمجرد معرفة أنها امرأة؟"
الاستبدال "السياقي": هذا تحديث رئيسي.
- الطريقة القديمة (الاستبدال الثابت): إذا استخدم الروبوت كلمة نادرة مثل "سرج"، ولم تكن موجودة في القاموس، فإن الأداة القديمة كانت تستبدلها ببساطة بكلمة "غير معروف". وهذا يدمر المعنى.
- طريقة DBAC (الاستبدال السياقي): DBAC أكثر ذكاءً. إذا رأى كلمة "سرج"، فإنه يبحث عن أقرب مطابقة لها في القاموس، مثل "مقعد" أو "أدوات خيل"، ويستبدلها بها. هذا يحافظ على سلامة "القصة" ليكون قياس التحيز دقيقاً.

ماذا وجدوا؟

اختبر المؤلفون هذا المحقق الجديد على 13 روبوتاً مختلفاً لوصف الصور باستخدام مجموعة صور ضخمة تسمى COCO. إليكم النتائج الرئيسية:

المحقق الوحيد الموثوق: كان DBAC هو الأداة الوحيدة التي استطاعت قياس تضخم التحيز بدقة واتساق. الأدوات الأخرى إما أغفلت التحيز تماماً أو أعطت نتائج مربكة وغير متسقة اعتماداً على "القاموس" المستخدم.
الاتجاه مهم: اكتشفوا أنه بينما تحسنت العديد من الروبوتات في التنبؤ بالمهام عندما عرفت الجنس (مثلاً: "إذا كان رجلاً، فمن المرجح أنه يلعب الرياضة")، إلا أنها أصبحت أسوأ في التنبؤ بالجنس عندما رأت المهمة (مثلاً: "إذا كان يحمل سكيناً، فهو بالتأكيد رجل").
"الإصلاح" قد يسبب ضرراً: وجدوا أن تقنية تسمى "Equalizer"، والتي كان من المفترض أن تعالج التحيز، جعلت نوعاً واحداً من التحيز أسوأ بينما أصلحت نوعاً آخر. وهذا يثبت أنك بحاجة إلى أداة اتجاهية مثل DBAC لرؤية الصورة الكاملة قبل محاولة إصلاح الروبوت.

الخلاصة

إذا كنت تريد بناء ذكاء اصطناعي يصف الصور بإنصاف، فلا يمكنك مجرد التخمين أين يكمن التحيز. أنت بحاجة إلى أداة تفهم القصة ويمكنها الإشارة بدقة إلى مصدر التحيز. DBAC هو تلك الأداة. فهو لا يخبرك فقط بأن الروبوت منحاز، بل يخبرك كيف هو منحاز، حتى تتمكن من إصلاح المشكلة المحددة دون إفساد بقية النظام.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "امرأة مع سكين أم سكين مع امرأة؟ قياس تضخيم الانحياز الاتجاهي في التعليقات التوضيحية للصور."

1. بيان المشكلة

تضخيم الانحياز في التعليقات التوضيحية للصور:
عندما يتم تدريب نماذج التعليقات التوضيحية للصور على مجموعات بيانات منحازة (مثل التعليقات المكتوبة بشرياً والتي تحتوي على صور نمطية مجتمعية)، فإنها غالباً ما تعيد إنتاج هذه الانحيازات بل وتضخمها في مخرجاتها المولدة. على سبيل المثال، قد يتوقع النموذج "امرأة تحمل سكيناً" بشكل متكرر أكثر من "رجل يحمل سكيناً" عندما تكون الأدلة البصرية غامضة، أو العكس.

قصور المقاييس الحالية:
تنقسم الطرق الحالية لقياس تضخيم الانحياز إلى فئتين، كلتاهما تفشل في حالة التعليقات التوضيحية للصور:

المقاييس القائمة على التصنيف (مثل BA→، DPA): تقيس الانحياز في مهام التصنيف ولكنها تتجاهل المعنى الدلالي للجمل الطبيعية. فهي لا تستطيع التمييز بين "هو لديه كرة" و"هو ليس لديه كرة" إذا كانت الكلمات المفتاحية هي نفسها.
المقاييس المدركة للغة (مثل LIC، ImgCap2):
- LIC (التسرب في التعليق): رغم إدراكها للدلالات، إلا أنها غير اتجاهية. لا يمكنها التمييز بين أي سمة تسببت في الانحياز. لا يمكنها تحديد ما إذا كان النموذج قد ضخم انحياز التنبؤ بـ "امرأة" عند رؤية "سكين"، أم التنبؤ بـ "سكين" عند رؤية "امرأة".
- ImgCap2: تخلط بين الانحيازات المتأصلة في الصورة والانحيازات في التعليق، مما يجعلها غير صالحة لعزل سلوك نموذج التعليقات التوضيحية.
- مشكلات الاتساق: تختلف درجات LIC بشكل كبير بناءً على اختيار مشفر الجملة (وهو معامل فائق/hyperparameter)، مما يجعل النتائج غير موثوقة.

الفجوة: لا يوجد مقياس حالي يكون في الوقت نفسه مدركاً للغة (يفهم الدلالات)، واتجاهياً (يحدد مصدر الانحياز: السمة $\leftarrow$ المهمة مقابل المهمة $\leftarrow$ السمة)، ومتسقاً عبر تكوينات النماذج المختلفة.

2. المنهجية: تضخيم الانحياز الاتجاهي في التعليقات (DBAC)

يقترح المؤلفون DBAC، وهو مقياس جديد مصمم لقياس تضخيم الانحياز في اتجاهين محددين:

$A \to T$ (السمة إلى المهمة): هل يؤدي وجود سمة (مثل النوع الاجتماعي) إلى تضخيم التنبؤ بمهمة/كائن (مثل السكين)؟
$T \to A$ (المهمة إلى السمة): هل يؤدي وجود مهمة/كائن إلى تضخيم التنبؤ بسمة (مثل النوع الاجتماعي)؟

الآلية الجوهرية

يستخدم DBAC إطار هجوم تنافسي (adversarial attack) مدمجاً مع محاذاة المفردات:

الحجب (Masking):
- لقياس $A \to T$ : يتم حجب رموز النوع الاجتماعي في التعليق (مثلاً: "امرأة <النوع الاجتماعي> مع جيتار").
- لقياس $T \to A$ : يتم حجب رموز المهمة (مثلاً: "رجل مع <الكائن>").
دالة المهاجم ( $f$ ):
- يتم تدريب نموذج (مشفر جملة + رأس تصنيف) للتنبؤ بالسمة المحجوبة (مثل النوع الاجتماعي) باستخدام السياق المتبقي فقط.
- دقة التنبؤ العالية تعني أن السياق المتبقي (المهمة) يحتوي على إشارات انحياز قوية حول السمة.
الصياغة الاحتمالية:
- يتم قياس الانحياز من خلال احتمال السمة بناءً على الجملة المحجوبة.
- لضضمان وجود "prior" ثابت (وهو شرط لصحة قياس تضخيم الانحياز)، يستخدم المؤلفون نظرية بايز لتقريب الانحياز كـ $P(\text{Task} | \text{Attribute})$ .
- درجة تضخيم الانحياز: تُحسب كفرق بين الانحياز في التعليقات المولدة بواسطة النموذج (MGC) والتعليقات المولدة بشرياً (HGC)، مع تطبيعها لتكون في النطاق $(-1, 1)$ .
- الصيغة: $DBAC = \frac{\omega_M - \omega_H}{\omega_M + \omega_H + \epsilon}$ ، حيث تمثل $\omega$ قوة الانحياز.

التحسينات التقنية الرئيسية مقارنة بـ LIC

الاتجاهية: يفصل بوضوح بين تضخيم $A \to T$ وتضخيم $T \to A$ ، مما يسمح باستراتيجيات تخفيف مستهدفة.
الاستبدال السياقي (محاذاة المفردات):
- المشكلة: التعليقات البشرية (HGC) تمتلك مفردات أكبر من تعليقات النماذج (MGC). الاستبدال البسيط بكلمة ثابتة (مثل استبدال الكلمات المجهولة بـ unknown) يفقد الفوارق الدلالية.
- الحل: يستخدم DBAC الاستبدال السياقي. إذا كانت كلمة في HGC مفقودة في MGC، يتم استبدالها بأقرب كلمة دلالية من مفردات MGC (باستخدام تضمينات مثل GloVe أو FastText). إذا لم يوجد تطابق قريب، تصبح unknown.
- الفائدة: هذا يحافظ على إشارة الانحياز الدلالية بشكل أفضل من الاستبدال الثابت.
اتساق المشفر (Encoder Consistency): تم تصميم المقياس ليكون قوياً عبر مختلف مشفرات الجمل (LSTM, RNN, Transformers, Pre-trained models).

3. المساهمات الرئيسية

مقياس DBAC: أول مقياس يكون في آن واحد مدركاً للغة، واتجاهياً، ومتسقاً.
تحديد المصدر: يمكن لـ DBAC تحديد ما إذا كان النموذج يضخم الانحياز من السمات إلى المهام أو العكس، مما يتيح استراتيجيات إعادة تدريب محددة (على سبيل المثال، إعادة التدريب فقط على "النساء مع أشياء غير السكين" إذا كان انحياز $A \to T$ مرتفعاً).
الاستبدال السياقي: أثبت أن الاستبدال ببدائل متشابهة دلالياً (بدلاً من الكلمة العامة unknown) يعطي تقديرات أكثر دقة للانحياز.
القوة (Robustness): أثبت أن درجات DBAC مستقرة عبر مختلف مشفرات الجمل، مما يلغي الحاجة لضبط المعاملات الفائقة لإيجاد مشفر "مناسب".

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات COCO Captions باستخدام 13 نموذجاً مختلفاً للتعليقات التوضيحية (بما في ذلك BLIP، OSCAR، LLaVA، ونماذج قائمة على Transformer) ومع سمات النوع الاجتماعي والعرق.

رصد الانحياز اللغوي: في مجموعات البيانات المحكومة حيث كانت النوع الاجتماعي والمهمة متوازنتين ولكن استخدام الأفعال كان غير متوازن، سجلت المقاييس غير المدركة للغة (BA→، DPA) انحيازاً صفرياً. بينما اكتشف DBAC و LIC الانحياز اللغوي بشكل صحيح.
التحقق من الاتجاهية:
- قام المؤلفون بحجب الأشخاص في الصور تدريجياً. ومع جعل الشخص أقل وضوحاً، اعتمد النموذج أكثر على الأشياء في الخلفية (المهام) لتخمين النوع الاجتماعي/العرق.
- النتيجة: فقط DBAC رصد الاتجاه المتزايد في انحياز $T \to A$ مع زيادة الحجب. فشل LIC في اكتشاف هذا الاتجاه لافتقاره للاتجاهية.
الاتساق (تحليل الحساسية):
- أظهر DBX معامل تباين (CV) أقل بكثير عبر مختلف مشفرات الجمل مقارنة بـ LIC.
- النوع الاجتماعي: أظهر DBAC انخفاضاً بنسبة 84.5% في التباين (المشفرات من الصفر) و69.9% (المشفرات المدربة مسبقاً) مقارنة بـ LIC.
- العرق: أظهر DBX انخفاضاً بنسبة 59.5% (من الصفر) و83.6% (المدربة مسبقاً) مقارنة بـ LIC.
تأثير الاستبدال: حسن الاستبدال السياقي درجات تشابه METEOR (مع الحفاظ على المعنى الأصلي) بنسبة ~2.7% إلى 3.4% مقارنة بالاستبدال الثابت. كما أدى إلى درجات كشف انحياز أعلى وأكثر دقة.
تحليل النماذج:
- معظم النماذج قللت من انحياز $A \to T$ (أصبح التنبؤ بالمهام بناءً على النوع الاجتماعي أكثر عدلاً).
- ومع ذلك، 8 من أصل 13 نموذجاً زادت من انحياز $T \to A$ (أصبح التنبؤ بالنوع الاجتماعي بناءً على المهمة أكثر انحيازاً).
- تقنية التخفيف "Equalizer" قللت من انحياز $T \to A$ ولكنها أدت عن غير قصد إلى تفاقم انحياز $A \to T$ ، مما يسلط الضوء على الحاجة لمقاييس اتجاهية لتجنب العواقب غير المقصودة.

5. الأهمية

الموثوقية: ثبت أن DBAC هو المقياس الوحيد الموثوق لقياس تضخيم الانحياز في التعليقات التوضيحية للصور، عالج العيوب الحرجة للطرق السابقة.
رؤى قابلة للتنفيذ: من خلال تحديد اتجاه الانحياز، يسمح DBAC للباحثين بتطبيق تخفيف مستهدف. بدلاً من إعادة تدريب النموذج على مجموعة بيانات ضخمة، يمكن للباحثين تخصيص البيانات تحديداً لكسر الارتباطات المنحازة (مثل "سكين $\leftarrow$ امرأة").
التقنين (Standardization): إن قوة DBAC تجاه خيارات مشفر الجملة تزيل مصدراً رئيسياً للضجيج التجريبي، مما يجعل قياس الانحياز أكثر قابلية للتكرار والمقارنة عبر الدراسات.
السلامة: في التطبيقات عالية الخطورة مثل التقنيات المساعدة للمكفوفين، يعد فهم وتصحيح الانحياز الاتجاهي أمراً حيوياً لمنع الأوصاف المضللة أو الضارة.