🤖 AI

Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

تقدم هذه الورقة دراسة معيارية تقيم التحيز القائم على النوع الاجتماعي والعرق في تسعة من النماذج اللغوية الكبيرة متعددة الوسائط مفتوحة المصدر في مهام التحقق من الوجه، كاشفةً أن النماذج المتخصصة تتفوق على النماذج العامة مع إثبات أن الدقة العالية لا تضمن العدالة الديموغرافية وأن أنماط التحيز تختلف بشكل كبير عن أنظمة التعرف على الوجه التقليدية.

المؤلفون الأصليون: Ünsal Öztürk, Hatef Otroshi Shahreza, Sébastien Marcel

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ünsal Öztürk, Hatef Otroshi Shahreza, Sébastien Marcel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً جديداً فائق الذكاء، يمكنه النظر إلى الصور والإجابة على الأسئلة حولها. قد تسأله مثلاً: "هل هذا الشخص هو نفسه ذلك الشخص؟". هذا ما يسمى التحقق من الوجه (face verification).

لسنوات، استخدمنا "محققين متخصصين في الوجوه" (الأنظمة التقليدية) للقيام بهذه المهمة. إنهم يشبهون محللي البصمات المهرة: يقومون بتحويل الوجه إلى رمز سري ثم يقارنون بين الرموز. ولكن مؤخراً، بدأنا باستخدام "روبوتات عقلية" ضخمة وعامة الأغراض (تسمى نماذج اللغات الكبيرة متعددة الوسائط أو MLLMs). بدلاً من استخدام الرموز السرية، أنت فقط تعرض عليهم صورتين وتسألهم: "هل هذان هما نفس الشخص؟" فيعطونك درجة.

هذا البحث عبارة عن تقرير تقييم كبير حول مدى عدالة هذه "الروبوتات العقلية" الجديدة عند محاولتها التعرف على الأشخاص من خلفيات مختلفة.

السؤال الكبير: هل هم عادلون؟

نحن نعلم أن "محققي الوجوه" القدامى يخطئون أحياناً بشكل أكبر مع الأشخاص ذوي البشرة الداكنة أو أعراق معينة. الأمر يشبه حارس أمن بارع في رصد نوع واحد من الوجوه، لكنه يستمر في الخطأ في تحديد هوية الآخرين.

أراد الباحثون معرفة: هل تمتلك هذه الروبوتات الذكية العامة نفس التحيز، أم أن الأمر مختلف؟

التجربة: رحلة اختبار القيادة

أخذ الباحثون 9 نماذج ذكاء اصطناعي مختلفة (تتراوح من "جرو" صغير بـ 2 مليار معلمة إلى "كلب" كبير بـ 8 مليارات معلمة) ووضعوهم في اختبار قيادة.

المضمار: استخدموا مسارين شهيرين للقيادة (مجموعات بيانات): IJB-C (مسار ضخم وفوضوي يضم الكثير من الناس المختلفين) و RFW (مسار مصمم خصيصاً لاختبار التحيز العرقي).
السائقون: اختبر الباحثون قدرة هذه النماذج على التمييز بين ما إذا كانت الصورتان لنفس الشخص، مع تقسيم النتائج حسب العرق (أفريقي، شرق آسيوي، جنوب آسيوي، قوقازي) و الجنس (ذكر، أنثى).
بطاقة التقييم: لم ينظروا فقط إلى من حصل على أكبر عدد من الإجابات الصحيحة (الدقة)، بل نظروا أيضاً إلى العدالة. هل يرتكب الروبوت أخطاءً متساوية للجميع، أم أنه يفشل أكثر مع مجموعات معينة؟

النتائج المفاجئة

1. "المتخصص" مقابل "العام"
كان هناك نموذج واحد في الاختبار يسمى FaceLLM-8B. فكر في هذا النموذج كـ محقق متخصص يدرس الوجوه فقط. أما النماذج الثمانية الأخرى فكانت نماذج عامة (مثل السكين السويسري متعدد الاستخدامات) يمكنها القيام بأشياء كثوة ولكنها ليست خبيرة في الوجوه.

النتيجة: كان المحقق المتخصص (FaceLLM) أفضل بكثير في أداء المهمة من النماذج العامة؛ فقد ارتكب أخطاءً أقل بكثير.
العقبة: حتى المتخصص لم يكن بجودة الأنظمة القديمة القائمة على "الرموز". كانت الروبوتات العامة غالباً ما تخمن فقط، ولا تؤدي أفضل من رمي عملة معدنية لتحديد النتيجة.

2. تقلبات التحيز
هذا هو الجزء الأكثر إثارة للاهتمام. في الأنظمة التقليدية، غالباً ما يحصل الأشخاص ذوو البشرة الداكنة على أسوأ النتائج.

المفاجأة: في المسار الضخم والفوضوي (IJB-C)، عانت نماذج الذكاء الاصطناعي الجديدة بالفعل أكثر مع الوجوه القوقازية من غيرها في كثير من الحالات! الأمر يشبه حارس أمن بارع عادة في رصد الجميع، لكنه فجأة يرتبك أمام الأشخاص الذين يعرفهم جيداً.
على المسار الآخر (RFW): عاد التحيز إلى وضعه الطبيعي. فقد عانت النماذج أكثر مع الوجوه الأفريقية، وهو ما نتوقعه عادةً.
الدرس المستفاد: لا يمكنك افتراض أن هذه الأنظمة الجديدة تمتلك نفس تحيزات الأنظمة القديمة. إنها غير متوقعة.

3. فخ "سيء ولكن عادل"
وجد الباحثون موقفاً مخادعاً. أحياناً، يكون النموذج سيئاً جداً في مهمته لدرجة أنه يفشل الجميع بالتساوي.

التشبيه: تخيل رامياً سيئاً جداً للسهام، يخطئ الهدف في كل مرة، بغض النظر عمن يقف هناك. إذا أخطأ الجميع بالتساوي، فقد يبدو "عادلاً" لأن معدل الخطأ هو نفسه لجميع المجموعات.
الواقع: كونك "عادلاً" عندما تكون عاجزاً ليس أمراً جيداً! النماذج الأكثر دقة (مثل المتخصص) لم تكن دائماً الأكثر عدلاً، والأنماذج "العادلة" كانت غالباً هي تلك التي كانت "غبية" جداً لدرجة أنها لم تستطع إصابة الهدف لأي أحد.

4. الجنس مقابل العرق
كانت النماذج بشكل عام أكثر عدلاً فيما يتعلق بـ الجنس (ذكر مقابل أنثى) مما كانت عليه فيما يتعلق بـ العرق. الفجوة في كيفية تعاملهم مع الرجال والنساء كانت ضئيلة، لكن الفجوة في كيفية تعاملهم مع المجموعات العرقية المختلفة كانت أوسع بكثير.

الخلاصة

يخبرنا هذا البحث أنه بينما تعد هذه "الروبوتات العقلية" الجديدة مثيرة للاهتمام، لا يمكننا الوثوق بها في عملية التحقق من الوجه بعد.

إنها ليست بدقة الأنظمة المتخصصة القديمة.
تحيزاتها غريبة ومختلفة عما اعتدنا عليه (أحياناً يخطئون مع "مجموعة الأغلبية" أكثر من غيرها!).
يمكن للنموذج أن يبدو "عادلاً" لمجرد أنه سيء في أداء مهمته.

الخلاصة النهائية: إذا أردنا استخدام هذه الأدوات القوية في الأمن أو عمليات التحقق من الهوية، فيجب أن نكون حذرين للغاية. لا يمكننا افتراض أنها محايدة. نحن بحاجة إلى اختبارها باستمرار، تماماً كما نختبر سيارة جديدة قبل السماح لها بالقيادة على الطريق السريع.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "العدالة الديموغرافية في النماذج اللغوية الكبيرة متعددة الوسائط: معيار للتحيز الجندري والعرقي في التحقق من الوجوه."

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات مذهلة في الاستدلال البصري، ويتم استكشافها بشكل متزايد في مجال التحقق من الوجوه (تحديد ما إذا كانت صورتان للوجه تنتميان إلى نفس الشخص)، إلا أن عدالتها الديموغرافية لا تزال غير مستكشفة إلى حد كبير.

الفجوة: تُعرف أنظمة التعرف على الوجوه التقليدية (المعتمدة على التضمين - embedding-based) بإظهار تحيز ديموغرافي (مثل ارتفاع معدلات الخطأ للنساء ذوات البشرة الداكنة). ومع ذلك، فمن غير الواضح ما إذا كانت النماذج اللغبية الكبيرة متعددة الوسائط (MLLMs)، التي تعتمد على الاستدلال البصري العام والتلقين (prompting) بدلاً من تضمينات الهوية المتخصصة، ترث هذه التحيزات أو تضخمها أو تظهر أنماط تحيز مختلفة.
المخاطر: بما أن هذه النماذج تُعتبر مرشحة لتطبيقات عالية المخاطر (مثل مراقبة الحدود وإنفاذ القانون)، فإن فهم توزيع أخطائها عبر المجموعات الجندرية والعرقية أمر بالغ الأهمية لمنع النتائج التمييزية.

2. المنهجية

وضع المؤلفون مسار تقييم منهجي لاختبار تسعة نماذج من النماذج اللغبية الكبيرة متعددة الوسائط مفتوحة المصدر عبر بروتوكولين قياسيين للتحقق من الوجوه.

مجموعات البيانات والبروتوكولات

IJB-C: معيار واسع النطاق يحتوي على 3,531 شخصاً. قام المؤلفون بأخذ عينة فرعية مكونة من 10,000 زوج من القوالب. تشمل الملصقات (Labels) الجنس (ذكر/أنثى) والعرق (أفريقي، شرق آسيوي، جنوب آسيوي، قوقازي).
RFW (الوجوه العرقية في البرية): معيار متوازن مصمم خصيصاً للتحيز العرقي، يحتوي على 24,000 زوج موزعة على أربع مجموعات عرقية (أفريقية، آسيوية، قوقازية، هندية). يفتقر هذا المعيار إلى بيانات التصنيف الجندري.
البروتوكول: تحقق 1:1 (أزواج حقيقية مقابل أزواج منتحلة).

النماذج التي تم تقييمها

تم اختبار تسعة نماذج MLLM من ست عائلات (بين 2 مليار إلى 8 مليارات معلمة) في إعداد صفر من التدريب المسبق (zero-shot) (أي بدون ضبط دقيق على بيانات الوجوه):

النماذج العامة: Idefics3-8B، LLaVA-NeXT-Mistral-7B، Ovis1.5-Llama3-8B، Qwen2-VL (2B/7B)، Qwen2.5-VL (3B/7B)، Valley2.
النماذج المتخصصة: FaceLLM-8B (تم ضبطه بدقة لتحليل الوجوه).

مسار التقييم

التلقين (Prompting): يتم تلقين النماذج بصورتين للوجه ويُطلب منها إخراج درجة تشابه (0–100) كرقم واحد.
تسجيل القوالب: بالنسبة للقوالب التي تحتوي على صور/إطارات متعددة، يتم تسجيل جميع التوافيق الثنائية، ويكون الدرجة النهائية هي المتوسط الحسابي لهذه الأزواج.
المقاييس:
- الدقة: معدل الخطأ المتساوي (EER) ومعدل المطابقة الحقيقي (TMR) عند معدلات مطابقة كاذبة ثابتة (10%، 1%، 0.1%).
- العدالة: أربعة مقاييس تعتمد على معدل المطابقة الكاذبة (FMR) تُحسب لكل مجموعة ديموغرافية:
  - $\Delta_F$ (الفرق): الحد الأقصى ناقص الحد الأدنى لـ FMR (الفجوة المطلقة).
  - $R_F$ (النسبة): الحد الأقصى مقسوماً على الحد الأدنى لـ FMR (الفجوة النسبية).
  - $M_F$ (النسبة إلى المتوسط الهندسي): تطبيع أسوأ حالة لمجموعة مقابل المتوسط الهندسي لجميع المجموعات.
  - $G_F$ (معامل جيني): يقيس عدم المساواة الإجمالي عبر المجموعات.
- القدرة على التمييز ( $d'$ ): مقياس مستقل عن العتبة لقياس الفصل بين توزيعات الدرجات الحقيقية والمنتحلة.

3. المساهمات الرئيسية

أول معيار للعدالة لنماذج MLLM: هذه هي الدراسة الأولى التي تقيم التحيز الديموغرافي في نماذج MLLM للتحقق من الوجوه، وتقارنها بالأنظمة التقليدية المعتمدة على التضمين.
اكتشاف أنماط تحيز متباينة: تظهر الدراسة أن أنماط التحيز في نماذج MLLM تختلف بشكل كبير عن الأنظمة التقليدية. ومن الملاحظ أنه في مجموعة بيانات IJB-C، كانت المجموعات القوقازية غالباً هي الأكثر تضرراً (أعلى معدلات خطأ) في خمسة من أصل ثمانية نماذج، بينما تُظهر الأنظمة التقليدية عادةً أخطاء أعلى للمجموعات ذات البشرة الداكنة.
تحليل المقايضة بين الدقة والعدالة: توضح الورقة أن الدقة العالية لا تضمن العدالة، وبالعكس، فإن الدقة المنخفضة يمكن أن تخفي عدم العدالة. فالنماذج ذات القدرة الضعيفة على التمييز غالباً ما تنتج معدلات خطأ مرتفبة بشكل موحد عبر جميع المجموعات، مما يجعلها تبدو "عادلة" (جيني منخفض) ببساطة لأنها تفشل الجميع بالتساوي.
النماذج العامة مقابل المتخصصة: تسلط الضوء على أن النموذج الوحيد المتخصص في الوجوه (FaceLLM-8B) يتفوق بشكل كبير على نماذج MLLM العامة في كل من الدقة ومقاييس العدالة المحددة (خاصة فيما يتعلق بالجنس).

4. النتائج الرئيسية

أداء الدقة

FaceLLM-8B هو الرائد بوضوح، حيث حقق معدل EER عالمي قدره 5.13% على IJB-C و 29.46% على RFW.
أدت النماذج العامة أداءً أسوأ بكثير. في RFW، اقتربت عدة نماذج (مثل Ovis1.5 و Qwen2-VL-2B) من 50% EER، وهو ما يعادل التخمين العشوائي.
تأثير حجم القالب: كان الأداء أفضل في IJB-C مقارنة بـ RFW لأن قوالب IJB-C تحتوي على صور أكثر (متوسط 9 مقابل 3)، مما يسمح للنموذج بتجاوز الضجيج عبر المتوسط بشكل أكثر فعالية.

نتائج العدالة

التحيز العرقي (IJB-C):
- في 5 من أصل 8 نماذج، كانت المجموعة القوقازية هي الأعلى في معدل EER، مما يعكس عكس التحيز المعتاد في الأنظمة التقليدية.
- أظهر FaceLLM-8B أدنى فرق مطلق ( $\Delta_F = 0.020$ ) ولكنه سجل معامل جيني أعلى من بعض النماذج الأقل دقة، مما يوضح تعقيد مقاييس العدالة.
التحيز العرقي (RFW):
- كانت التفاوتات أكبر بكثير في RFW. كانت المجموعة الأفريقية هي الأكثر تضرراً باستمرار عبر جميع النماذج.
- سجل FaceLLM-8B أعلى فرق ( $\Delta_F = 0.478$ ) في RFW، رغم امتلاكه لأفضل دقة.
التحيز الجندري:
- كانت الفوارق الجندرية أصغر باستمرار من الفوارق العرقية في جميع النماذج ونقاط التشغيل.
- حقق FaceLLM-8B عدالة جندرية شبه مثالية في IJB-C ( $\Delta_F = 0.001$ ، $G_F = 0.004$ ).

ظاهرة "العدالة الزائفة"

النماذج ذات الدقة الضعيفة إجمالاً (مثل Ovis1.5) غالباً ما أظهرت أدنى معاملات جيني (تبدو الأكثر عدلاً) لأنها فشلت في التمييز بين الأزواج الحقيقية والمنتحلة لأي مجموعة، مما أدى إلى معدلات خطأ موحدة ومرتفعة.
وعلى العكس من ذلك، فإن النموذج الأكثر دقة (FaceLLM-8B) أظهر تفاوتات نسبية أعلى في RFW لأنه نجح في فصل الدرجات لبعض المجموعات بشكل أفضل من غيرها.

5. الأهمية والخاتمة

تحول في النموذج الفكري: تتحدى الدراسة الافتراض بأن التحيز في التعرف على الوجوه هو أمر عالمي. تقدم نماذج MLLM أنماط تحيز جديدة وغير متوقعة لا تحاكي ببساطة الأنظمة التقليدية المعتمدة على التضمين.
الحذر من المقاييس: تؤكد الدراسة على خطورة الاعتماد على مقياس عدالة واحد. يمكن للنموذج أن يبدو عادلاً بسبب انخفاض الدقة (فشل موحد) أو غير عادل بسبب الدقة العالية (نجاح متفاوت). يتطلب الأمر مزيجاً من المقاييس المطلقة والنسبية.
الآثار العملية: لا تزال نماذج MMLM العامة الحالية غير جاهزة لعمليات التحقق من الوجوه عالية المخاطر بسبب انخفاض الدقة والتحيز غير المتوقع. الضبط الدقيق المتخصص (كما هو موضح في FaceLLM-8B) ضروري لسد الفجوة، رغم وجوب مراقبة العدالة بصرامة أيضاً.
العمل المستقبلي: يقترح المؤلفون توسيع نطاق التقييمات لتشمل السمات التقاطعية (مثل العرق $\times$ الجنس)، واختبار نماذج أكبر (>13 مليار معلمة)، وتحليل حساسية النتائج لهندسة التلقين (prompt engineering).

صفحة المشروع: https://www.idiap.ch/paper/mllm-fairness