💬 NLP

Auditing demographic bias in AI-based emergency police dispatch: a cross-lingual evaluation of eleven large language models

تقدم هذه الورقة إطار عمل للتدقيق عبر اللغات يكشف أن التحيز الديموغرافي في النماذج اللغوية الكبيرة المستخدمة في عمليات إرسال الشرطة لحالات الطوارئ يظهر بشكل منهجي أثناء الحوادث الغامضة، ويتفاوت بشكل كبير عبر النوع الاجتماعي، والعرق، والمظهر الديني، ويظهر تباينات متميزة بين اللغتين الإنجليزية والماندارين الصينية، مما يسلط الضوء على الحاجة إلى تقييمات للنماذج تراعي السياق وتعتمد على اللغة قبل النشر في العالم الحقيقي.

المؤلفون الأصليون: William Guey, Wei Zhang, Pierrick Bougault, Yi Wang, Bertan Ucar, Vitor D. de Moura, José O. Gomes

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: William Guey, Wei Zhang, Pierrick Bougault, Yi Wang, Bertan Ucar, Vitor D. de Moura, José O. Gomes

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شرطي مرور في تقاطع مزدحم. مهمتك هي اتخاذ قرار بشأن مدى استعجال إرسال المساعدة: هل تحتاج إلى فريق قوات خاصة (SWAT) فوراً، أم مجرد دورية عادية لاحقاً، أم لا تحتاج لأحد على الإطلاق؟

الآن، تخيل أنك وظفت روبوتاً فائق الذكاء (ذكاء اصطناعي) لمساعدتك في اتخاذ هذه القرارات. الورقة البحثية التي تسأل عنها هي بمثابة "اختبار جهد" لهذه الروبوتات. أراد الباحثون معرفة ما إذا كانت الروبوتات تعامل الناس بشكل مختلف بناءً على من تعتقد أنهم هم (عرقهم، جنسهم، أو دينهم)، حتى عندما تبدو مكالمة الطوارئ نفسها تماماً.

إليك تفاصيل ما فعلوه وما وجدوه، باستخدام تشبيهات بسيطة:

التجربة: اختبار "التوأم"

قام الباحثون بإنشاء 1 5 سيناريو مختلف للطوارئ (مثل شجار في حديقة، حقيبة مشبوهة في مترو الأنفاق، أو شخص يتم تتبعه إلى منزله).

لكل سيناريو، صنعوا "توأمين":

التوأم (أ): القصة هي نفسها، لكن المتصل يذكر تفصيلاً محدداً عن الشخص المعني (على سبيل المثال: "المشتبه به يرتدي عمامة"، "المشتبه به رجل أسود"، أو "المشتبه به امرأة").
التوأم (ب): القصة هي نفسها تماماً، لكن هذا التفصيل المحدد تم حذفه أو تغييره إلى وصف محايد.

قاموا بتغذية هذه القصص لـ 11 من أكثر روبوتات الذكاء الاصطناعي تقدماً في العالم (نماذج اللغات الكبيرة - LLMs) وطلبوا منهم تحديد مستوى الأولوية، والذي يتراوح من "لا تفعل شيئاً" إلى "أرسل المساعدة فوراً". وقد فعلوا ذلك باللغتين الإنجليزية والصينية المندرينية.

النتائج الرئيسية

1. تأثير "النافذة الضبابية"

الاكتشاف الأهم هو أن الروبوتات تكون منحازة فقط عندما يكون الموقف غير واضح.

الخطر الواضح: إذا كانت القصة تقول: "هناك حالة احتجاز رهائن مع وجود سكين"، فإن كل الروبوتات، بغض النظر عن هوية المشتبه به، صرخت: "أرسل المساعدة فوراً!". لقد اختفى الانحياز هنا.
الخطر الضبابي: إذا كانت القصة غامضة، مثل: "رجل يقف بالقرب من نصب تذكاري لمدة 30 دقيقة"، بدأت الروبوتات في وضع افتراضات بناءً على التفاصيل الديموغرافية.
التشبيه: فكر في الأمر كأنك تنظر من خلال نافذة ضبابية. إذا كانت هناك سيارة تتحطم بوضوح (خطر واضح)، فستراها مهما كان الأمر. ولكن إذا رأيت شكلاً ضبابياً في الضباب (خطر غامض)، فإن عقلك (أو عقل الروبوت) يملأ الفراغات بناءً على الصور النمطية. الانحياز يحدث فقط في الضباب.

2. مفاجأة "الدين مقابل العرق"

وجد الباحثون أن الروبوتات تتفاعل بشكل مختلف مع أنواع مختلفة من الإشارات:

المظهر الديني: تسبب هذا في أكبر التقلبات في الأحكام. إذا ذكرت القصة ملابس إسلامية (مثل العمامة أو الحجاب)، كانت الروبوتات أكثر عرضة لتغيير مستوى أولويتها مقارنة بقصة محايدة.
الجنس: أظهرت الروبوتات نمطاً محدداً هنا. إذا وُصف الضحية بأنه امرأة، كانت الروبوتات تميل لإرسال المساعدة بشكل أسرع مما لو كان الضحية رجلاً.
العرق: كان هذا الجزء الأكثر إثارة للدهشة. في السياق الأمريكي (الإنجليزية)، عندما قال المتصل صراحة "رجل أسود"، قامت الروبوتات في بعض الحالات بخفض درجة الاستعجال. هذا عكس ما نخشاه غالباً (أن تكون أكثر عدوانية). يبدو الأمر كما لو أن الروبوتات كانت تحاول جاهدة ألا تكون عنصرية، فصارت حذرة للغاية عن طريق الخطأ.

3. مشكلة "تبديل اللغة"

لم تتصرف الروبوتات بنفس الطريقة في الإنجليزية كما في الصينية المندرينية.

انحياز النوع الاجتماعي: كان الانحياز المتعلق بالنساء ضعف قوته في المندرينية مقارنة بالإنجليزية.
انحياز العرق: كان انحياز الروبوتات تجاه العرق ضعف قوته في الإنجليزية مقارنة بالمندرينية.
التشبيه: تخيل شخصاً مهذباً جداً بالإنجليزية ولكنه فظ جداً بالإسبانية. إذا اختبرت هذا الشخص بالإنجليزية فقط، فستفقد رؤية فظاظته. الورقة تحذر من أن اختبار الذكاء الاصطيعي بلغة واحدة فقط يعطيك صورة غير مكتملة لمدى انحيازه الحقيقي.

4. "الروبوت غير المتسق"

لم تتبع الروبوتات دائماً قاعدة "الصورة النمطية السيئة" البسيطة.

في بعض الأحيان، جعل ذكر اسم مسلم الروبوت يعتقد أن الموقف أكثر خطورة (تصعيد).
وفي أحيان أخرى، جعل ذكر الشيء نفسه يجعل الروبوت يعتقد أن الموقف أقل خطورة (تهدئة).
الخلاصة: الأمر ليس مجرد "الروبوت يكره س أو ص". رد فعل الروبوت يعتمد على المزيج المحدد من القصة والإشارة. أحياناً يبالغ في رد الفعل؛ وأحياناً يقلل منه.

لماذا هذا مهم (وفقاً للورقة البحثية)

تخلص الورقة إلى أنه لا يمكننا مجرد قول "الذكاء الاصطناعي منحاز" أو "الذكاء الاصطناعي عادل". الأمر يعتمد على:

مدى وضوح حالة الطواراء: يختبئ الانحياز عندما يكون الخطر واضحاً، لكنه يظهر عندما يكون الموقف مربكاً.
نوع الإشارة الديموغرافية المستخدمة: الدين، الجنس، والعرق تثير ردود فعل مختلفة.
اللغة المستخدمة: قد يكون الروبوت عادلاً في الإنجليزية، لكنه غير عادل في الصينية، أو العكس.

لق{د قام المؤلفون ببناء "ملعب" (أداة مفتوحة المصدر) حتى تتمكن أقسام الشرطة من اختبار الذكاء الاصطاسي الخاص بها قبل شرائه. إنهم يريدون التأكد من أنه عندما تُستخدم هذه الروبوتات في الحياة الواقعية، فإنها لن ترسل بالخطأ نوعاً خاطئاً من المساعدة للأشخاص الخطأ لمجرد وصف غامض في مكالمة طوارئ 911.

باخت-صار: الروبوتات ذكية، لكنها ترتبك في الضباب. عندما يكون الموقف غير واضح، تبدأ في التخمين بناءً على هوية الأشخاص، وتخمن بشكل مختلف اعتماداً على اللغة التي تتحدثها. نحن بحاجة لاختبارها بعناية قبل السماح لها بقيادة سيارات الشرطة.

ملخص تقني: تدقيق التحيز الديموغرافي في نظام إرسال الشرطة للطوارئ القائم على الذكاء الاصطناه

بيان المشكلة
تتزايد وتيرة دمج النماذج اللغوية الكبيرة (LLMs) في أنظمة السلامة العامة عالية المخاطر، وتحديداً في عمليات فرز وتصنيف مكالمات الطوارئ ودعم اتخاذ القرار في الإرسال. وبينما تم تقييم هذه النماذج في التطبيقات السريرية والقانونية، إلا أن عدالة توجهاتها الديموغرافية في نظام إرسال الشرطة للطوارئ لا تزال غير مختبرة إلى حد كبير. وتعد هذه الفجوة حرجة لأن أنظمة الإرسال تعتمد على سجلات المكالمات التاريخية وتصنيفات الضباط، وهي مصادر بيانات توثق فيها الانحيازات العرقية والاجتماعية والاقتصادية تجريبياً. وبناءً على ذلك، فإن أنظمة الذكاء الاصطناعي التي يتم تدريبها على هذه البيانات أو ضبطها الدقيق باستخدامها، تخاطر بتكريس التفاوتات القائمة على نطاق تشغيلي واسع. وخلافاً للفرز السريري، يتضمن إرسال الشرطة للطوارائل نصوصاً صوتية حقيقية، ومقياس تصنيف متميز (نظام أولوية إرسال الشرطة - PPDS)، وعواقب مباشرة تتمثل في نشر أفراد مسلحين. وتفتقر الأدبيات الحالية إلى إطار عمل منهجي لتقييم تحيز النماذج اللغوية الكبيرة في هذا السياق المحدد باستخدام أطر تشغيلية معتمدة وتصاميم سيناريوهات محكومة.

المنهجية: إطار LLM-DispatchBias
يقدم المؤلفون LLM-DispatchBias، وهو إطار تدقيق عابر للغات مصمم لعزل تأثير الإشارات الديموغرافية على تصنيف الإرسال. توظف المنهجية تصميماً محكماً للأزواج الدنيا (minimal-pair design) عبر 11 نموذجاً من النماذج الرائدة، و15 زوجاً من السيناريوهات، وثلاث فئات ديموغرافية، ولغتين (الإنجليزية والصينية المندرينية)، مما يولد 19,800 مخرج للنماذج.

مقياس التصنيف: يطبق البحث نظام أولوية إرسال الشرطة (PPDS) كمقياس رتبي خماسي المستويات: من أوميغا (OMEGA - لا استجابة) إلى إيكو (ECHO - استجابة متخصصة فورية). ويربط هذا التقييم بالنتائج التشغيلية في العالم الحقيقي بدلاً من تسجيل المشاعر الذاتي.
تصميم السيناريو: يستخدم الإطار 15 زوجاً من السيناريوهات تغطي كامل طيف التهديدات (من الاستفسارات غير الطارئة إلى حالات احتجاز الرهائن النشطة). ويتكون كل زوج من "النسخة أ" (التي تحتوي على إشارة ديموغرافية محددة) و"النسخة ب" (وهي نسخة ضابطة محايدة أو نسخة إشارة مضادة).
- المظهر الديني: علامات المظهر الإسلامي (العمامة، الحجاب، الكوفية) أو الأسماء الإسلامية مقابل غياب الإشارة.
- الجنس: أفراد ذكور أو إناث (المتصل، الضحية، أو المشتبه به) في حوادث متطابقة تماماً.
- العرق: وصف صريح للمشتبه به كـ "رجل أسود" مقابل غياب الوصف العرقي.
الضوابط التجريبية: لضمان المتانة، يتحكم البحث في التباين الشكلي عبر عشوائية عبارات "الافتتاح والختام" في النصوص. ويتم استعلام النماذج عند درجة حرارة صفر (temperature zero) للقضاء على الضوضاء العشوائية. ويمتد التقييم ليشمل 11 نموذجاً من تقاليد التطوير الأمريكية والصينية والأوروبية.
قياس التحيز: يُقاس التحيز عبر دلتا التحيز ( $\Delta$ )، والتي تُحسب كمتوسط درجة PPDS للنسخة (أ) مطروحاً منها النسخة (ب). تشير دلتا الموجبة إلى التصعيد (زيادة الاستعجال)، بينما تشير دلتا السالبة إلى خفض التصعيد.

النتائج الرئيسية
تكشف الدراسة أن التحيز الديموغرافي في الإرسال القائم على النماذج اللغوية الكبيرة ليس خاصية ثابتة، بل ينشأ من التفاعل بين الإشارات الديموغرافية، والغموض السياقي، واللغة.

تركيز التحيز في حالات الغموض: يظهر التحيز المنهجي بشكل أساسي في السيناريوهات التي تتسم بالغموض في شدة الحادث (مثل التسكع، الحقائب المهملة، النزاعات المنزلية دون إصابات مؤكدة). وفي السيناريوهات ذات الأحداث العنيفة الواضحة والمستمرة (مثل حالات احتجاز الرهائن النشطة، أو الاعتداءات التي تمت مشاهدتها)، تتقارب النماذج نحو التصنيف الصحيح عالي الأولوية (DELTA/ECHO) بغض النظر عن الإشارات الديموغرافية. ويعد حجم التحيز أعلى بكثير في السيناريوهات الغامضة ( $p < 5.5 \times 10^{-10}$ ).
تباين المحور الديموغرافي: يختلف حجم التحيز حسب الفئة. أنتج المظهر الديني أكبر متوسط تحيز مطلق ( $|\Delta| = 0.193$ $∣Δ∣ = 0.193$ )، يليه الجنس ($0.117 $) ثم **العرق** ($ $) ثم * * العرق * * ($ 0.082$).
- المظهر الديني: كانت التأثيرات متباينة؛ حيث أدت بعض السيناريوهات (مثل الحقيبة المهملة) إلى التصعيد، بينما أدت أخرى (مثل التسكع عند النصب التذكاري) إلى خفض التصعيد، مما يناقض نظريات تضخيم الصور النمطية البسيطة.
- الجنس: كان التحيز موجهاً بناءً على حالة الضحية. فقد حصلت الضحايا المصنفات كإناث على أولوية أعلى بشكل منهجي من الضحايا المصنفين كذكور.
- العرق: على عكس التحيزات البشرية الموثقة، غالباً ما أدت الإشارات العرقية الصريحة إلى خفض التصعيد (تقليل الاستعجال) في السيناريوهات الغامضة، مما يشير إلى احتمال وجود تصحيح مفرط من قبل التعلم المعزز من التغذية الراجعة البشرية (RLHF) أو هياكل تحيز مختلفة.
عدم التماثل عبر اللغات: لا ينتقل التحيز بشكل متسق عبر اللغات.
- تم تضخيم تحيز الجنس بشكل كبير في اللغة الصينية المندرينية (حوالي ضعف مقدار اللغة الإنجليزية).
- كان تحيز العرق أكثر وضوحاً في اللغة الإنجليزية (حوالي ضعف مقدار اللغة الصينية المندرينية).
- كان التحيز الديني أعلى قليلاً في اللغة الإنجليزية.
- تؤدي التحليلات الإجمالية عبر اللغات إلى حجب هذه الانقلابات لكل فئة، مما يؤدي إلى التقليل من تقدير التحيز في التقييمات أحادية اللغة.
تباين النماذج: اختلف حجم التحيز بشكل كبير عبر الـ 11 نموذجاً المختبرة. أظهرت نماذج DeepSeek و Claude أعلى مستويات التحيز الإجمالية، بينما أظهر نموذج Llama-4-Maverick أدنى مستوياتها. ولم يتم ملاحظة انقسام واضح بين الشرق والغرب في أنماط التحيز؛ إذ كانت ملفات التحيز محددة للغاية بنماذج فردية وفئات ديموغرافية.

الأهمية والادعاءات
يدعي البحث ثلاث مساهمات رئيسية:

الدليل التجريبي على التحيز المعتمد على السياق: تثبت الدراسة أن تحيز النماذج اللغوية الكبيرة في الإرسال ليس موحداً؛ بل هو خاصية مرتبطة بسياق المدخلات. يظهر التحيز تحديداً حيث يتطلب الأمر تقديراً بشرياً من مأمور الإرسال (المكالمات الغامضة)، مما يحاكي الأنماط الموجودة في أدبيات مأموري الإرسال البشر.
البنية المنهجية: المساهمة الأساسية هي إطار عمل LLM-DispatchBias نفسه. ومن خلال ربط التدقيق بإطار عمل PPDS المستقر واستخدام تصميم الأزواج الدنيا، يوفر المؤلفون أداة قابلة للتوسع ومستقلة عن النموذج. وهذا يسمه للوكالات المستخدمة تقييم النماذج المرشحة بناءً على سيناريوهات ذات صلة بالولاية القضائية قبل الاعتماد الفعلي، مما ينقل المسؤولية من التوثيق الأكاديمي بأثر رجعي إلى التوريد الاستباقي.
ضرورة التدقيق عبر اللغات: تتحدى النتائج كفاية التقييمات أحادية اللغة. ويجادل البحث بأن التقييم عبر اللغات هو مطلب قياس جوهري، وليس مجرد فحص للمتانة، حيث يمكن لاتجاه التحيز وحجمه أن ينقلبا أو يتغيرا بشكل كبير اعتماداً على لغة التشغيل.

يخلص المؤلفون إلى أنه بينما سيتم استبدال النماذج المحددة التي تم اختبارها، فإن تصميم التدقيق يظل آلية متينة لضمان العدالة في أنظمة الإرسال القائمة على الذكاء الاصطناعي مع دخولها مرحلة الاستخدام العملي.