🤖 AI

A Scalable Entity-Based Framework for Auditing Bias in LLMs

تقدم هذه الورقة إطار عمل قائمًا على الكيانات وقابلًا للتوسع لتدقيق التحيز في النماذج اللغوية الكبيرة، يستفيد من البيانات الاصطناعية لإجراء أكبر دراسة حتى الآن (1.9 مليار نقطة بيانات)، كاشفةً عن تفاوتات منهجية مثل المحاباة السياسية والجغرافية التي تستمر رغم الضبط التوجيهي وتتفاقم مع زيادة حجم النموذج.

المؤلفون الأصليون: Akram Elbouanani, Aboubacar Tuo, Adrian Popescu

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Akram Elbouanani, Aboubacar Tuo, Adrian Popescu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكي جداً ومطلع، يُدعى "النموذج". هذا الأمين قد قرأ كل شيء تقريباً كُتب على الإنترنت. الآن، تخيل أنك تريد اختبار ما إذا كان هذا الأمين عادلاً عند التحدث عن أشخاص أو بلدان أو شركات مختلفة.

المشكلة هي أنه إذا سألت الأمين ببساطة: "هل الدولة (س) مكان جيد؟"، فقد يعطيك إجابة بناءً على ما قرأه في الأخبار، مما قد يكون منحازاً. وإذا سألته: "هل السياسي (ص) صادق؟"، فقد يميل إلى آرائه الشخصية التي تشكلت من خلال سنوات من القراءة.

تقدم هذه الورقة البحثية طريقة جديدة وذكية لاختبار عدالة الأمين دون خداعه أو طرح أسئلة مباشرة عن آرائه. إليك كيف فعلوا ذلك، مشروحاً ببساة:

1. لعبة "تبديل الأسماء"

بدلاً من سؤال الأمين عن رأيه، ابتكر الباحثون لعبة. لقد كتبوا مئات الآلاف من القصص القصيرة (الجمل) حيث كانت الحقائق تشير بوضوح إلى إجابة واحدة، ولكن الاسم الخاص بالشخص أو المكان هو الشيء الوحيد الذي يتغير.

الإعداد: تخيل جملة تقول: "وقع زعيم [الاسم] معاهدة اتفق الجميع على أنها عادلة".
الاختبار: هيكل الجملة متطابق، لكنهم يستبدلون [الاسم] بـ "فرنسا"، أو "كوريا الشمالية"، أو "ألمانيا"، أو "سوريا".
المنطق: بما أن الجملة تقول إن المعاهدة كانت "عادلة"، فيجب أن تكون الإجابة هي نفسها بغض النظر عن هوية الزعيم. إذا قال الأمين فجأة "فرنسا جيدة" ولكن "كوريا الشمالية سيئة" لنفس الجملة تماماً، فهذا يثبت أن الأمين يحكم بناءً على الاسم، وليس على الحقائق.

2. مصنع "الأخبار المزيفة" (البيانات الاصطناعية)

لاختبار هذا على نطاق واسع، لم يستخدم الباحثون مقالات إخبارية حقيقية (فهي فوضوية ويصعب التحكم بها)، بل بنوا "مصنعاً" أنتج 1.9 مليار جملة مزيفة.

فكر في هذا الأمر كأنه لعبة فيديو حيث يمكنك إنشاء آلاف الغرف المتطابقة، ولكنك تغير فقط اللوحة الموجودة على الحائط. سمح هذا لهم باختبار الأمين على نطاق لم يسبق له مثيل، مغطياً السياسيين والبلدان والشركات باللغات الإنجليزية والروسية والصينية.

الاكتشاف الكبير: تحققوا مما إذا كانت هذه الجمل "المزيفة" تعمل مثل الجمل الحقيقية. ووجدوا أن انحياز الأمين في الجمل المزيفة يطابق انحيازه في الأخبار الحقيقية تماماً. وهذا يعني أن "مصنعهم" هو وسيلة صالحة لاختبار العدالة دون الحاجة إلى ملايين الأمثلة من العالم الحقيقي.

3. ما قاله الأمين بالفعل (النتائج)

عندما أجروا اللعبة باستخدام 1.9 مليار نقطة بيانات، وجدوا بعض الأنماط المتسقة للغاية. لم يكن الأمين محايداً؛ بل كانت لديه "أحكام مسبقة" قوية بناءً على الأسماء:

السياسة: أحب الأمين السياسيين من "اليسار" ولم يحب أولئك من "اليمين المتطرف". كما مال إلى تقييم السياسيات النساء بدرجة أعلى قليلاً من الرجال.
الجغرافيا: كان لدى الأمين انحياز قوي لـ "الغرب مقابل البقية". الدول الغنية في الغرب (مثل السويد أو سويسرا) حصلت على درجات عالية. أما دول الجنوب العالمي (مثل سوريا أو كوريا الشمالية) فقد حصلت على درجات منخفضة جداً، حتى عندما كانت الجملة إيجابية.
الأعمال: الشركات الغربية حصلت على تمرير سهل. أما الشركات في قطاعي الدفاع (الأسلحة) والصيدلة (الدواء) فقد تعرضت للعقاب، ويرجع ذلك على الأرجى إلى ارتباط اسم هذه القطاعات بالجدل في بيانات تدريب الأمين.

4. هل الحجم أو اللغة يشكلان فرقاً؟

اختبر الباحثون ما إذا كان جعل الأمين "أذكى" (نماذج أكبر) أو جعله يتحدث لغة أخرى سيساعد في تحقيق العدالة.

الأكبر ليس الأفضل: للمفاجأة، كانت النماذج الأكبر والأكثر قوة هي الأكثر انحيازاً. فقد كانت لديها آراء أقوى من النماذج الأصغر.
اللغة لا تحل المشكلة: قد تعتقد أن سؤال الأمين بالروسية أو الصينية سيجعله أكثر عدلاً تجاه الكيانات الروسية أو الصينية. لكن هذا لم يحدث. فحتى عند سؤاله بلغته الأصلية، ظل الأمين يفضل الكيانات الغربية. يبدو أن "عقل" الأمين بُني في الغالب على بيانات إنجليزية، وهذا الانحياز الإنجليزي يظل عالقاً بغض النظر عن اللغة التي تتحدث بها إليه.
التعليمات تساعد قليلاً: إذا قلت للأمين "كن محايداً واتبع القواعد" (ضبط التعليمات)، فإنه يصبح أقل انحيازاً قليلاً، لكنه لا يتوقف عن كونه منحازاً. هو فقط يخفف من حدة آرائه قليلاً.

5. لماذا هذا مهم؟

تخلص الورقة البحثية إلى أن هذه النماذج اللغوية الكبيرة هي بمثابة مرايا تعكس عدم المساواة الموجود في العالم. فإذا استخدمتها لاتخاذ قرارات بشأن من يحصل على قرض، أو أي أخبار تظهر، أو كيفية تقييم مخاطر دولة ما، فقد تعاقب مجموعات معينة بشكل غير عادل لمجرد أسمائهم، وليس بناءً على الأدلة الفعلية.

لقد بنى المؤلفون أداة "كاشف الانحياز" (التي جعلوها متاحة للجمهور) بحيث يمكن لأي شخص، قبل استخدام نماذج الذكاء الاصطنا هذه في وظائف مهمة، أن يجري لعبة "تبديل الأسماء" هذه ليرى ما إذا كان النموذج عادلاً.

باخت-صار: تُظهر الورقة أنه حتى عندما تعطي الذكاء الاصطناعي كل الحقائق، فإنه غالباً ما يزال يحكم عليك بناءً على اسمك، أو بلدك، أو قطاع شركتك، وأن جعل الذكاء الاصطناعي أكبر أو التحدث إليه بلغات مختلفة لا يحل هذه المشكلة.

ملخص تقني: إطار عمل قائم على الكيانات وقابل للتوسع لتدقيق التحيز في النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تواجه الأساليب الحالية لتقييم التحيز في النماذج اللغوية الكبيرة (LLMs) مقايضة جوهرية بين الصلاحية البيئية والضبط الإحصائي. تعتمد الطرق التقليدية إما على مطالبات (prompts) اصطناعية قائمة على القوالب، والتي لا تعكس الاستخدام الواقعي بشكل جيد (مثل البوصلة السياسية، أو CrowS-Pairs)، أو تستخدم مهاماً طبيعية تفتقر إلى النطاق والدقة اللازمين لعزل متغيرات محددة. وبناءً على ذلك، غالباً ما يُعامل التحيز كخاصية مستقرة بدلاً من كونه ظاهرة تعتمد على السياق، مما يحد من الصلاحية الخارجية للتقييمات. علاوة على ذلك، يعد تدقيق التحيز في البيانات الواقعية أمراً صعباً بسبب صعوبة التحكم المنهجي في المتغيرات المربكة مثل الموضوع، والبنية النحوية، والسياق السردي. هناك حاجة ماسة لطرق تدقيق تحافظ على دقة المهمة مع تمكين عزل التحيزات الخاصة بالكيانات لضمان الموثوقية في المجالات عالية المخاطر مثل السياسة، والجيوسياسة، والاقتصاد.

المنهجية

يقترح المؤلفون إطار عمل قائماً على الكيانات، قابلاً للتوسع ومصمماً للتوفيق بين الدقة الإحصية والصلاحية البيئية. المبدأ الأساسي هو المتانة (robustness): يجب أن يظل تنبؤ النموذج لنص معين ثابتاً عند استبدال الكيان المسمى، بشرط أن يحتوي النص على أدلة كافية لتحديد الملصق (label) الصحيح بشكل مستقل عن الكيان.

1. مكونات إطار العمل

مجموعات الكيانات: تركز الدراسة على ثلاثة مجالات ذات أهمية اجتماعية:
- السياسة: 984 سياسياً تم تصنيفهم حسب التوجه الأيديولوجي (من أقصى اليسار إلى أقصى اليمين) والجنس.
- الجيوسياسة: 1,200 دولة وإقليم.
- الاقتصاد: 1,200 شركة عبر 10 صناعات، متنوعة حسب المنطقة والملكية.
توليد البيانات الاصطناعية: لتحقيق النطاق مع الحفاظ على السيطرة، استخدم المؤلفون GPT-5.1 لتوليد حوالي 1,000 قالب جملة لكل مهمة. هذه القوالب "ضعيفة الأدلة" فيما يتعلق بالحقائق الخاصة بالكيان، لكنها "محددة دلالياً" للملصق المستهدف. على سبيل المثال، الجملة التي تصف انهياراً في التمويل تقتضي ملصق "غير موثوق" بغض النظر عما إذا كان الكيان هو السويد أو الجزائر. يضمن هذا التصميم أن أي تحول في التنبؤ يعزى فقط إلى اسم الكيان.
المهام: يقيم إطار العمل 12 مهمة تابعة عبر المجالات الثلاثة، بما في ذلك تحليل المشاعر، وتقييم القيادة، وتقييم المخاطر المالية، وكشف انتهاكات القانون الدولي.
مقياس التحيز: يتم قياس التحيز كالانحراف المنهجي في تنبؤات النموذج الناتج عن كيان مستهدف بالنسبة لخط الأساس للسكان. يتم تطبيع الدرجات وتجميعها عبر المهام لإنتاج درجة تحيز عالمية ( $\Delta(e_i)$ ) لكل كيان. تشير الدرجات الإيجابية إلى التفضيل، بينما تشير الدرجات السلبية إلى العقوبة (التقليل من الشأن).

2. استراتيجية التحقق

لمعالجة المخاوف المتعلقة بصلاحية البيانات الاصطناعية، قارن المؤلفون بين قياسات التحيز المستمدة من قوالبهم الاصطناعية وبين خمسة معايير واقعية (MAD-TSC، وP-Stance، وFinEntity، وLIAR). قاموا بحجب الكيانات المستهدفة في البيانات الواقعية، وتوليد مجموعات بيانات اصطناعية مقابلة، وحساب معامل ارتباط بيرسون بين درجات التحيز.

3. النطاق التجريبي

يغطي التدقيق 1.9 مليار نقطة بيانات عبر:

16 نموذجاً: تشمل عائلات LLaMA، وQwen، وAya، وMistral، متفاوتة في الحجم (7B–72B)، والبنية، وحالة الضبط التوجيهي (instruction-tuning).
3 لغات: الإنجليزية، والروسية، والصينية.
4 استراتيجيات للمطالبة (Prompting): التعلم من الصفر (Zero-shot) والتعلم من أمثلة قليلة (Few-shot) مع تسميات نصية ورقمية.

النتائج الرئيسية

1. التحقق من صحة الوكيل الاصطناعي

تؤكد الدراسة أن البيانات الاصطناعية تعمل كوكيل صالح لتدقيق التحيز. لوحظت ارتباطات بيرسون عالية (0.74–0.98) بين درجات التحيز المستمدة من القوالب الاصطناعية والمعايير الواقعية عبر النماذج واللغات والمجموعات البيانية المختلفة. يشير هذا إلى أن إشارة التحيز تعتمد على كيفية ربط النماذج للكيانات بالمهام بدلاً من الكلمات السطحية.

2. اتجاهات التحيز العامة

السياسة: تعاقب النماذج باستمرار السياسيين من اليمين واليمين المتطرف، بينما تفضل الشخصيات من اليسار والوسط اليساري. يوجد انقسام جندري كبير، حيث تتلقى السياسيات درجات إيجابية أعلى من الذكور.
الجيوسياسة: يوجد استقطاب صارخ بين الدول الصناعية الغربية (تحيز إيجابي) ودول الجنوب العالمي (تحيز سلبي). تُفضل الدول الغنية (شرائح الناتج المحلي الإجمالي العالية) على الدول الفقيرة. ومن الملاحظ أن إسرائيل تظهر انقلاباً في الاستقطاب: إيجابية في المشاعر العامة ولكن سلبية في كشف انتهاكات القانون الدولي.
الاقتصاد: تُفضل الشركات الغربية على تلك القادمة من الجنوب العالمي. تظهر التحيزات النوعية في القطاعات: يُفضل قطاع التجزئة، بينما تواجه قطاعات الدفاع والأدوية والعقارات عقوبات منهجية.

3. الدوافع الهيكلية للتحيز

اللغة: بينما يظل اتجاه التحيز مستقراً عبر اللغات، فإن حجمه يكون في أعلى مستوياته في اللغة الإنجليزية. المطالبات باللغة الصينية أو الروسية لا تخفف من التفضيلات الموالية للغرب؛ وفي بعض الحالات، تؤدي المطالبات باللغات الأصلية إلى درجات أكثر سلبية للكيانات مثل روسيا والصين، مما يشير إلى أن التحيزات موروثة من إشارات التدريب التي تهيمن عليها الإنجليزية بدلاً من كونها متكيفة ثقافياً.
حجم النموذج: تظهر النماذج الأكبر حجماً شدة تحيز أكبر من نظيراتها الأصغر.
الضبط التوجيهي (Instruction Tuning): يقلل الضبط التوجيهي من الحجم الإجمالي للتحيز ولكنه لا يغير اتجاه التأثيرات. فالأولويات الأساسية تظل قائمة، ويتم تقييد تعبيرها فقط.
المطالبة (Prompting): هياكل التحيز قوية تجاه التغييرات في المطالبة (التعلم من الصفر مقابل التعلم من أمثلة قليلة، والنصوص مقابل الأرقام)، رغم أن التعلم من أمثلة قليلة والتسميات الرقمية تزيد قليلاً من حجم التحيز.

4. الارتباط بالأداء

تشير الورقة إلى أن التحيز يرتبط بتدهور الأداء. الكيانات ذات درجات التحيز المتطرفة (سواء كانت إيجابية للغاية أو سلبية للغاية) تميل إلى امتلاك درجات F1 أقل مقارنة بالكيانات ذات التحيز المحايد، مما يشير إلى أن الاعتماد على أولويات الكيان بدلاً من الأدلة النصية يؤدي إلى استدلال غير مثالي.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أكبر تدقيق للتحيز حتى الآن، حيث توفر تحليلاً منهجياً واسع النطاق يتجاوز الملاحظات العابرة. وتتمثل مساهماتها الأساسية في:

الابتكار المنهجي: تقدم إطار عمل قابلاً للتوسع يستخدم البيانات الاصطناعية لعزل تحيز الكيانات بدقة إحصائية مع الحفاظ على الصلاحية البيئية، وهو ما تم التحقق منه مقابل المعايير الواقعية.
الأدلة التجريبية: تثبت أن التحيز ليس نتاج نماذج أو مطالبات محددة، بل هو مشكلة هيكلية منتشرة عبر البنى واللغات والمهام.
النتائج الحاسمة: تسلط الدراسة الضوء على أن النماذج اللغوية الكبيرة الحالية تفرض رؤية مركزية غربية على المهام العالمية، مما يعاقب الكيانات غير الغربية والقطاعات السياسية والصناعية المحددة بغض النظر عن السياق اللغوي.
الفائدة العملية: يضع المؤلفون إطار العمل كأداة تدقيق ضرورية قبل النشر للتطبيقات عالية المخاطر (مثل تقييم المخاطر، والتحليل القانوني)، بحجة أن إخفاء هذه الإخفاقات المنهجية يضمن بقاءها دون معالجة في الأنظمة المنشورة.

يخلص المؤلفون إلى أن معالجة هذه القيود تتطلب تدخلات في تصميم البيانات وتنسيقها لفصل المعلومات الوصفية عن الصور النمطية المعيارية والسمعية المضمنة، بدلاً من الاعتماد فقط على الضبط التوجيهي لتخفيف التحيز السطحي.