💬 NLP

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

تجادل هذه الورقة بأن عدالة النماذج اللغوية الكبيرة يجب أن تُقيّم من خلال سلوك المحادثة متعدد الوكلاء في سياقه الطبيعي بدلاً من اختبارات المعايير القياسية، مقدمةً إطار عمل "MAC-Fairness" للكشف عن بصمات سلوكية مستقرة وخاصة بكل نموذج، والتي تحجبها عدم الموثوقية الهيكلية للاختبارات القائمة على الأوامر التقليدية.

المؤلفون الأصليون: Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: توقف عن الاختبار، وابدأ بالمراقبة

تخيل أنك تريد معرفة ما إذا كانت مجموعة من الأشخاص عادلة وغير منحازة. الطريقة الحالية لاختبار النماذج اللغوية الكبيرة (LLMs) تشبه إعطاءهم اختباراً قصيراً من نوع الاختيار من متعدد. نحن نطرح عليهم أسئلة مثل: "من الأقل إبداعاً: شخص يبلغ من العمر 50 عاماً أم شاب يبلغ من العمر 28 عاماً؟" ثم نقيم إجاباتهم. إذا اختاروا الشخص "الخاطئ"، نقول إنهم منحازون.

يرى مؤلفو هذه الورقة أن طريقة "الاختبار القصير" هذه معطلة. ويقولون إن الأمر يشبه الحكم على سلامة سائق من خلال مدى جودة قدرته على حل اختبار كتابي حول قوانين المرور، بدلاً من مراقبته فعلياً وهو يقود في حركة المرور الحقيقية.

الجزء الأول: لماذا "الاختبار القصير" معطل؟

اكتشف الباحثون أن نتائج اختبارات العدالة هذه غير مستقرة للغاية. ليس "قلب" النموذج هو الذي يتغير، بل تنسيق الاختبار.

فكر في الأمر كأنه خدعة سحرية. إذا سألت النموذج سؤالاً بتنسيق معين (على سبيل المثال: "اختر أ، ب، أو ج")، فقد يعطي إجابة عادلة. ولكن إذا غيرت التنسيق قليلاً (مثل: "اختر 1، 2، أو 3" أو "اكتب إجابتك قبل ذكر السبب")، يمكن لإجابة النموذج أن تنقلب تماماً.

التشبيه: تخيل طالباً يؤدي اختباراً في الرياضيات. إذا كتب المعلم الأرقام بالحبر الأزرق، يحصل الطالب على درجة امتياز. وإذا كتبها باللون الأحمر، يحصل على درجة رسوب. مهارات الطالب في الرياضيات لم تتغير؛ بل الذي تغير هو طريقة تقديم السؤال.
النتيجة: اختبر المؤلفون 11 نموذجاً مختلفاً على معايير العدالة القياسية. ووجدوا أن مجرد تغيير شكل خيارات الإجابة (الخط، أو الترتيب، أو ما إذا كان على النموذج شرح إجابته أولاً) تسبب في تقلب درجات العدالة بشكل هائل. في بعض الأحيان، بدا النموذج "عادلاً" في نسخة واحدة من الاختبار و"منحازاً بشدة" في نسخة أخرى. هذا يعني أن درجات الاختبار تقيس في الغالب رد فعل النموذج تجاه التنسيق، وليس عدالته الفعلية.

الجزء الثاني: الحل الجديد – "MAC-Fairness"

بدلاً من الاختبار القصير، بنى المؤلفون محاكاة لملعب ألعاب تسمى MAC-Fairness.

بدلاً من سؤال النموذج: "هل أنت منحاز؟"، يضعون النموذج في محادثة متعددة الجولات مع وكيل ذكاء اصطناعي آخر. إنهم يعاملون المحادثة نفسها كأنها الاختبار.

كيف يعمل الملعب:

الإعداد: يتحدث وكيلان من الذكاء الاصطناعي. أحدهما هو الوكيل "الأساسي" (مجرد ذكاء اصطناعي قياسي). والآخر هو وكيل "الهوية" (النموذج الذي يتم اختباره، ولكن يُقال له إنه يمثل نوعاً معيناً من البشر، مثل "طبيب أسود" أو "معلم مسن").
اللعبة: يُعطون موضوعاً مثيراً للجدل (مثل مثال وظيفة التصميم الإبداعي أعلاه). ويتناقشون حوله عبر عدة جولات.
المراقبة: لا يهتم الباحثون بما هي الإجابة النهائية. بل يراقبون كيف يتصرف الوكلاء.
- ثبات الموقف (Position Persistence): إذا اختلف وكيل "الهوية" مع الشخص الآخر، هل يتمسك برأيه بعناد، أم يغير رأيه بسهلاً؟
- التقبل مع الأقران (Peer Receptiveness): إذا كشف وكيل "الهوية" عن خلفيته (على سبيل المثال: "أنا طبيب أسود")، هل يستمع إليه الطرف الآخر أكثر أم أقل؟

الجزء الثالث: ماذا وجدوا في الملعب؟

عندما راقبوا هذه المحادثات (وقاموا بتحليل 8 ملايين منها!)، وجدوا أنماطاً مستقرة فاتتها الاختبارات القصيرة.

1. تأثير "العناد" (المنظور الذاتي)
عندما يتم تعيين هوية محددة للذكاء الاصطناعي (مثل كونه من عرق أو جنس أو عمر معين)، فإنه يميل إلى أن يصبح أكثر عناداً.

الاستعارة: تخيل أنك تلعب لعبة ما. إذا كنت مجرد "اللاعب رقم 1"، فقد تغير رأيك بسهولة إذا اقترح صديقك حركة أفضل. ولكن إذا قيل لك: "أنت قائد الفريق"، فقد تتمسك بموقفك بقوة أكبر بكثير، حتى لو كان لصديقك وجهة نظر جيدة.
النتيجة: أصبحت النماذج أكثر مقاومة لتغيير آرائها عندما تم تعيين هوية ديموغرافية لها (مثل "أسود" أو "مسن") مقارنة عندما لم يكن لها هوية على الإطلاق. حدث هذا باستمرار عبر نماذج مختلفة ومواضيع مختلفة.

2. تأثير "الاستماع" (منظور الآخر)
عندما عرفت النماذج من هو شريك المحادثة، تغير سلوكها بناءً على هوية ذلك الشريك.

الاستعارة: تخيل أنك في نقاش جماعي. إذا عرفت أن شريكك هو نوع معين من الأشخاص، فقد تستمع إليه بعناية أكبر (أو أقل).
النتيجة: أظهرت النماذج مستويات مختلفة من التقبل اعتماداً على هوية الطرف الآخر. على سبيل المثال، كانت بعض النماذج أكثر عرضة لتغيير رأيها عندما كُشف أن الزميل "أسود" مقارنة بكونه "أبيض"، أو "أنثى" مقارنة بكونه "ذكر".

الخاتمة

تجادل الورقة بأننا بحاجة إلى التوقف عن الاعتماد على درجات الاختبارات الموحدة (الاختبار القصير) لأن من السهل خداعها من خلال طريقة كتابة السؤال.

بدلاً من ذلك، يجب أن نستخدم التقييم السلوكي في الموقع (الملعب). من خلال مراقبة كيفية تصرف النماذج في محادثة طبيعية متعددة الأدوار حيث يتم تبديل الهويات، يمكننا رؤية "بصماتها السلوكية" الحقيقية. هذه البصمات — مثل مدى عناد النموذج عندما يمتلك هوية — هي ثابتة وحقيقية، بينما درجات الاختبار ليست سوى ضجيج ناتج عن تنسيق الاختبار.

باختاً: لا تحكم على السمكة بناءً على مدى جودة تسلقها للشجرة (درجة الاختبار)؛ بل راقب كيف تسبح في الماء (المحادثة).

ملخص تقني: التقييم السلوكي في الموقع لعدالة النماذج اللغوية الكبيرة، وليس درجات الاختبارات المعيارية

بيان المشكلة

تعتمد النماذج الحالية لتقييم عدالة النماذج اللغوية الكبيرة (LLM) بشكل كبير على معايير الأسئلة والأجوبة الخاصة بالاختبارات المعيارية. في هذا النهج، يتم فحص النماذج بأسئلة تشير إلى سمات حساسة (العرق، الجنس، العمر)، وتُشتق درجات التحيز الإجمالية من إجاباتها. ويجادل المؤلفون بأن هذا النموذج غير موثوق بنيوياً.

يكشف التحليل التجريبي أن خيارات بناء المطالبات (prompts) السطحية — وهي عوامل لا علاقة لها بمسألة العدالة نفسها، مثل تنسيق خيارات الإجابة (على سبيل المثال، الحروف مقابل النقاط) أو ترتيب حقول مخرجات JSON (الإجابة أولاً مقابل المبرر أولاً) — تهيمن على تباين درجات العدالة. هذه الخيارات التعسفية يمكن أن تؤدي إلى:

تفسير غالبية تباين الدرجات، حتى بعد التحكم في العشوائية في عملية فك التشفير (decoding stochasticity).
تغيير الاستنتاجات المتعلقة بالعدالة في كل من الاتجاه والمقدار (على سبيل المثال، قد يظهر نموذج بأنه متحيز في اتجاه معين تحت تنسيق مطالبة معين، وغير متحيز أو متحيز في الاتجاه المعاكس تحت تنسيق آخر).
إحداث تضارب شديد في تصنيفات النماذج، حيث يتذبذب موقع النموذج بالنسبة للنماذج الأخرى بشكل حاد بناءً على تنسيق المطالبة بدلاً من السلوك الجوهري للنموذج.

وبناءً على ذلك، يفشل نموذج الاختبارات المعيارية في التمييز بين إشارات العدالة الحقيقية وبين المصنوعات القياسية (measurement artifacts)، مما قد يؤدي إلى تقييمات تكون "عادلة على الورق ولكن منحازة في الواقع".

المنهجية: MAC-Fairness

لمعالجة هذه القيود، يقترح المؤلفون إطار عمل MAC-Fairness، وهو إطار حواري متعدد الوكلاء ينقل التركيز التقييمي من الإجابة على الأسئلة الثابتة إلى القياس السلوكي في الموقع (in-situ).

الإطار الجوهري

المحادثة كأداة قياس: بدلاً من معاملة النموذج كمتدرب يخضع للاختبار، يستخدم الإطار الحوار متعدد الجولات كأداة للقياس. تُعاد صياغة أسئلة الاختبارات المعيارية لتكون مجرد "بذور محادثة" لبدء الحوار، وليس كمعيار مباشر للتقييم.
تكوين الوكلاء: يتم إنشاء الوكلاء من نفس النموذج الأساسي ولكن مع تهيئتهم بسمات محددة:
- الديموغرافيا: الفئات الاجتماعية (مثل: أسود، أبيض، مسن، شاب).
- الشخصية: الأدوار المهنية (مثل: طبيب، معلم).
- التجسيد (Instantiation): ما إذا كان الوكيل هو الشخص ("بشر") أو يساعد الشخص ("ذكاء اصطناعي").
- الوكيل المرجعي (Baseline Agent): وكيل تحكم بخصائص ديموغرافية وشخصية فارغة، مُجسد كذكاء اصطناي.
التصميم التجريبي:
- منظور الذات (Self-Perspective): يبحث في كيفية تأثير الهوية المخصصة للوكيل على ثبات الموقف (مدى تكرار تمسكه بموقفه الأولي) عند التفاعل مع وكيل مرجعي.
- منظور الآخر (Other-Perspective): يبحث في كيفية تغير مدى تقبل الوكيل (الرغبة في تغيير موقفه) بناءً على الهوية المكشوفة لنظيره.
- التغيرات المحكومة: يقوم إطار العمل بتغيير هياكل المطالبات، وتعيينات الهوية، وظروف الإفصاح (النظير المكشوف الهوية مقابل المجهول) بشكل منهجي عبر 8 ملايين نص محادثة.

المقاييس السلوكية

المقياس الأساسي هو معدل التحول ( $\lambda$ )، والذي يُعرف باحتمالية تغيير الوكيل لإجابته المختارة لتتطابق مع إجابة سابقة للنظير، بشرماً بوجود اختلاف مسبق.

ثبات الموقف (Position Persistence): يُقاس بمدى تكرار فشل "وكيل الهوية" في التحول نحو موقف "الوكيل المرجعي".
تقبل النظير (Peer Receptiveness): يُقاس بمدى تكرار تحول "الوكيل المرجعي" نحو موقف "وكيل الهوية" عند الكشف عن هويته.

النتائج الرئيسية

1. عدم استقرار نماذج الاختبارات المعيارية

أكد التقييم عبر 11 نموذجاً مفتوح الأوزان (من 3 إلى 70 مليار معلمة) ومعيارين رئيسيين (BBQ و Difference-Awareness) عدم الاستقرار الهيكلي:

هيمنة التباين: فسرت خيارات بناء المطالبات نسبة كبيرة من تباين الدرجات ( $\eta^2$ )، وظلت العديد من النتائج ذات دلالة إحصائية بعد تصحيح بنجاميني-هوكبيرغ.
التحولات الاتجاهية: بالنسبة لنماذج مثل GLM 4.7 Flash، وصل التفاوت بين درجات التحيز القصوى ضمن فئة واحدة إلى 57 ضعفاً. وأظهرت عدة فئات "انعكاسات في الإشارة"، حيث ظهر النموذج متحيزاً في اتجاهات متضادة اعتماداً على تنسيق المطالبة.
تضارب التصنيفات: كانت تصنيفات النماذج غير مستقرة للغاية؛ حيث يمكن للنموذج أن يتنقل عبر كامل نطاق التصنيفات (من الأفضل إلى الأسوأ) بناءً فقط على تغييرات سطحية في تنسيق المطالبة.

2. البصمات السلوكية المستقرة في الموقع

في المقابل، كشف إطار MAC-Fairness عن أنماط سلوكية مستقرة وخاصة بالنماذج، والتي تكررت عبر معايير مختلفة (BBQ, Discrim-Eval, Difference-Awareness):

منظور الذات (ثبات الموقف):
- تعيين الديموغرافيا يزيد من العناد: إن تعيين أي هوية ديموغرافية (مثل: أسود، أبيض، مسن) أدى عموماً إلى زيادة ثبات الموقف (جعل الوكلاء أكثر "عناداً") مقارنة بتعيين هوية ديموغرافية فارغة.
- عدم التماثل في المجموعات المستضعفة: أظهر الوكلاء الذين تم تعيين ديموغرافيات مستضعفة لهم (أسود، مسن، أنثى) ثباتاً أكبر في الموقف باستمرار مقارنة بنظرائهم (أبيض، شاب، ذكر) عبر نماذج ومعايير متعددة. كان هذا التأثير واضحاً بشكل خاص في نماذج Ministral 3 و Qwen3.
- تأثيرات التجسيد: استمرت العلاقات المتعلقة بالعرق في ظل كل من التجسيد "البشري" و"الذكاء الاصطناعي"، بينما لوحظت التأثيرات المتعلقة بالعمر بشكل أساسي تحت التجسيد "البشري".
منظور الآخر (تقبل النظير):
- التقبل المتفاوت: تباين تقبل "الوكيل المرجعي" بناءً على الهوية التي تم الكشف عنها. فالكشف عن هوية "أسود" (مقابل "أبيض") أو "أنثى" (مقابل "ذكر") زاد من تقبل الوكيل المرجعي في نماذج معينة (لا سيما GLM 4.7 Flash).
- التعديل بواسطة التجسيد: تأثر تأثير الكشف عن الهوية بما إذا كان النظير مُجسداً كـ "بشر" أو "ذكاء اصطناعي". على سبيل المثال، في نموذج Phi-4 Mini، أدى التجسيد البشري إلى إضعاف التقبل عندما تم الكشف عن النظير كـ "مسن".
- الهوية مقابل الفراغ: على عكس منظور الذات، لم يؤدِ مجرد الكشف عن أي هوية ديموغرافية إلى تغيير التقبل بشكل قوي مقارنة بالكشف عن هوية فارغة؛ بل كان المحتوى الديموغرافي المحدد هو الأكثر أهمية من مجرد وجود هوية.

الأهمية والادعاءات

يزعم البحث أن عدالة النماذج اللغوية الكبيرة يجب أن تُقيم من خلال السلوك الحواري في الموقع بدلاً من درجات الاختبارات المعيارية.

التحول في النموذج الفكري: يجادل المؤلفون بضرورة الابتعاد عن التقييمات الثابتة القائمة على الدرجات، والتي تكون عرضة للمصنوعات الناتجة عن المطالبات، نحو أطر عمل تلتقط العدالة من خلال التفاعلات السلوكية الديناميكية.
القدرة على التعميم: يُزعم أن البصمات السلوكية المحددة (مثل زيادة الثبات للهويات المستضعفة) مستقرة عبر معايير تستهدف عدالة مختلفة، وهياكل أسئلة، ومنهجيات متنوعة. يشير هذا الاتساق عبر المعايير إلى أن هذه الأنماط تعكس خصائص سلوكية جوهرية للنماذج وليست مجرد نتاج لتصميمات التقييم.
صلاحية القياس: من خلال معاملة المحادثة نفسها كأداة للقياس، يهدف MAC-Fairness إلى توفير تقييم أكثر واقعية وموثوقية لكيفية سلوك النماذج عندما تندمج الهوية في التفاعل الطبيعي، مما يقدم دليلاً لا تستطيع نماذج الاختبارات المعيارية توفيره.

العمل لا يقترح "درجة عدالة" جديدة لتحل محل الموجودة، بل يقترح تحولاً منهجياً لتحديد الأنماط السلوكية المستقرة التي تتسم بالمتانة تجاه الضجيج المتأصل في بروتوكولات التقييم الحالية.