ملخص تقني: عدالة التفسير في النماذج اللغوية الكبيرة

1. بيان المشكلة

بينما توجد أبحاث مكثفة حول عدالة مستوى القرار في النماذج اللغوية الكبيرة (LLMs) — والتي تركز على ما إذا كانت السمات المحمية ترتبط بنتائج سلبية — هناك فجوة حرجة تتعلق بـ عدالة التفسير. تُعرف هذه الورقة عدالة التفسير بأنها التباين المنهجي في الجودة، والعمق، والنبرة، والرقي اللغوي للمبررات التي تقدمها النماذج اللغوية الكبيرة عبر مختلف المجموعات الديموغرافية، حتى عندما يكون القرار الأساسي متطابقًا.

يجادل المؤلفون بأن النموذج يمكن أن ينتج قرارات متوازنة بينما يفسرها بشكل غير متكافئ (على سبيل المثال، تقديم مبررات مفصلة ومحترمة لمجموعة ما، مقابل مبررات مقتضبة وغير مبالية لمجموعة أخرى). هذا التفاوت يختلف عن عدالة القرار ويحمل إلحاحًا تنظيميًا كبيرًا، لا سيما في ضوء قانون الذكاء الاصطناعي للاتحاد الأوروبي (المادة 13)، الذي يفرض على أنظمة الذكاء الاصطناعي عالية المخاطر تقديم مبررات شفافة كافية لتمكين الأفراد من فهم القرارات والطعن فيها. إذا كانت جودة التفسير أقل بشكل منهجي للمجموعات الأقلية، فإن الامتثال لـ "الحق في التفسير" يصبح مهددًا.

2. المنهجية

2.1 التصميم التجريبي

تستخدم الدراسة تصميمًا تجريبيًا محكمًا باستخدام استبدال الأسماء ضمن قوالب الأوامر (Prompts)، وهي منهجية قياسية في أبحاث التدقيق القائمة على المراسلات.

• المجالات: تم اختيار أربعة مجالات للقرارات الحاسمة: التوظيف، والفرز الطبي، وتقييم الائتمان، والأحكام القانونية.
• القوالب: تم إنشاء 80 قالب أمر (20 لكل مجال). في كل زوج، يتم تثبيت محتوى السيناريو (المؤهلات، الظروف، نتيجة القرار)، بينما يتم تغيير السمة الديموغرافية (الاسم) لتمثيل مجموعات مختلفة (الجنس، العرق، العمر، الدين، والهويات المتداخلة).
• النماذج: تم تقييم خمسة نماذج لغوية كبيرة: GPT-4.1، وClaude Sonnet، وLLaMA 3.3 70B، وGPT-OSS 120B، وQwen3 32B.
• حجم البيانات: تم تقييم ما يصل إلى 400 زوج من الأوامر عبر جميع النماذج. ولقياس مقياس "التفسير المرتبط بالقرار"، تم استدعاء تفسير تبايني لكل أمر (تبرير القرار المعاكس في نفس السيناريو) لحساب مؤشرات الإخلاص (Faithfulness proxies).

2.1 تصنيف عدالة التفسير (EFT)

تقدم الورقة تصنيف عدالة التفسير (EFT)، وهو إطار عمل عملي يتكون من خمسة أبعاد محددة رسميًا وقابلة للقياس:

1. تباين الإطناب (Verbosity Disparity): يُقاس بعدد الكلمات وعمق التفصيل (عدد الأسباب المتميزة دلاليًا التي تم تحديدها عبر تجميع تضمين الجمل).
2. تباين المشاعر (Sentiment Disparity): يُقاس عبر درجة VADER المركبة لتقييم التكافؤ العاطفي (إيجابي، سلبي، محايد).
3. تباين التحوط المعرفي (Epistemic Hedging Disparity): يُقاس عبر درجة كثافة التحوط (HDS)، وهو مقياس يعتمد على المعجم المرجح الذي يحدد وتيرة علامات عدم اليقين (مثل "قد"، "ربما"، "غير مؤكد").
4. تباين التفسير المرتبط بالقرار (Decision-Linked Explanation Disparity): يُقاس عبر وسيط إخلاص التفسير (EFP). يحسب هذا المنهج عدم التشابه الهيكلي (عبر مسافة جيب التمام للتضمينات) بين التفسير لقرار ($d$) والتفسير للقرار المعاكس ($\neg d$) في نفس السيناريو. يشير EFP المنخفض إلى أن التفسير ثابت تجاه القرار، مما يوحي بغياب الاستدلال الحقيقي.
5. تباين التعقيد المعجمي (Lexical Complexity Disparity): يُقاس عبر مستوى Flesch-Kincaid (FKGL)، ونسبة النوع إلى الرمز (TTR)، وكثافة المصطلحات المتخصصة.

2.3 التحليل الإحصائي

تم قياس التباينات باستخدام الفروق المطلقة بين الأزواج الديموغرافية. تم اختبار الدلالة الإحصائية باستخدام اختبار Wilcoxon signed-rank لعينة واحدة، مع حساب أحجام التأثير عبر Cohen's $d$. كما تم تصحيح المقارنات المتعددة باستخدام إجراء Benjamini-Hochberg (BH).

3. المساهمات الرئيسية

1. تصنيف تشغيلي: تعريف EFT، الذي يوفر خمسة أبعاد متميزة وقابلة للقياس لتباين مستوى التفسير.
2. مقاييس مبتكرة: تقديم HDS وEFP كمؤشرات عملية (Heuristics) تعمل بنظام "الصندوق الأسود" لتدقيق عدالة التفسير دون الحاجة للوصول إلى أوزان النموذج أو داخلياته.
3. معيار مرجعي تجريبي: دراسة واسعة النطاق عبر 80 قالب أمر، و4 مجالات، و5 نماذج لغوية، تظهر نتائج تشير إلى وجود تباينات منهجية عبر جميع المقاييس.
4. تحليل التخفيف (Mitigation Analysis): تقييم تدخلين عبر الأوامر ("الأعمى/Blind" و"العدالة/Fairness") على النماذج ذات التباين الأعلى لتحديد ما إذا كانت تعليمات مرحلة النشر يمكن أن تحل هذه المشكلات.

4. النتائج الرئيسية

4.1 وجود التباينات (RQ1)

أظهرت جميع مقاييس EFT الثمانية (بما في ذلك المقاييس الفرعية للتعقيد المعجمي) تباينات ذات دلالة إحصائية عبر جميع أزواج الأوامر ($p_{BH} < 10^{-62}$). تراوحت أحجام التأثير (Cohen's $d$) من صغيرة إلى كبيرة:

• تأثيرات كبيرة: التعقيد المعجمي (FKGL، $d=0.856$) والتحوط المعرفي (HDS، $d=0.810$).
• تأثيرات متوسطة: عمق التفصيل، المشاعر، نسبة النوع إلى الرمز، كثافة المجال، وEFP ($d \approx 0.57–0.77$).
• تأثيرات صغيرة: الإطناب (عدد الكلمات، $d=0.457$).
  كان توزيع التباينات ملتويًا جهة اليمين، مما يعني أنه بينما كانت التباينات المتوسطة معتدلة، أظهرت أزواج ديموغرافية محددة عدم مساواة شديدة.

4.2 المحاور الديموغرافية (RQ2)

تفاوتت التباينات حسب المحور الديموغرافي ولكنها لم تتبع نمطًا موحدًا من الضرر:

• الدين: أظهر أعلى متوسط تباين ($d=0.822$)، خاصة في عمق التفصيل والتعقيد المعجمي، رغم صغر حجم العينة لهذا المحور ($n=40$).
• الاتجاهية: لم يكن اتجاه التباين موحدًا. على سبيل المثال، تلقى المتقدمون بأسماء مسلمة تفسيرات أقصر وأقل تفصيلًا بكثير من المتقدمين بأسماء مسيحية. وفي المقابل، حصل المتقدمات (الإناث) على تفسيرات أطول وأكثر تفصيلًا من المتقدمين (الذكور)، رغم أن هذا لم يرتبط بمشاعر أكثر إيجابية.

4.3 تباين النماذج (RQ3)

ارتبط اختيار النموذج بقوة بحجم التباين:

• أظهر Qwen3 32B أعلى التباينات، حيث كانت تباينات الإطناب أكبر بـ 5.9 مرة من LLaMA 3.3 70B. فقد أنتج مخرجات مقتضبة باستمرار لمجموعة ديموغرافية معينة بينما ولد استجابات مفصلة لمجموعة أخرى في سيناريوهات متطابقة.
• أظهر GPT-OSS 120B أعلى تباين في وسيط EFP، لا سيال في المجال القانوني، مما يشير إلى أن تفسيراته كانت أقل حساسية لتغيرات القرار لبعض المجموعات.
• كان GPT-4.1 و LLaMA 3.3 70B النموذجين الأكثر إنصافًا، حيث احتلا المركزين الرابع والخامس، رغم أنهما ظلا يظهران تباينات ذات دلالة إحصائية.

4.4 التخفيف عبر الأوامر (RQ4)

تم اختبار تدخلين للأوامر ("الأعمى" و"العدالة") على Qwen3 32B و GPT-OSS 120B:

• وسيط EFP: أدى كلا التدخلين إلى انخفاض كبير في تباين EFP (78–95%). ومع ذلك، يشير المؤلفون إلى أن هذا الأمر غامض؛ فقد يشير إلى حساسية أكثر اتساقًا تجاه القرار أو ببساطة إلى توليد تفسيرات عامة بشكل موحد.
• الأبعاد الأسلوبية: لم ينتج أي من التدخلين انخفاضًا ملموسًا في الإطناب، أو المشاعر، أو التحوط، أو التعقيد المعجمي. وفي بعض الحالات، زادت التباينات (وإن لم يكن ذلك بشكل كبير).
• الاستنتاج: الأوامر وحدها غير كافية لحل عدم المساواة في أسلوب التفسير.

5. الأهمية والادعاءات

تدعي الورقة أن عدالة التفسير هي بُعد متميز، وقابل للقياس، وله عواقب قانونية في سلامة الذكاء الاصطناعي، ومنفصل عن عدالة القرار.

• الآثار التنظيمية: تشير النتائج إلى أن المؤسسات قد تستوفي "نص" قانون الذكاء الاصطناعي للاتحاد الأوروبي (تقديم تفسير) بينما تفشل في تحقيق "روحه" (تقديم تفسير بجودة وإمكانية وصول متساوية). يوفر تصنيف EFT إطارًا للتدقيق آليًا وقابلًا للتكرار للكشف عن هذه التباينات قبل نافذة إنفاذ عام 2026.
• إرشادات النشر: تحدد الدراسة أن اختيار النموذج هو التدخل الأعلى تأثيرًا. ويُنصح الممارسون بأن استراتيجيات الأوامر البسيطة لا يمكنها حل التباينات الأسلوبية؛ بدلاً من ذلك، يتطلب معالجة هذه الفجوات تدخلات على مستوى التدريب (مثل البيانات المتوازنة تباينيًا أو الضبط الدقيق المستهدف).
• القيود: يذكر المؤلفون صراحةً أن EFP هو وسيط استدلالي يتطلب تحققًا بشريًا، وأن الدراسة تعتمد على مقاييس آلية دون حقيقة أرضية (Ground Truth) مقيمة بشريًا، وأن تصميم استبدال الأسماء يلتقط إشارات ارتباطية وليس عزوًا سببيًا لسمات ديموغرافية محددة.

باختصار، تثبت الورقة أن النماذج اللغوية الكبيرة تبرر القرارات بشكل منهجي وبشكل مختلف بناءً على التأطير الديموغرافي، وأن هذه التباينات قوية عبر النماذج والمجالات، ولا يمكن إصلاحها بسهولة عبر أوامر مرحلة النشر، مما يستوجب التحول نحو المعالجة على مستوى التدريب والتدقيق الآلي الصارم.