💬 NLP

EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models

يُعدّ EvalMORAAL إطار عمل شفافاً وقابلاً للتفسير، يقيم التوافق الأخلاقي في 20 نموذجاً لغوياً ضخماً مقابل بيانات استطلاع عالمية، كاشفاً عن ارتباطات قوية إجمالاً ولكن مع فجوة توافق تبلغ 0.21 نقطة بين المناطق الغربية وغير الغربية.

المؤلفون الأصليون: Hadi Mohammadi, Anastasia Giachanou, Robert A. Bagheri

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hadi Mohammadi, Anastasia Giachanou, Robert A. Bagheri

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة عملاقة وذكية للغاية من الكتب التي قرأها روبوت ليتعلم كيف يتحدث. هذا الروبوت، المسمى "نموذج لغوي كبير" (LLM)، موهوب للغاية في كتابة القصص، والإجابة على الأسئلة، وحل الألغاز. ولكن هناك عقبة: لقد تعلم الروبوت معظم معلوماته من كتب كُتبت باللغة الإنجليزية، ومعظمها من أشخاص في الدول الغربية (مثل الولايات المتحدة وأوروبا).

الآن، تخيل أنك سألت هذا الروبوت سؤالاً حول ما هو "صواب" أو "خطأ" في ثقافة لم يتعلم عنها الكثير، مثل أجزاء من أفريقيا أو آسيا. هل سيعطي الروبوت إجابة تتناسب مع تلك الثقافة، أم أنه سيعطي الإجابة التي تعلمها من كتبه الغربية؟

هذا هو بالضبط ما تبحث فيه ورقة بحثية بعنوان EvalMORAAL. فقد صمم الباحثون "اختباراً أخلاقياً" ليروا مدى قدرة 20 روبوتاً مختلفاً من الذكاء الاصطناعي على فهم القيم الأخلاقية للناس في جميع أنحاء العالم.

إليك كيف فعلوا ذلك، مشروحاً ببعض التشبيهات البسيطة:

1. الاختبار: "استطلاع قيم عالمي"

لم يكتفِ الباحثون بطرح أسئلة عشوائية على الروبوتات، بل استخدموا استطلاعين ضخمين من الواقع (استطلاع القيم العالمي - World Values Survey و استطلاع بيو للمواقف العالمية - PEW Global Attitudes Survey) اللذين سألا بشرًا حقيقيين في 64 دولة عن 23 موضوعاً أخلاقياً مختلفاً.

المواضيع: أشياء مثل "هل من المقبول الغش في الضرائب؟" أو "هل المثليّة الجنسية مقبولة؟" أو "هل من المقبول استخدام العنف لحل مشكلة؟".
الهدف: أرادوا معرفة ما إذا كانت إجابات الذكاء الاصطناعي تتطابق مع متوسط إجابات البشر الحقيقيين في ذلك البلد تحديداً.

2. المنهجية: طريقتان للسؤال، وحكم واحد

للحصول على أفضل النتائج، لم يكتفِ الباحثون بسؤال الذكاء الاصطناعي عن "نعم" أو "لا" بسيطة، بل استخدموا استراتيجية من ثلاثة أجزاء:

الدرجة "الخفية" (الاحتمالات اللوغاريتمية - Log-Probabilities): تخيل أنك تطلب من الذكاء الاصطناعي إكمال جملة مثل: "في اليابان، المثليّة الجنسية هي..."، حيث يتعين على الذكاء الاصطناعي الاختيار بين "مقبولة" أو "غير مقبولة". نظر الباحثون إلى مدى ثقة الذكاء الاصطناعي في اختياره بناءً على حساباته الداخلية. هذا يشبه مراقبة سرعة حركة يد الطالب عندما يكتب الإجابة؛ فهي تظهر شعوره الداخلي.
درجة "التفكير" (سلسلة الأفكام - Chain-of-Thought): هذا هو الابتكار الكبير. بدلاً من مجرد إعطاء إجابة، طلب الباحثون من الذكاء الاصطناعي أن يفكر بصوت عالٍ أولاً.
- الخطوة 1: "ما هي الأعراف الاجتماعية في هذا البلد؟"
- الخطوة 2: "فكر خطوة بخطوة: هل هذا مقبول هنا؟"
- الخطوة 3: "أعطِ درجة من -1 (غير مقبول أبداً) إلى +1 (مقبول دائماً)."
- النتيجة: عملت خطوة "التفكير" هذه بشكل أفضل بكثير. كان الأمر كما لو أنك تعطي الذكاء الاصطناعي لحظة ليرتدي "نظارات ثقافية" قبل الإجابة، بدلاً من مجرد التخمين.
"مراجعة النظراء" (الذكاء الاصطناعي كحكم - LLM-as-Judge): للتأكد من أن الذكاء الاصطناعي لا يختلق الأمور، جعل الباحثون 20 روبوتاً مختلفاً يقيمون خطوات "التفكير" الخاصة ببعضهم البعض. إذا بدا منطق الروبوت (أ) غريباً أو منحازاً، فإن الروبوت (ب) سيقوم بالإشارة إلى ذلك. ساعد هذا الباحثين في العثور على 348 حالة محددة اختلف فيها الروبوتات بشدة مع بعضهم البعض.

3. النتائج: أخبار جيدة، وأخبار سيئة

وجدت الدراسة بعض الأنماط الواضحة:

"الفئة العليا" تتحسن: النماذج الأكثر ذكاءً (مثل Claude-3-Opus و GPT-4o) تقوم بعمل جيد بشكل مفاجئ. فعندما يُسألون عن القضايا الأخلاقية في الدول الغربية، تتطابق إجاباتهم مع استطلاعات البشر الحقيقيين بشكل شبه مثالي (حوالي 90% من الارتباط). إنه يشبه طالباً درس بجد وحصل على درجة امتياز في الاختبار.
"الفجوة الإقليمية" حقيقية: هذا هو الاكتشاف الأكبر. الروبوتات بارعة في فهم القيم الغربية (مثل الولايات المتحدة أو أوروبا)، لكنها تعاني بشكل كبير مع القيم غير الغربية (مثل الشرق الأوسط، جنوب آسيا، أو أفريقيا).
- التشبيه: تخيل مترجماً يتقن الفرنسية والإسبانية، لكنه لا يعرف سوى كلمات قليلة من لغة السواحيلية. إذا سألته عن ترجمة قصيدة سواحيلية معقدة، فقد يخمن المعنى، لكنه على الأرجح سيخطئ. وجدت الورقة البحثية فجوة قدرها 21 نقطة بين مدى فهم الذكاء الاصطناعي للثقافات الغربية مقابل الثقافات غير الغربية.
العنف أمر صعب: واجهت الروبوتات أكبر صعوبة في المواضيع التي تتضمن العنف (مثل الإرهاب أو العنف المنزلي). هذه هي الأسئلة التي يبرز فيها السياق الثقافي بأقص_ى درجاته، حيث ظهر "الانحياز الغربي" للذكاء الاصطناعي بقوة.

4. لماذا هذا مهم؟

تخلص الورقة البحثية إلى أنه بينما يحرز الذكاء الاصطناعي تقدماً كبيًراً، إلا أنه لا يزال "أعمى ثقافياً" في أجزاء كثيرة من العالم.

المشكلة: إذا استخدمنا هذه الروبوتات لاتخاذ القرارات (مثل الإشراف على وسائل التواصل الاجتماعي أو تقديم استشارات قانونية) في دول غير غربية، فقد تقوم بإسكات الأصوات المحلية المشروعة أو إساءة فهم العادات المحلية لأنها تطبق قواعد غربية على مواقف غير غربية.
الحل: يقترح الباحثون أنه لا يمكننا الاعتماد فقط على ذكاء اصطناعي "عالمي" واحد. نحن بحاجة إلى فحص كيفية أداء هذه النماذج في مناطق محددة، واستخدام طريقة "التفكير" (سلسلة الأفكار) لتحسينها، وربما تدريبها ببيانات أكثر تنوعاً حتى لا تبدو وكأنها قادمة من حي واحد محدد.

باختصار: لقد صنعت هذه الورقة مرآة لتظهر لنا أن روبوتات الذكاء الاصطناዊ لدينا تعكس حالياً القيم الغربية ببراعة، لكنها لا تزال تتعلم كيف ترى العالم من خلال عيون بقية سكان الكوكب.

ملخص تقني: EvalMORAAL

بيان المشكلة

تثير عملية النشر السريع للنماذج اللغوية الكبيرة (LLMs) عبر السياقات العالمية مخاوف حرجة تتعلق بقدرتها على عكس القيم الأخلاقية المتنوعة. فالنماذج الحالية، التي غالبًا ما يتم تدريبها على بيانات تهيمن عليها المجتمعات الغربية، والمتعلمة، والصناعية، والغنية، والديمقراطية (W.E.I.R.D.)، تخاطر بتضخيم التحيزات الثقافية وعدم التوافق مع المعايير الأخلاقية المحلية. وبينما حددت الأبحاث السابقة وجود ارتباطات متوسطة بين مخرجات النماذج اللغوية الكبيرة وبيانات الاستطلاعات البشرية، لا تزال هناك فجوات كبيرة في فهم دقة هذا التوافق، واستقرار استدلال النماذج، والآليات المحددة التي تظهر من خلالها التحيزات الإقليمية. وتعتمد طرق التقييم الحالية غالبًا على مقاييس تسجيل منفردة أو تفتقر إلى بروتوكولات منهجية للكشف عن الصراعات وحلها في الأحكام الأخلاقية عبر الثقافات المختلفة.

المنهجية: إطار عمل EvalMORAAL

يقدم المؤلفون EvalMORAAL، وهو إطار تقييم شفاف مصمم لتقييم التوافق الأخلاقي في النماذج اللغوية الكبيرة باستخدام نهج متعدد الأوجه. يقيم الإطار 20 نموذجًا متنوعًا (تتراوح من 3 مليار إلى أكثر من 200 مليار معلمة، بما في ذلك الأنظمة المملوكة والمفتوحة المصدر) عبر 64 دولة و23 موضوعًا أخلاقيًا.

1. مجموعات البيانات والحقيقة الأرضية (Ground Truth)

يستخدم التقييم استطلاعين شاملين عبر الثقافات كحقيقة أرضية:

استطلاع القيم العالمي (WVS): 55 دولة، 19 موضوعًا (كتلة القيم والمعايير الأخلاقية).
استطلاع PEW للآراء العالمية: 39 دولة، 8 موضوعات.
يتم تطبيع البيانات إلى مقياس يتراوح بين $[-1, 1]$ ، حيث يمثل $-1 $"غير مبرر أبدًا" و$ +1$ "مبرر دائمًا". يعمل التقييم على 1,357 زوجًا فريدًا من (الدولة–الموضوع) بدلاً من الدرجات الوطنية المجمعة للحفاظ على البنية على مستوى الموضوع.

2. آلية التسجيل المزدوجة

لتمكين المقارنة العادلة والتقاط الاستدلال الأخلاقي الضمني والصريح، يستخدم الإطار طريقتين متميزتين للتسجيل لكل نموذج:

درجة احتمالية السجل ( $s_{LP}$ ): مشتقة من احتمالية الرموز (tokens) باستخدام مطالبات إكمال الجمل بأزواج من الصفات المتضادة (مثل "مبرر دائمًا" مقابل "غير مبرر أبدًا"). يتم قياس هذه الدرجات بنظام (min-max) لكل نموذج لمنع تسرب المعلومات.
درجة سلسلة الأفكوت المباشرة ( $s_{DIR}$ ): يتم إنتاجها عبر بروتوكول سلسلة أفكوت (CoT) مهيكل حيث يُطلب من النموذج استدعاء المعاييد الاجتماعية، والاستدلال خطوة بخطوة، وإخراج درجة عددية محدودة ( $x \in [-1, 1]$ ). ولضمان الاستقرار، يتم إنشاء $k=5$ عينات لكل سيناريو، ويتم حساب متوسط الدرجة.

3. الاتساق الذاتي ومراجعة النظراء

الاتساق الذاتي: يُقاس عبر متوسط تشابه جيب التمام (cosine similarity) الزوجي لتمثيلات (embeddings) سلسلة الأفكوت لـ $k=5$ . وهذا يقيم استقرار عملية الاستدلال في النموذج.
مراجعة النظراء بواسطة نموذج لغوي كبير (LLM-as-Judge): مكون مبتكر حيث تقوم 19 نموذجًا بتقييم مسارات الاستدلال للنموذج العشرين (مع استبعاد التقييم الذاتي). يقوم الحكام بتقييم المعقولية الثقافية، والاتساق المنطقي، وملاءمة الدرجة، مع إرجاع تسمية "صالح/غير صالح" (VALID/INVALID) مع تبرير موجز. معدل اتفاق النظراء ( $A_m$ ) هو نسبة المسارات التي تم التحقق من صحتها من قبل النظراء لنموذج معين.
كشف الصراع: يتم وضع علامة على الصراعات عندما تختلف الدرجات المباشرة لنموذجين بمقدار $\ge 0.38$ (النسبة المئوية 75 التجريبية). وتُصنف هذه الصراعات إلى صراعات ثنائية، واختلافات تدرجية، وحالات شاذة.

المساهمات الرئيسية

إطار تقييم شامل: يوفر EvalMORAAL مسارًا قابلًا لإعادة الإنتاج يتكون من ثلاث مراحل (الاستدلال المزدوج، الاتساق الذاتي، مراجعة النظراء) يتجاوز مجرد مقاييس الارتباط البسيطة لتحليل جودة الاستدلال واستقراره.
التسجيل المزدوج المنهجي: تثبت الورقة أن الجمع بين فحص احتمالية السجل واستدلال سلسلة الأفكوت (CoT) الصريح يعطي مقاييس توافق أكثر قوة من أي طريقة بمفردها.
تصنيف الصراعات: يقدم الإطار طريقة قائمة على البيانات للكشف عن الخلافات الأخلاقية بين النماذج وتصنيفها، حيث حدد 348 صراعًا محددًا في مجموعة التقييم.
تحليل التوافق الإقليمي: من خلال تفكيك النتائج حسب الجغرافيا، تحدد الدراسة الفجوة المستمرة بين التوافق الأخلاقي الغربي وغير الغربي.

النتائج

توافق عالٍ للفئات العليا: تحقق أفضل النماذ أداءً (Claude-3-Opus, GPT-4o, Gemini-Pro) توافقًا قويًا مع بيانات الاستطلاعات البشرية في مجموعة بيانات WVS، حيث تصل معاملات ارتباط بيرسون ( $r$ ) إلى حوالي 0.90 (على سبيل المثال، Claude-3-Opus $r=0.903$ ).
تفوق تسجيل سلسلة الأفكوت المباشرة (Direct CoT): بالنسبة لـ 20 نموذجًا، يتفوق تسجيل $s_{DIR}$ بشكل منهجي على تسجيل احتمالية السجل $s_{LP}$ . التحسن طفيف في WVS ( $\Delta r \approx 0.10$ ) ولكنه أكبر بكثير في PEW ( $\Delta r \approx 0.17$ )، مما يشير إلى أن الاستدلال المهيكل يساعد النماذج على معايرة أحكامها بشكل أفضل.
فجوة إقليمية مستمرة: توجد تباينات كبيرة بين المناطق. تظهر المناطق الغربية متوسط توافق قدره $r=0.82$ ، بينما يبلغ متوسط التوافق في المناطق غير الغربية $r=0.61$ ، مما يخلق فجوة مطلقة قدرها 0.21. هذه الفجوة ثابتة عبر مستويات الأداء المختلفة.
الاتساق الذاتي كإشارة للجودة: ترتبط معدلات اتفاق النظراء بقوة مع التوافق في استطلاع WVS ( $r=0.74, p<.001$ )، مما يشير إلى أن إجماع النماذج يمكن أن يعمل كوكيل قابل للتوسع لجودة الاستدلال. ومع ذلك، فإن هذا الارتباط أضعف وغير معنوي بالنسبة لمجموعة بيانات PEW.
صعوبة الموضوع: تُظهر المواضيع المتعلقة بالعنف (مثل العنف السياسي، الإرهاب، ضرب الزوجة) باستمرار أعلى متوسط أخطاء مطلقة عبر جميع مستويات النماذج، مما يشير إلى أن هذه المجالات لا تزال تشكل تحديًا للتوافق الثقافي.
حل الصراعات: من بين الصراعات المكتشفة، تم حل 89% منها عبر التصويت بالأغلبية بين الـ 20 نموذجًا، بينما مثلت الـ 11% المتبقية حالات غامضة تتطلب تحققًا بشريًا.

الأهمية والادعاءات

يزعم المؤلفون أن EvalMORAAL يظهر تقدمًا حقيقيًا نحو ذكاء اصطناعي مدرك للثقافة، حيث تقترب النماذج من الفئات العليا الآن من الأحكام الأخلاقية البشرية في سياقات الاستطلاعات. ومع ذلك، تحافظ الورقة على موقف متواضع، مؤكدة أن الفجوة الإقليمية البالغة 21 نقطة تظل عائقًا رئيسيًا أمام النشر العالمي العادل.

تسلط الدراسة الضوء على أنه بينما يمكن للنماذج الحالية التوافق جيدًا مع المعايير الغربية، فإنها تكافح لاستيعاب وجهات النظر غير الغربية، خاصة في المجالات الأخلاقية المعقدة أو المرتبطة بالعنف. ويجادل المؤلفون بأن قدرة الإطار على توليد مسارات استدلال قابلة للقراءة البشرية (CoT) توفر مسارًا عمليًا لتشخيص نقاط الضعف هذه. ويخلصون إلى أنه بينما يبدو مراجعة النظراء الآلية واعدة للتحكم في الجودة، فإن الإشراف البشري والتحقق الخاص بكل منطقة ضروريان قبل نشر مثل هذه الأنظمة في السياقات غير الغربية عالية المخاطر. لا تدعي الورقة حل مشكلات التوافق هذه، بل توفر الأدوات التشخيصية اللازمة لقياسها وتوجيه التحسينات المستقبلية، مثل الضبط الدقيق الخاص بالثقافة والتدريب المسبق المتنوع.