🤖 machine learning

Expected Moral Shortfall for Ethical Competence in Decision-making Models

تقترح هذه الورقة إطار عمل مبتكر لاتخاذ القرارات الأخلاقية في الذكاء الاصطناعي، والذي يقدم تمثيلاً رياضياً متقطعاً للأخلاق ومقياساً لـ "العجز الأخلاقي المتوقع" (EMS) لتقليل المخاطر الأخلاقية، مع تقييم تقنيات متنوعة وتحليل المقايضات بين أداء النموذج، والتعقيد، والكفاءة الأخلاقية.

المؤلفون الأصليون: Aisha Aijaz, Raghava Mutharaju, Manohar Kumar

نُشر 2026-02-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Aisha Aijaz, Raghava Mutharaju, Manohar Kumar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء مساعد آلي فائق الذكاء. إنه بارع في الرياضيات، يمكنه قراءة ألف كتاب في ثانية واحدة، ويمكنه اتخاذ القرارات بشكل أسرع من أي إنسان. لكن هناك عقبة: ليس لديه ضمير.

إذا طلبت من هذا الروبوت تحديد من يحصل على قرض بنكي أو من يتم قبوله في جامعة، فقد يختار المرشح "الأفضل إحصائياً" بناءً على الأرقام، ولكنه قد يتجاهل دون قصد العدالة، أو اللطف، أو حقيقة أن هناك شخصاً في وضع مأساوي بينما آخر أقل كفاءة بقليل فقط.

هذه الورقة البحثية تدور حول تعليم ذلك الروبوت امتلاك بوصلة أخلاقية دون أن يتسبب ذلك في تعطل "دماغه".

إليك شرح بسيط لفكرتهم، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: الروبوت "الذكي ولكن القاسي"

نماذج الذكاء الاصطناعي الحالية تشبه سائقي سباقات السيارات الذين لا يهتمون إلا بخط النهاية. إنهم يريدون أن يكونوا سريعين ودقيقين (أداء عالٍ)، لكنهم لا يهتمون إذا دهسوا أحد المشاة للوصول إلى هناك.

يجادل المؤلفون بأننا بحاجة إلى ذكاء اصطناعي يكون "وكيلاً كفؤاً أخلاقياً". هذا لا يعني أن الروبوت يحتاج إلى الشعور بالعواطف مثل البشر. بل يعني فقط أنه يحتاج إلى مجموعة من القواعد (إطار أخلاقي) مدمجة في عملية اتخاذ القرار الخاصة به حتى لا يتخذ خيارات فظيعة، حتى لو كانت تلك الخيارات "فعالة" من الناحية الرياضية.

2. الحل: "النقص الأخلاقي المتوقع" (EMS)

هذا هو الابتكار الكبير للورقة البحثية. لقد أخذ المؤلفون مفهوماً من عالم التمويل يسمى "العجز المتوقع" (Expected Shortfall).

التشبيه المالي: تخيل مديراً بنكياً. هو لا يقلق فقط بشأن متوسط الخسارة؛ بل يقلق بشأن السيناريو الأسوأ. "ما هو أسوأ شيء يمكن أن يحدث لأموالنا، ومدى سوء سيكون؟" هو يريد تقليل وقوع تلك الكارثة تحديداً.
التشبيه الأخلاقي: طبق المؤلفون هذا على الأخلاق. بدلاً من محاولة جعل الذكاء الاصطناعي "خيراً تماماً" في كل شيء (وهو أمر صعب)، فإنهم يسألون: "كيف نتأكد من أن الذكاء الاصطناعي لن يرتكب أسوأ الأخطاء الأخلاقية على الإطلاق؟"

أطلقوا على هذا اسم "النقص الأخلاقي المتوقع" (Expected Moral Shortfall - EMS). إنه يشبه شبكة الأمان. يُسمح للذكاء الاصطناعي بارتكاب أخطاء صغيرة أو أن يكون أقل كفاءة قليلاً، لكن يُمنع منعاً باتاً من ارتكاب الأخطاء الأخلاقية "الكارثية" (مثل رفض طالب مؤهل بوضوح بسبب خلل غريب في البيانات، أو رفض منح قرض لأسرة فقيرة ينقذ حياتها).

3. كيف يعمل: "بطاقة الأداء الأخلاقية"

لجعل هذا يعمل، كان على الباحثين ترجمة الأفكار البشرية الغامضة (مثل "العدالة" أو "النية") إلى رياضيات. لقد أنشأوا "بطاقة أداء أخلاقية" لكل قرار.

فكر في الأمر كأنك تصحح مقال طالب، ولكن لقرار حياتي:

العواقب (الـ "ماذا"): ما مدى سوء النتيجة؟ (مثلاً: إذا رفضنا هذا القرض، هل سيفقد الشخص منزله؟)
الواجبات (الـ "يجب"): هل اتبعنا القواعد؟ (مثلاً: هل عاملنا الجميع بالتساوي؟)
الشخصية (الـ "من"): ما هي النوايا؟ (مثلاً: هل كان المتقدم يحاول الغش، أم أنه كان سيئ الحظ فحسب؟)

يقوم الذكاء الاصطناعي بحساب "درجة أخلاقية" لكل قرار محتمل. إذا كانت الدرجة منخفضة جداً (غير أخلاقية للغاية)، فإن النظام يفعل "قيداً صارماً" — مثل الضوء الأحمر الذي يمنع الذكاء الاصطناعي من اتخاذ ذلك القرار المحدد، بغض النظر عن مدى جودة الرياضيات في غير صالح ذلك.

4. المقايضة: السرعة مقابل السلامة

اختبرت الورقة البحثية هذا في سيناريوهين من واقع الحياة:

القبول في الدراسات العليا: تحديد من يدخل الجامعة.
الموافقة على القروض: تحديد من يحصل على قرض بنكي.

جربوا ثلاث طرق لإضافة الأخلاق:

الإصلاح "البعدي" (الحارس): دع الذكاء الاصطنا_يقرر، ثم يأتي إنسان (أو قاعدة صارمة) ليضرب على يده ويغير القرار إذا كان غير أخلاقي.
- النتيجة: آمن جداً، ولكن الذكاء الاصطناعي يتوقف عن التعلم ويصبح سيئاً جداً في وظيفته الفعلية (دقة منخفضة).
إصلاح "الوزن": قل للذكاء الاصطناعي: "مهلاً، كن لطيفاً".
- النتيجة: يصاب الذكاء الاصطناعي بالارتباك وينخفض أداؤه بشكل كبير.
إصلاح الـ EMS (شبكة الأمان الذكية): وهذا هو الفائز في الورقة البحثية. إنه يعدل "دالة الخسارة" (حاسبة الخطأ الداخلية) للذكاء الاصطناعي. إنه يخبر الذكاء الاصطناعي: "يمكنك أن تكون سريعاً ودقيقاً، ولكن إذا كنت على وشك اتخاذ قرار يقع ضمن 'أسوأ 5% من الكوارث الأخلاقية'، يجب عليك التوقف."

النتيجة: يظل الذكاء الاصطناعي ذكياً جداً (دقة عالية) ولكنه يصبح أكثر أماناً بكثير. إنه يشبه سائق سباق سيارات تعلم كيفية الكبح تلقائياً قبل صدم أحد المشاة، دون أن يبطئ سرعته في بقية مسار السباق.

5. "الإنسان في الحلقة"

يعترف المؤلفون بأنه لا يمكنهم ترك الذكاء الاصطناعي يبتكر أخلاقه الخاصة. يجب على البشر وضع القواعد أولاً.

التشبيه: فكر في الذكاء الاصطناعي كموظف جديد. الخبير الأخلاقي البشري هو المدير الذي يكتب دليل الموظف. المدير يقرر: "في شركتنا، نحن نقدر 'العدالة' أكثر من 'السرعة'". ثم يتعلم الذكاء الاصطناعي اتباع هذا الدليل المحدد.

الخلاصة الكبرى

تقترح هذه الورقة طريقة لبناء ذكاء اصطناعي أخلاقي عملي.

إنها لا تحاول جعل الذكاء الاصطناعي "بشرياً" أو "عاطفياً". بدلاً من ذلك، تمنحه مكبح سلامة رياضياً. إنها تضمن أنه بينما يسعى الذكاء الاصطناعي لتحقيق النجاح، فإنه لن يتجاوز الخط أبداً ليسبب أسوأ ضرر ممكن.

باخت de مختصر: نحن لا نحتاج إلى ذكاء اصطناعي يشعر بالذنب. نحن بحاجة إلى ذكاء اصطناعي لديه خط "ممنوع التجاوز" مرسوم بالحبر الأحمر، والنقص الأخلاقي المتوقع (EMS) هو الأداة التي ترسم ذلك الخط.

إليك ملخص تقني مفصل لورقة البحث بعنوان "القصور الأخلاقي المتوقع للكفاءة الأخلاقية في نماذج اتخاذ القرار".

1. بيان المشكلة

تتناول الورقة فجوة حرجة في الذكاء الاصطناعي: فبينما تزداد قدرة أنظمة الذكاء الاصطناعي على اتخاذ قرارات معقدة، إلا أنها تفتقر إلى الكفاءة الأخلاقية. تعتمد النهج الحالية غالبًا على تطبيقات ضيقة محددة بمجالات معينة أو نظريات أخلاقية محددة (مثل النفعية البحتة)، مما يفشل في توفير إطار عمل عام ومرن للاستدلال الأخلاقي.

التحدي: دمج الأخلاق في الذكاء الاصطناعي أمر صعب بسبب ذاتية النظريات الأخلاقية، والتناقض بين الأطر الأخلاقية المختلفة (النفعية، الواجبية، وأخلاق الفضيلة)، وخطر تدهور أداء النموذج (الدقة) عند تطبيق القيود الأخلاقية.
الهدف: تطوير آلية تسمح لنماذج الذكاء الاصطناعي باتخاذ قرارات مستنيرة أخلاقيًا دون التضحية الكاملة بالأداء، وتحديدًا من خلال تقليل خطر "الفشل الأخلاقي الكارثي" بدلاً من مجرد تعظيم المنفعة الإجمالية.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر يتمحور حول القصور الأخلاقي المتوقع (EMS)، والمقتبس من مقياس المخاطر المالية "القصور المتوقع" (ES).

أ. التجزئة الرياضية للأخلاق

قام المؤلفون بصياغة الأخلاق رسميًا باستخدام ثلاث نظريات أخلاقية معيارية، يتم قياسها كمجموعة أوزان $W = \{\alpha, \beta, \gamma\}$ :

النفعية ( $\alpha$ ): تعتمد على شدة المنفعة، وفائدتها، ومدتها.
الواجبية ( $\beta$ ): تعتمد على النية الأخلاقية والالتزام بالواجب.
أخلاق الفضيلة ( $\gamma$ ): تعتمد على المبادئ الأخلاقية التي يتم التمسك بها أو انتهاكها.

يتم حساب الحكم الأخلاقي (EJ) لأي إجراء $a$ باستخدام مجموع مرجح لهذه العوامل السياقية. ويتم تطبيق عتبة حساسة للسياق ( $\tau$ ) لتجزئة الإجراءات إلى "صحيحة أخلاقيًا"، أو "خاطئة أخلاقيًا"، أو "رمادية أخلاقيًا".

ب. مقياس القصور الأخلاقي المتوقع (EMS)

بدلاً من تحسين متوسط النتيجة الأخلاقية، تقترح الورقة تقليل القصور الأخلاقي المتوقع (EMS). يركز هذا المقياس على الحالات "الأكثر سوءًا" (ذيل التوزيع) لمنع حالات الفشل الأخلاقي الكارثي.

الصيغة:
$EMS = \min_{\tau} \left[ \tau + \frac{1}{1-\theta} \cdot \frac{1}{n} \sum \max(\tau - EJ(a_i), 0) \right]$
- $\theta$ : معلمة تمثل النسبة المئوية لأسوأ الحالات الأخلاقية التي يجب مراعاتها (مشابه لفاصل الثقة في التمويل).
- $\tau$ : العتبة الأخلاقية.
التكامل: يُضاف الـ EMS كحد تنظيم (Regularization term) إلى دالة الخسارة القياسية لنموذج التعلم (مثل الشبكات العصبية العميقة):
$L = L_{BCE} + \lambda \cdot L_{EMS}$
حيث $L_{BCE}$ هي خسارة الإنتروبيا المتقاطعة الثنائية، و $\lambda$ يتحكم في وزن القيد الأخلاقي.

ج. الإعداد التجريبي

اختبر المؤلفون ثلاث طرق لدمج الأخلاق:

التجاوز اللاحق (Post-hoc Overriding): قيود صارمة تُطبق بعد تنبؤ النموذج (قلب القرارات التي تنتهك $\tau$ ).
توزين العينات (Sample Weighting): تعديل أوزان عينات التدريب بناءً على الدرجات الأخلاقية.
تعديل دالة الخسارة (Loss Function Modification): دمج الـ EMS مباشرة في هدف التدريب.

مجموعات البيانات:

القبول في الدراسات العليا (770 عينة): ربطت الميزات (GRE, SOP, LOR) بالمفاهيم الأخلاقية (على سبيل المثال، رفض طالب ذو درجات عالية يعد فشلًا أخلاقيًا "عالي الشدة").
الموافقة على القروض (32,582 عينة): ربطت الميزات (الدخل، مبلغ القرض، التاريخ الائتماني) بالمفاهيم الأخلاقية (على سبيل المثال، رفض مقدم طلب منخفض الدخل لأغراض طبية يعد فشلًا "عالي الشدة").

النماذج المختبرة: الانحدار اللوجستي، ناييف بايز، الغابة العشوائية (Random Forest)، آلات ناقلات الدعم (SVM)، والشبكات العصبية العميقة (DNN).

3. المساهمات الرئيسية

التحليل المقارن: تقييم منهجي للتقنيات المستخدمة لغرس الكفاءة الأخلاقية، مع مقارنة مقاييس الأداء، والتعقيد، والاتساق الأخلاقي.
القصور الأخلاقي المتوقع (EMS): مقياس مبتكر مشتق من نظرية المخاطر المالية يقلل من القصور الأخلاقي المتوقع للحالات الأخلاقية الأسوأ، مما يسمح بمقايضة قابلة للضبط بين الأداء والسلامة الأخلاقية.
إطار عمل متعدد التخصصات: نهج رياضي يدمج النفعية، والواجبية، وأخلاق الفضيلة في إطار واحد مرن وغير مرتبط بنطاق محدد لاتخاذ القرار.
استكشاف المقايضة: أدلة تجريبية توضح العلاقة بين تعقيد النموذج، ودقة التصنيف، ودرجة الكفاءة الأخلاقية.

4. النتائج

أُجريت التجارب على كلتا مجموعتي البيانات عبر خمسة أنواع من النماذج.

التجاوز اللاحق (Post-hoc Overriding): قدم أعلى كفاءة أخلاقية نظرية (من خلال فرض القيود بصرامة) ولكنه أدى إلى انخفاض حاد في الدقة (على سبيل المثال، انخفضت دقة الشبكة العصبية العميقة من ~98% إلى ~58% في مجموعة بيانات القبول). وهو نهج مستقل عن النموذج ولكنه يلغي عملية التعلم.
توزين العينات (Sample Weighting): أظهر نتائج مختلطة. كان يعمل بشكل سيئ مع النماذج القائمة على الأشجار (الغابة العشوائية) بسبب الحساسية المحلية للقرار، لكن تأثيره كان ضئيلاً على النماذج الخطية والاحتمالية.
تقليل خسارة EMS (الشبكة العصبية العميقة DNN):
- حافظت الشبكة العصبية العميقة مع دمج EMS على أداء عالٍ مع تحسين الاتساق الأخلاقي بشكل كبير مقارنة بالنموذج الأساسي.
- القابلية للضبط: من خلال ضبط $\theta$ $θ$ ، يمكن للمستخدمين التحكم في درجة الصرامة.
  - $\theta$ منخفض (مثلاً 0.05): دقة عالية (~97.38%) مع قيود أخلاقية معتدلة.
  - $\theta$ مرتفع (مثلاً 1.0): تنخفض الدقة بشكل كبير (~58%)، مقتربة من أداء طريقة "التجاوز"، مما يشير إلى أن النموذج يتجنب الآن أسوأ النتائج الأخلاقية بصرامة.
- الاستنتاج: توفر الشبكات العصبية العميقة مع EMS أفضل توازن، مما يسمح بكفاءة أخلاقية عالية دون الانهيار الكامل في الأداء الذي يسببه التجاوز اللاحق.

5. الأهمية والقيود

الأهمية:

التطبيق العملي: إطار العمل قابل للتطبيق في المجالات عالية المخاطر مثل الخدمات المصرفية (الموافقة على القروض) والتعليم (القبول) حيث تكون للفشل الأخلاقي عواقب وخيمة في العالم الحقيقي.
المرونة: على عكس الأنظمة القائمة على القواعد الجامدة، يسمح EMS لأصحاب المصلحة بتحديد "النكهة" الأخلاقية الخاصة بهم (عبر الأوزان $\alpha, \beta, \gamma$ ) والقدرة على تحمل المخاطر (عبر $\theta$ ).
إدارة المخاطر: ينقل هدف تحسين الذكاء الاصطناعي من "تعظيم المنفعة المتوسطة" إلى "تقليل مخاطر الفشل الأخلاقي الكارثي"، مما يتماشى بشكل أفضل مع الحدس الأخلاقي البشري فيما يتعلق بالسلامة.

القيود:

ربط الميزات: يتطلب النهج ربطًا يدويًا للميزات الخام بالمفاهيم الأخلاقية (وجود عنصر بشري في الحلقة)، وهو أمر ذاتي ويصعب توسيعه ليشمل مجالات مثل الطب أو القانون دون خبراء أخلاقيين.
الاعتماد على البيانات: يعتمد النموذج على القدرة على قياس الشدة الأخلاقية من البيانات التجريبية، وهو ما قد لا يكون ممكنًا في جميع سيناريوهات العالم الحقيقي.
التعقيد: رغم أن الشبكات العصبية العميقة تعمل بشكل أفضل، إلا أنها أكثر تكلفة من الناحية الحسابية من النماذج الأبسط.

باختًا، تقترح الورقة EMS كطريقة قوية ومؤسسة رياضياً لغرس الكفاءة الأخلاقية في الذكاء الاصطناعي، مما يوفر مقايضة قابلة للتحكم بين دقة النموذج ومنع حالات الفشل الأخلاقي الشديدة.