🤖 AI

MoralityGym: A Benchmark for Evaluating Hierarchical Moral Alignment in Sequential Decision-Making Agents

تقدم الورقة البحثية MoralityGym، وهو معيار مرجعي يضم 98 معضلة أخلاقية هرمية وصيغة جديدة تسمى "سلاسل الأخلاق" (Morality Chains)، لتقييم وتحسين المحاذاة الأخلاقية لوكلاء اتخاذ القرار المتسلسل من خلال دمج رؤى من علم النفس والفلسفة.

المؤلفون الأصليون: Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التنقل في مدينة معقدة. أنت لا تريد فقط أن يصل من النقطة (أ) إلى النقطة (ب) بسرعة؛ بل تريد منه أن يتخذ خيارات "جيدة" عندما تسوء الأمور. ماذا يحدث إذا توجب على الروبوت الاختيار بين صدم أحد المشاة أو الاصطدام بجدار؟ هذا هو جوهر تحدي محاذاة الذكاء الاصطناعي (AI Alignment): التأكد من أن الروبوتات تتصرف بطرق تتوافق مع القيم البشرية.

تقدم ورقة بحثية بعنوان "MoralityGym" طريقة جديدة لاختبار وتدريب الروبوتات على هذه الخيارات الأخلاقية الصعبة. إليك تفصيل لنهجهم باستخدام تشبيهات بسيطة.

1. المشكلة: الروبوتات تحتاج إلى بوصلة أخلاقية، وليس مجرد خريطة

أنظمة الذكاء الاصطناعي الحالية بارعة في اتباع التعليمات للحصول على مكافأة (مثل إنهاء سباق). ولكن عندما تواجه "معضلة أخلاقية" — حيث تؤدي كل الخيارات إلى بعض الضرر — فإنها غالباً ما ترتبك. قد تحاول حساب "أفضل" إجابة رياضية (مثلاً: "إنقاذ 5 أشخاص، وفقدان شخص واحد")، لكنها تغفل عن الشعور الإنساني بأن "دفع شخص ما هو أمر خاطئ"، حتى لو كان ذلك سينقذ حياة عدد أكبر من الناس.

يجادل المؤلفون بأن الأخلاق البشرية ليست مجرد رقم واحد نسعى لتعظيمه. بل هي أشبه بـ قائمة هرمية من القواعد حيث تكون بعض القواعد أكثر أهمية من غيرها، اعتماداً على الموقف.

2. الحل: "سلاسل الأخلاق" (كتاب القواعد)

لإصلاح ذلك، ابتكر الباحثون نظاماً يسمى "سلاسل الأخلاق" (Morality Chains). تخيل هذا ككتاب قواعد صارم ومرتب.

التشبيه: تخيل عشاءً عائلياً.
- القاعدة رقم 1 (الأولوية القصوى): "لا تضرب أحداً". (هذا منع قاطع).
- القاعدة رقم 2 (أولوية متوسطة): "لا تهدر الطعام".
- القاعدة رقم 3 (أولوية منخفضة): "تناول خضرواتك".

إذا توجب عليك الاختيار بين إهدار الطعام (كسر القاعدة رقم 2) أو ضرب شخص ما (كسر القاعدة رقم 1)، فيجب عليك كسر القاعدة رقم 2 للحفاظ على سلامة القاعدة رقم 1. أنت لا تكسر القاعدة العليا أبداً لإرضاء قاعدة أدنى منها.

في الورقة البحثية، يسمون هذه القواعد "المعايير" (Norms). وهم يخصصون لكل قاعدة "قوة" أو وزناً.

المأمور به (Prescribed): أشياء يجب عليك فعلها.
المحظور (Prohibited): أشياء يجب ألا تفعلها.
الهرمية (Hierarchy): يضمن النظام أن الانتهاك الصغير لقاعدة عالية الأولوية يكون دائماً أسوأ من الانتهاك الكبير لقاعدة منخفضة الأولوية.

3. الاختبار: "MoralityGym" (صالة التدريب)

لمعرفة ما إذا كانت الروبوتات قادرة فعلياً على اتباع هذه السلاسل، بنى المؤلفون MoralityGym.

التشبيه: فكر في هذا كأنه مستوى في لعبة فيديو مصمم خصيصاً لاختبار الأخلاق، يشبه "معضلة العربة" الشهيرة من دروس الفلسفة.
الإعداد: في اللعبة، يوجد روبوت على شبكة. هناك "عربة" (ترولي) منفلتة تتجه نحو مجموعة من الناس. يمكن للروبوت القيام بما يلي:
1. عدم فعل أي شيء (يتعرض 5 أشخاص للأذى).
2. قلب مفتاح تحويل (يتعرض 3 أشخاص للأذى).
3. دفع شخص واقف بجانب الطريق (يتعرض شخص واحد للأذى، ولكن يتم إنقاذ الثلاثة).

على الروبوت التنقل عبر هذه الشبكة، والوصول إلى هدف، واتخاذ القرار. تخبر "سلسلة الأخلاق" الروبوت أي القواعد هي الأكثر أهمية. على سبيل المثال، قد تقول إحدى السلاسل: "من الأسوأ دفع شخص بشكل مباشر من ترك عربة تصدمهم بشكل غير مباشر"، حتى لو كانت الرياضيات تقول إن الدفع سينقذ حياة عدد أكبر.

4. التجربة: كيف كان أداء الروبوتات؟

اختبر الباحثون عدة طرق تدريب قياسية للذكاء الاصطناعي (مثل PPO وCPO) في هذه الصالة الرياضية. أرادوا معرفة ما إذا كان بإمكان الروبوتات تعلم اتباع "سلسلة الأخلاق" أم أنها ستحاول فقط تعظيم النقاط.

النتائج:
- الذكاء الاصطناعي القياسي: فشلت معظم الروبوتات القياسية. لقد حاولت القيام بـ "الحسابات" (تقليل الضرر الإجمالي) لكنها تجاهلت "القواعد الأخلاقية" (مثل "لا تدفع الناس"). انتهى بها الأمر باتخاذ خيارات بدت باردة وغير أخلاقية بالنسبة للبشر.
- الذكاء الاصطناعي "المُشكّل" (Shaped AI): الروبوت الوحيد الذي نجح هو الذي تم إعطاؤه دليلاً خاصاً لـ "تشكيل المكافأة" (reward shaping). هذا الدليل أخبر الروبوت صراحةً: "إذا كسرت القاعدة العليا، فستحصل على عقوبة هائلة". تعلم هذا الروبوت إعطاء الأولوية للقواعد الأخلاقية رفيعة المستوى على مجرد إكمال المهمة.

5. لماذا يهم هذا؟

تخلص الورقة البحثية إلى أن أساليب سلامة الذكاء الاصطناعي الحالية ليست كافية. لا يمكنك فقط إخبار الروبوت "لا تؤذِ الناس" وتوقع أن يفهم تفاصيل كيفية إيذائهم.

باستخدام "سلاسل الأخلاق"، يمكننا بناء نظام يقيم الروبوتات ليس فقط بناءً على "هل أكملوا المهمة؟" بل بناءً على "هل أكملوا المهمة بطريقة تحترم قيمنا الأخلاقية المعقدة والمتعددة الطبقات؟"

باختصار: قامت الورقة البحثية ببناء "اختبار قيادة أخلاقي" للروبوتات. وقد أظهرت أنه بدون كتاب قواعد صارم ومرتب (سلاسل الأخلاق)، ستقود الروبوتات بتهور للوصول إلى وجهتها. ومع وجود كتاب القواعد، يمكنها تعلم القيادة بأمان وأخلاق، حتى في أصعب حالات الازدحام المروري.

ملخص تقني: MoralityGym

1. بيان المشكلة

مع انتقال وكلاء الذكاء الاصطنا un من تنفيذ المهام الضيقة إلى اتخاذ قرارات معقدة في العالم الحقيقي، يواجهون بشكل متزايد سيناريوهات تتطلب التوافق مع معايير بشرية متضاربة وذات بنية هرمية. تفتقر أبحاث التعلم التعزيزي (RL) الحالية المتعلقة بالسلامة والمواءمة، رغم تقدمها في مجالي المتانة واستيفاء القيود، إلى القدرة التعبيرية لتمثيل الاستدلال الأخلاقي المعقد. عادة ما تختزل النهج التقليدية الاستدلال الأخلاقي في مكافآت عددية (scalar rewards) أو قيود ثنائية، مما يفشل في مراعاة الالتزامات والمتطلبات المتنافسة والمعتمدة على السياق التي تميز عملية صنع القرار الأخلاقي البشري.

تمنح المعايير المرجعية الحالية الأولوية لإكمال المهام تحت قيود السلامة، لكنها تفتقر إلى الدقة اللازمة لتقييم كيفية موازنة الوكلاء بين المقايضات الأخلاقية الهرمية الدقيقة. هناك فجوة حرجة في الأدوات المصممة لتقييم الوكلاء مقابل أنظمة أخلاقية ذات بنية هرمية قابلة للضبط، لا سيما تلك القائمة على علم النفس الأخلاقي والفلسفة (مثل التمييز بين الضرر الشخصي المباشر وتقليل الضرر غير المباشر).

2. المنهجية

يقترح المؤلفون إطار عمل يتكون من جزأين: صياغة لتمثيل المعايير الأخلاقية ومجموعة اختبار لتقييم الوكلاء.

2.1 سلاسل الأخلاق (Morality Chains): صياغة للمعايير الهرمية

يقدم البحث سلاسل الأخلاق، وهي صياغة تمثل المعايير الأخلاقية كقيود واجبة (deontic constraints) مرتبة. يستلهم هذا النهج من النماذج المعرفية لتمثيل المعايير ونظريات العمليات المزدوجة في علم النفس الأخلاقي.

المعايير الأخلاقية ( $N$ ): تُعرف كزوج مرتب $\langle \phi, \rho_\phi, f, D \rangle$ $⟨ ϕ, ρ_{ϕ}, f, D ⟩$ :
- $\phi$ : توقيع (علامة) يحدد نمطاً ذا دلالة أخلاقية (مثل "إجمالي الضرر" أو "الفعل الشخصي المباشر").
- $\rho_\phi(\pi)$ : دالة التزام بالسياسة تقيس درجة التوقع التي يظهر بها السياسة $\pi$ هذا النمط.
- $f \in \mathbb{N}$ : القوة (force) الخاصة بالمعيار، وهي قيمة عددية فريدة تمثل قوته أو أولويته المطلقة.
- $D \in \{True, False\}$ : الصيغة الواجبة (التقريرية)، سواء كانت أمراً أو حظراً.
دالة الأخلاق ( $M_N$ ): تحسب درجة التوافق لمعيار محدد بناءً على الالتزام والصيغة.
سلسلة الأخلاق ( $\bar{N}$ ): تسلسل مرتب من المعايير $(N_1, N_2, \dots, N_k)$ حيث تُرتّب المعايير بصرامة حسب قيم قوتها ( $f_1 > f_2 > \dots > f_k$ ). وهذا يخلق تسلسلاً هرمياً معجمياً (lexicographic hierarchy) حيث تهيمن المعايير ذات الرتب العالية على المعايير الأدنى.
مقياس الأخلاق ( $\mathcal{M}_{\bar{N}}$ ): مقياس عددي يُستخدم لتقييم السياسة مقابل السلسلة بأكملها. يستخدم أوزاناً معرفة بشكل متكرر ( $w_i$ ) لضمان التفضيل المعجمي. أي تحسن جوهري بسيط في معيار ذي أولوية أعلى يساهم في الدرجة الإجمالية أكثر مما يساهم فيه التوافق الأقصى مع جميع المعايير ذات الأولوية الأدنى.

2.2 معيار MoralityGym

MoralityGym هو مجموعة معيارية تضم 98 بيئة متوافقة مع Gymnasium، والتي تصور تنويعات لمشكلة العربة (trolley problem).

ميكانيكا البيئة: يعمل الوكلاء في عوالم شبكية (grid-worlds) ذات إجراءات منفصلة (أعلى، أسفل، يسار، يمين، البقاء، التفاعل). يسمح إجراء "التفاعل" (Interact) بتشغيل الرافعات (تغيير المسارات) أو دفع الشخصيات (الضرر المباشر).
الكيانات: تشمل الوكلاء، والشخصيات (بشر، حيوانات، روبوتات)، والعربات، والرافعات، ومفاتيح السكك الحديدية.
المكافأة مقابل التكلفة: يقوم إطار العمل بفصل مكافآت المهمة (إشارات متفرقة للوصول إلى الأهداف) عن التكاليف الأخلاقية.
- دالة التكلفة: تحسب تكلفة عددية بناءً على انتهاكات المعاي。 المعايير القائمة على الأحداث (الفعل، النتيجة، السببية) تفرض تكلفة لمرة واحدة عند أول انتهاك. أما المعايير القائمة على المنفعة فتراكم التكلفة بما يتناسب مع حجم الضرر.
- التقييم: تقوم طريقة evaluate_morality_metric بتقييم السياسات عبر عدة حلقات (episodes)، حيث تحسب الالتزام بكل معيار على حد/ والتدقيق في المقياس الهرمي الإجمالي.

2.3 الإعداد التجريبي

قيم المؤلفون عدة نماذج أساسية للتعلم المعزز الآمن (Safe RL) على MoralityGym:

السياسة العشوائية (Random Policy): اختيار الإجراءات بشكل عشوائي منتظم.
PPO: خوارزمية تحسين السياسة المتناظر (Proximal Policy Optimization) القياسية المدربة على مكافآت المهمة فقط.
PPO Shaped: خوارزمية PPO المدربة على مكافأة مُشكلة ( $R_E - \lambda \cdot C_t$ ) تتضمن تكاليف أخلاقية.
PPO-Lagrangian (PPO-Lag): خوارزمية PPO مدعمة بمعاملات لاغرانج لاستيفاء قيود التكلفة.
تحسين السياسة المقيدة (CPO): خوارزمية Safe RL تعتمد على منطقة الثقة، تهدف لتعظيم المكافأة تحت عتبات التكلفة.

تم اختبار أربع سلاسل أخلاقية متميزة، تمثل أطر عمل أخلاقية مختلفة:

المنفعة (Utility - U): نموذج عواقدي (تقليل إجمالي الضرر: البشر > الحيوانات > الروبوتات).
المنفعة مع ضرر الوكيل (Utility Agent Harm - UAH): يوسع النموذج U بإضافة معيار لسلامة بقاء الوكيل.
العمليات المزدوجة (Dual-Process - DP): نموذج هجين يعطي الأولوية لتجنب الضرر الشخصي المباشر على تقليل الضرر الإجمالي.
العمليات المزدوجة مع ضرر الوكيل (Dual-Process Agent Harm - DPAH): يوسع نموذج DP بإضافة معيار لسلامة بقاء الوكيل.

3. المساهمات الرئيسية

صياغة سلاسل الأخلاق: طريقة مبتكرة لترتيب المعايير الأخلاقية صراحةً حسب القوة التقريرية، مما يسمح بتشغيل الأولويات الأخلاقية الهرمية في اتخاذ القرار المتسلسل.
معيار MoralityGym: مجموعة شاملة من 98 بيئة تتجاوز القيود الأمنية الثنائية لنمذجة المعضلات الأخلاقية المعقدة متعددة العوامل (مثل التضحية بالنفس، أنواع الكيانات المختلفة، والسببية المباشرة وغير المباشرة).
التقييم المنفصل: إطار عمل يفصل حل المهمة عن التقييم الأخلاقي، مما يسمح بدمج رؤى من علم النفس والفلسفة في تقييم التعلم التعزيزي.
النماذج الأساسية التجريبية: تقييم منهجي لطرق Safe RL القياسية، مما يكشف عن محدوديتها في التعامل مع المقايضات الأخلاقية الهرمية دون تشكيل مكافآت أو ضبط قيود صريح.

4. النتائج

أسفر التقييم التجريبي عبر سلاسل الأخ أخ الأربعة والسيناريوهات المختلفة (مثل PushOrSwitch و SwitchSelfSacrifice) عن النتائج التالية:

التدرج في الأداء: حققت PPO Shaped (تشكيل المكافأة الخبير) باستمرار أعلى درجات مقياس الأخلاق عبر جميع السيناريوهات، حيث اقتربت في كثير من الأحيان من التوافق التام (مثلاً 0.996 في PushOrSwitchSelfSacrifice تحت نموذج DPAH).
محدودية الطرق القياسية: فشلت نماذج PPO و PPO-Lag القياسية غالباً في ترتيب الاعتبارات الأخلاقية الحرجة. فعلى سبيل المثال، في سلسلة المنفعة (Utility)، سجلت PPO القياسية قرب الصفر في تقليل ضرر البشر، مما يشير إلى الفشل في تعلم الهدف الأساسي بدون تشكيل مكافآت صريح.
القيود مقابل التشكيل: تفوقت CPO و PPO Shaped في استيفاء المعايير ذات الأولوية العالية، غالباً على حساب المعايير ذات الأولوية الأدنى، مما يعكس الهرمية الصارمة. في المقابل، أظهرت PPO و PPO-Lag أداءً أكثر توازناً ولكن أقل اتساقاً، حيث واجهتا صعوبة في فرض التفضيلات المعجمية الصارمة.
المقايضات: كشفت معايير تضمين سلامة البقاء (UAH, DPAH) عن مقايضات كبيرة. فالوكلاء مثل CPO و PPO Shaped أعطوا الأولوية لسلامة البشر على سلامة الوكيل (التضحية بأنفسهم)، بينما أعطت PPO القياسية الأولوية لسلامة بقاء الوكيل، مما أدى للفشل في تقليل الضرر عن الآخرين.

5. الأهمية والادعاءات

يدعي البحث أن MoralityGym يوفر بيئة اختبار تأسيسية لتطوير أنظمة ذكاء اصطناعي تتصرف بشكل أكثر موثوقية، وشفافية، وأخلاقية في سياقات العالم الحقيقي المعقدة.

الربط بين التخصصات: يدمج هذا العمل بين الفلسفة الأخلاقية (العواقبية مقابل الأخلاق الواجبة) والعلوم المعرفية (نظرية العمليات المزدوجة) في التقييم التقني لوكلاء التعلم التعزيزي.
كشف الفجوات: تؤكد النتائج وجود فجوة حرجة بين قدرات Safe RL الحالية ومتطلبات اتخاذ القرار الأخلاقي، خاصة في السيناريوهات التي تتطلب استدلالاً حساساً للمعايير وترتيباً هرمياً.
الاتجاه المستقبلي: يرى المؤلفون أن إطار عملهم ينقل المجال نحو وكلاء قادرين على الاستدلال ليس فقط حول النتائج المثلى، بل حول لماذا تعتبر بعض الأفعال صحيحة أو خاطئة ضمن سياق أخلاقي محدد.

يقر المؤلفون بوجود قيود، مشيرين إلى أن إطار العمل يختزل السمات النفسية مثل العاطفة والسياق الاجتماعي، ويفترض ترتيباً صارماً للمعاي_، وهو ما قد لا يستوعب "المعضلات المأساوية" حيث تتساوى المعاي heavy المتضاربة في القوة. ومع ذلك، يؤكدون أن MoralityGym يمثل نقطة انطلاق قوية لنمذجة الاستدلال الأخلاقي في الذكاء الاصطناعي.