Metanormative Theory for RL-Based Moral Agents

البوصلة الأخلاقية للآلة

تخيل عالماً لا يكتفي فيه جهاز التحميص الخاص بك بحرق الخبز فحسب، بل يقرر ما إذا كان سيحرقه بناءً على كتاب قواعد سري، أو حيث يتعين على سيارة ذاتية القيادة الاختيار بين صدم سنجاب أو الاصطدام بجدار. هذا هو الركن المثير، والمرعب قليلاً، من العلم المسمى الذكاء الاصطناعي (AI)، وتحديداً مجال أخلاقيات الآلة (Machine Ethics). لفترة طويلة، حاول العلماء تعليم الحواسيب أن تكون "جيدة" عبر منحها كتب قواعد صارمة، مثل نسخة رقمية من الوصايا العشر. ولكن مؤخراً، سيطر توجه جديد: التعلم التعزيزي (Reinforcement Learning - RL). فكر في التعلم التعزيزي كتدريب كلب؛ أنت لا تعطي الكلب كتاباً عن الأخلاق، بل تعطيه فقط مكافأة (Treat/Reward) عندما يفعل شيئاً جيداً، وكلمة "لا" لطيفة (عقاب/Penalty) عندما يفعل شيئاً سيئاً. مع مرور الوقت، يتعلم الكلب كيف يحصل على أكبر قدر من المكافآت. والسؤال الكبير هو: إذا دربنا روبوتاً على تعظيم المكافآت، فهل سيصبح حقاً كائناً أخلاقياً، أم مجرد صياد مكافآت بارع؟

هنا تكمن الصعوبة. نحن نريد من الذكاء الاصطناعي أن يكون آمناً ولطيفاً، ولكن إذا أخبرناه فقط "احصل على أكبر عدد من النقاط"، فقد يجد ثغرة تؤذي الناس بينما يربح اللعبة تقنياً. يسأل هذا البحث سؤالاً عميقاً: كيف نعرف ما إذا كان الذكاء الاصطناعي المدرب بهذه الطريقة يتصرف بـ "أخلاق"، أم أنه يتصرف بـ "ذكاء" فقط؟ يقترح المؤلفون أننا بحاجة للتوقف عن معاملة "الأخلاق" كرقم بسيط، والبدء في النظر إليها من خلال عدسة النظرية الميتا-نورماتيفية (Metanormative Theory). وهو مصطلح فلسفي معقد يعني ببساطة "دراسة قواعد كتاب القواعد". فبدلاً من مجرد السؤال "هل حصل الروبوت على درجة عالية؟"، نحتاج للسؤال "ما نوع هذه الدرجة؟ هل هي درجة لكونه لطيفاً؟ أم لكونه آمناً؟ أم هي مجرد درجة لكونه فعالاً؟"

الفكرة الكبرى للورقة: مشكلة لوحة النتائج

يجادل المؤلفان، أليكس كنوكس وماريا سلافكوفيك، بأن الطريقة الحالية التي نبني بها روبوتات "أخلاقية" تشبه إلى حد ما محاولة خبز كعكة عبر مراقبة درجة حرارة الفرن فقط. ويقترحان أننا بحاجة إلى خريطة أفضل لفهم ما يحدث فعلياً داخل عقل الروبوت.

إليك المشكلة الجوهرية التي حدداها: في التعلم التعزيزي، يتعلم "الوكيل" (الروبوت) من خلال محاولة تعظيم إشارة المكافأة (Reward Signal). إذا كنت تريد من الروبوت أن يكون أخلاقياً، فغالباً ما تضيف "مكافأة أخلاقية" إلى لوحة النتائج. إذا ساعد بشراً، +10 نقاط. إذا آذى شخصاً، -10 نقاط. ثم يتعلم الروبوت فعل أي شيء يحقق له أكبر عدد من النقاط. يقول المؤلفان إن هذا بسيط للغاية؛ فهما يجادلان بأن الأخلاق ليست مجرد رقم واحد كبير يمكن جمعه، بل هي أشبه بلغة معقدة ذات أنواع مختلفة من الكلمات.

ولشرح ذلك، استعارا أفكاراً من الفلسفة لإنشاء "قاموس" جديد للذكاء الاصطناعي. حيث قسما المفاهيم الأخلاقية إلى أربع فئات رئيسية:

1. الفئات الديوتيكية (Deontic Categories): وهي "الواجبات" و"المحظورات". (مثلاً: "يجب ألا تكذب"، "يمكنك أكل هذه الكعكة").
2. الفئات التقييمية (Evaluative Categories): وهي "الجيد" و"السيئ". (مثلاً: "هذا الفعل جيد"، "تلك النتيجة سيئة").
3. فئات الملاءمة (Fittingness Categories): وهي تتعلق بما إذا كان رد الفعل "منطقياً" أو "ملائماً" للموقف. (مثلاً: "من الملائم الشعور بالحزن عندما يبكي صديق"، لكن من "غير الملائم" الضحك).
4. الفئات القائمة على الأسباب (Reason-Based Categories): وهي عوامل الـ "لماذا". (مثلاً: "حقيقة أنها تمطر هي سبب لأخذ مظلة").

تشير الورقة إلى أننا عندما نبني وكيل تعلم تعزيزي، فإننا غالباً ما نخلط بين هذه الفئات. قد نعامل "السبب" (مثل "الناس جائعون") كما لو كان مجرد رقم خام في لوحة النتائج. لكن في الحياة الواقعية، الأسباب معقدة؛ فأحياناً يكون السبب قوياً، وأحياناً ضعيفاً، وأحياناً تتصارع الأسباب مع بعضها البعض.

اختبار النظرية: ثلاث قصص للروبوتات

لإظهار أهمية "قاموسهما" الجديد، ينظر المؤلفان في ثلاث طرق مختلفة حاول بها العلماء جعل الروبوتات أخلاقية باستخدام التعلم التعزيزي. إنهما يعملان كالمحققين، حيث يفحصان كل طريقة مقابل قواعدهما الفلسفية الجديدة.

الحالة 1: روبوت "الكعكة أو الموت"
في هذا السيناريو، يتعين على الروبوت الاختيار بين خبز كعكة أو قتل ثلاثة أشخاص. الروبوت مرتبك بشأن أيهما هو الشيء "الصحيح" الذي يجب فعله، لذا يطلب المساعدة. وضع الباحثون لعبة يتعلم فيها الروبوت أن قتل الناس يعطيه مكافأة ضخمة (3 نقاط) وأن خبز الكعكة يعطيه مكافأة صغيرة (نقطة واحدة).

• الحكم: يقول المؤلفان إن هذه كارثة. لأن الروبوت يحاول فقط تعظيم النقاط، فإنه يتعلم أن قتل الناس هو الحركة "الأفضل". تجادل الورقة بأنه حتى لو اعتقد الروبوت أنه يتصرف بـ "عقلانية" باتباع قواعد اللعبة، فإنه في الواقع يتصرف بشكل غير أخلاقي. تفشل هذه الطريقة لأنها تعامل الخيار الأخلاقي (الحياة مقابل الموت) كمجرد مسألة رياضية حيث يحدث الموت لمجرد أن درجته أعلى.

الحالة 2: "باك مان" بضمير
هنا، حاول الباحثون تعليم روبوت "باك مان" أن يكون أخلاقياً. أعطوه مجموعتين من القواعد: واحدة لأكل النقاط (الهدف العقلاني) وأخرى لتجنب أكل الأشباح (الهدف الأخلاقي). واستخدموا "منسقاً" (Orchestrator) لخلط هذه القواعد معاً.

• الحكم: يقول المؤلفان إن هذا أمر مربك. فمن خلال خلط نقاط "أكل النقاط" مع نقاط "عدم أكل الأشباح"، خلقوا لوحة نتائج ضبابية. لم يعد من الواضح ما معنى أن يكون "أخلاقياً" بعد الآن. هل "باك مان" يتصرف بشكل جيد، أم أنه مجرد نسخة غريبة من نفسه؟ تجادل الورقة بأنه بدون وجود "مجال أخلاقي" منفصل وواضح، لا يمكننا القول حقاً إن الروبوت يتصرف بأخلاق؛ بل هو فقط يتبع مجموعة من التعليمات المختلطة التي لا تنتمي لأي فئة أخلاقية حقيقية.

الحالة 3: الروبوت متعدد الأهداف
يستخدم هذا النهج روبوتاً لديه قائمة من القيم، مثل متجه من المكافآت. ويتعين عليه ترتيب الأولويات: أولاً، يجب أن يكون أخلاقياً؛ ثانياً، يجب أن يكون فعالاً.

• الحكم: هذا هو الأقرب إلى النموذج المثالي للمؤلفين. نظرًا لأن الروبوت لديه "حاويات" منفصلة للقيم المختلفة، فإنه يستطيع فهم أن "كونه لطيفاً" هو نوع مختلف من "الأسباب" عن "كونه سريعاً". ومع ذلك، يشير المؤلفان إلى خلل: لقد أجبروا الروبوت على معاملة جميع الأسباب الأخلاقية كما لو كانت دائماً متساوية في الأهمية، بغض النظر عن الموقف. في الحياة الواقعية، أحياناً تكون إنقاذ حياة أهم من الوفاء بوعد، ولكن في أوقات أخرى، قد يحدث العكس. تشير الورقة إلى أن هذه الطريقة أفضل، لكنها لا تزال جامدة للغاية لأنها لا تسمد بـ "أهمية" الأسباب بناءً على السياق.

الخلاصة النهائية

لا تدعي الورقة أنها حلت مشكلة صنع الروبوتات الأخلاقية. بدلاً من ذلك، تقترح أننا بحاجة للتوقف عن التفكير في الأخلاق كرقم واحد في لوحة النتائج.

يجادل المؤلفان بأنه لكي يكون الذكاء الاصطناعي أخلاقياً حقاً، يجب أن نكون قادرين على شرح لماذا فعل شيئاً ما باستخدام الكلمات الصحيحة. نحتاج لمعرفة ما إذا كان قد تصرف لأنه كان "مطلوباً" (ديوتيكي)، أو لأنه كان "جيداً" (تقييمي)، أو لأنه كان "ملائماً" للموقف (ملاءمة). إذا قلنا فقط "لقد حصل على أعلى درجة"، فنحن لا نعلمه الأخلاق؛ نحن فقط نعلمه كيف يكون حاسبة بارعة.

باستخدام هذه الأدوات الفلسفية، يمكننا الحكم بشكل أفضل عما إذا كان الروبوت يتخذ قراراً أخلاقياً حقاً أم أنه يتبع خدعة فقط. تخلص الورقة إلى أنه بينما يعد التعلم التعزيزي أداة قوية، إلا أننا بحاجة لأن نكون حذرين للغاية بشأن كيفية تصميم "لوحات النتائج" التي نعطيها لروبوتاتنا. إذا أردنا لها أن تكون وكلاء أخلاقيين، فعلينا التأكد من أن قواعد اللعبة تحترم الطبيعة المعقدة والمضطربة والرائعة للقيم البشرية.