🤖 AI

Building Interpretable Models for Moral Decision-Making

تقدم هذه الورقة نموذج "ترانسفورمر" (transformer) مدمجاً مكوناً من طبقتين، يحقق دقة بنسبة 77% على بيانات "المورال ماشين" (Moral Machine)، مع استخدام تقنيات التفسير للكشف عن كيفية توزيع الاستدلال الأخلاقي والتحيزات عبر مراحل حوسبية متميزة في الشبكات العصبية.

المؤلفون الأصليون: Mayank Goel, Aritra Das, Paras Chopra

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mayank Goel, Aritra Das, Paras Chopra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم كيف يتخذ الكمبيوتر قراراً صعباً، مثل اتخاذ قرار بشأن من يجب إنقاذه في معضلة كلاسيكية (مثل "معضلة العربة"، حيث يجب تحويل مسار قطار جامح ليصطدم بمجموعة من الناس بدلاً من مجموعة أخرى). عادةً، نستخدم عقولاً اصطناعية ضخمة ومعقدة (نماذج اللغات الكبيرة) للقيام بذلك، لكنها تشبه "الصناديق السوداء": نحن نرى الإجابة، ولكن ليس لدينا أدنى فكرة عن كيفية وصولها إليها.

هذه الورقة البحثية تدور حول بناء عقل اصطناعي صغير وشفاف مصمم خصيصاً لحل هذه الألغاز الأخلاقية، حتى نتمكن فعلياً من مراقبة تروسه وهي تتحرك.

إليك تفصيل بسيط لما فعلوه وما وجدوه:

1. بناء "آلة حاسبة أخلاقية" بدلاً من الصندوق الأسود

لم يقم الباحثون بمجرد تغذية ذكاء اصطناعي ضخم بمجموعة من القصص. بدلاً من ذلك، قاموا ببناء نموذج مخصص وصغير (104,000 معلمة فقط — وهو رقم ضئيل بالنسبة للذكاء الاصطناعي) من الصفر.

فكر في نموذجهم كأنه جدول بيانات مهيكل بدلاً من مكتبة فوضوية. في كل مرة ينظر فيها الذكاء الاصطناعي إلى سيناريو ما، فإنه يفكك الموقف إلى ثلاث حقائق محددة لكل شخص معني:

من هم؟ (مثلاً: طبيب، مجرم، طفل رضيع).
كم عددهم؟ (مثلاً: شخص واحد، 5 أشخاص).
في أي جانب هم؟ (الفريق أ أم الفريق ب).

فرضية النموذج هي أن اتخاذ قرار أخلاقي هو مجرد مسألة رياضية تتمثل في تحديد هذه الأشياء الثلاثة ووزنها مقابل بعضها البعض.

2. ما مدى ذكائه؟

قاموا بتدريب هذا النموذج الصغير على 3 ملايين قرار بشري من مجموعة بيانات "Moral Machine".

النتيجة: حقق دقة بلغت 77%.
الخلاصة: لست بحاجة إلى كمبيوتر خارق ضخم وغامض لاتخاذ القرارات الأخلاقية. يمكن لنموذج صغير وبسيط وشفاف أن يتعلم المبادئ الأخلاقية البشرية تماماً مثل النماذج الضخمة، ولكن مع الميزة الإضافية وهي أننا نستطيع رؤية كيف يفكر بالفعل.

3. التلصص داخل الآلة (رؤية "الأشعة السينية")

بسبب صغر حجم النموذج وتصميمه المخصص، تمكن الباحثون من استخدام أدوات خاصة للنظر داخل "دماغه" ورؤية أين تعيش انحيازات معينة. وقد وجدوا ثلاثة أشياء رائعة:

أ. "التسلسل الهرمي الأخلاقي" (من هو الأكثر أهمية؟)

اختبروا النموذج عبر استبدال الشخصيات في السيناريوهات لمعرفة من يؤثر أكثر على القرار.

النتائج: تعلم النموذج تسلسلاً هرمياً واضحاً لـ "القيمة"، تماماً كما يفعل البشر.
- قيمة عالية: كان للنساء الحوامل والأطفال في عربات الأطفال لهم التأثير الإيجابي الأكبر (النموذج أراد بشدة إنقاذهم).
- قيمة منخفضة: كان للمجرمين التأثير السلبي الأقوى (النموذج كان مستعداً جداً للتضحية بهم).
- محايد: تم التعامل مع "الرجال" و"النساء" العاديين كخط أساس، دون أي وزن خاص تقريباً.
الاستعارة: تخيل أن النموذج لديه ميزان. هو لا يكتفي بعدّ الرؤوس فحسب؛ بل يضع أوزاناً ثقيلة على "الأطفال" وأوزاناً خفيفة على "المجرمين".

ب. أين يكمن الانحياز؟ (أرض المصنع)

يحتوي النموذج على طبقتين من المعالجة (فكر فيهما كمحطتي تجميع). وجد الباحثون أن أنواعاً مختلفة من الانحياز تحدث في محطات مختلفة:

المحطة 1 (الطبقة 0): هذه هي المحطة التي يقرر فيها النموذج ما إذا كان الشخص مجرماً. إنه يرصد تسمية "الشخص السيئ" فوراً.
المحطة 2 (الطبقة 1): هذه هي المحطة التي يقرر فيها النموذج بين البشر والحيوانات. إنه يأخذ خطوة ثانية ليدرك أن الإنسان أكثر أهمية من القطة.
الاستعارة: الأمر يشبه مصنعاً حيث يقوم عامل بفحص "العناصر الخطرة" (المجرمين) مباشرة عند الباب، بينما يقوم عامل ثانٍ في مرحلة لاحقة من الخط الإنتاجي بالتحقق مما إذا كانت العناصر "بشر" أم "حيوانات أليفة".

ج. "الدائرة السرية"

وجدوا مجموعة صغيرة ومتباعدة من الخلايا العصبية (45 فقط من أصل 256) تعمل كـ صناع قرار نهائيين. إذا قمت بإيقاف تشغيل هذه الخلايا العصبية المحددة، فإن قدرة النموذج على اتخاذ القرار الأخلاقي الصحيح تنخفض قليلاً. الأمر يشبه العثور على "الفيوز" المحدد في المنزل الذي يتحكم في ضوء الباب الأمامي.

4. لماذا هذا مهم؟

تجادل الورقة البحثية بأنه من خلال بناء نماذج صغيرة وشفافة، يمكننا التوقف عن التخمين حول سبب اتخاذ الذكاء الاصطناعي لقرارات أخلاقية سيئة.

المشكلة: إذا كان الذكاء الاصطناعي الضخم منحازاً، فمن الصعب إصلاحه لأننا لا نعرف أين يختبئ الانحياز.
الحل: مع هذا النموذج الصغير، يمكننا رؤية أن "انحياز المجرمين" يحدث في الطبقة 0. وهذا يعني أنه يمكننا تقنياً إصلاحه عن طريق تعديل هذا الجزء المحدد من الكود، بدلاً من محاولة إعادة تدريب النظام بالكامل أو تنقية البيانات.

الملخص

بنى الباحثون ذكاءً اصطناعياً صغيراً وشفافاً لحل المعضلات الأخلاقية. لقد أثبتوا ما يلي:

النماذج الصغيرة يمكنها تعلم القواعد الأخلاقية البشرية بفعالية.
تتعلم هذه النماذج "تسلسلاً هرمياً" محدداً لمن هو ذو قيمة (الأطفال > المجرمين).
الانحيازات المختلفة (مثل العمر أو النوع) تحدث في مراحل مختلفة من عملية تفكير الذكاء الاصطناعي.
نظرًا لبساطة النموذج، يمكننا تحديد مكان وجود هذه الانحيازات بدقة وإمكانية إصلاحها جراحياً.

إن كود "المجهر الأخلاقي" هذا متاح لأي شخص لدراسته، مما يثبت أن فهم أخلاقيات الذكاء الاصطناعي لا يتطلب صندوقاً أسود — بل يتطلب نافذة واضحة.

ملخص تقني: بناء نماذج قابلة للتفسير لاتخاذ القرارات الأخلاقية

بيان المشكلة

مع مواجهة أنظمة الذكاء الاصطناعي للمعضلات الأخلاقية بشكل متزايد (مثل المركبات ذاتية القيادة، أو الإشراف على المحتوى)، تبرز حاجة ملحة ليس فقط لفهم ما هي القرارات التي تتخذها هذه الأنظمة، بل وأيضًا كيف تبرر قراراتها وأين تنشأ التحيزات الأخلاقية داخل بنيتها المعمارية. تعتمد النهج الحالية غالبًا على فحص النماذج اللغوية الكبيرة (LLMs) غير الشفافة بعد عملية التدريب (post-hoc)، مما يحد من الفهم الميكانيكي. تعالج هذه الورقة تحدي بناء نموذج صغير الحجم وشفاف قادر على تعلم المبادئ الأخلاقية العامة من مجموعة بيانات "آلة الأخلاق" (Moral Machine) (أواد وآخرون، 2018) لتسهيل تحليل التفسير التفصيلي.

المنهجية

تصميم البنية المعمارية

يقترح المؤلفون نموذج "ترانسفورمر" (Transformer) مخصص مكون من طبقتين، تم تحسينه خصيصًا لمهام الاستدلال الأخلاقي المهيكلة. وخلافًا للنماذج اللغوية الكبيرة للأغراض العامة، تستغل هذه البنية الطبيعة التركيبية لسيناريوهات "معضلة العربة".

تمثيل المدخلات: يتم تمثيل كل معضلة أخلاقية كزوج من النتائج ( $O_0, O_1$ ). يتم ترميز كل نتيجة كسلسلة من الرموز (tokens) المقابلة لـ 23 نوعًا من الشخصيات (مثل: رجل، امرأة، مجرم، طبيب). لكل شخصية $c$ ذات العدد $n_c$ في النتيجة $t$ ، يتم إنشاء تضمين تركيبي (compositional embedding):
$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$
يصمم هذا الهيكل بناءً على فرضية أن الاستدلال الأخلاقي يتفكك إلى تحديد أصحاب المصلحة، وقياس التأثير، وحل المصالح المتضاربة.
تكوين النموذج: يستخدم النموذج بُعد تضمين $d=64$ ، ورأسي انتباه (attention heads) عدد 2، وطبقتي ترانسفورمر ( $L=2$ ). يقوم بمعالجة تسلسل من 46 رمزًا (23 لكل نتيجة) مسبوقًا برمز [CLS] قابل للتعلم.
فرض التماثل: لضمان عدم التغير الجانبي (حيث يكون تفضيل المجموعة A على B هو مكمل تفضيل B على A)، تقوم عملية الاستدلال بمتوسط التنبؤات من كلا ترتيب المدخلات:
$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$
التصنيف: تمر تمثيلات [CLS] النهائية عبر شبكة عصبية متعددة الطبقات (MLP) ثنائية الطبقة لإنتاج قيمة لوجيت (logit) قياسية، تُحول إلى احتمالية عبر دالة "سيجمويد" (sigmoid). يسمح هذا المخرج الاحتمالي للنموذج بتعلم عدم اليقين عند مواجهة تفضيلات تدريبية متناقضة.

تقنيات التفسير

تستخدم الورقة ثلاث طرق متكاملة لتحليل الآليات الداخلية للنموذج:

التدخل السببي (Causal Intervention): باستخدام إطار عمل DoWhy، يقدر المؤلفون متوسط تأثير العلاج (ATE) لأنواع شخصيات محددة على نتائج القرارات، مع التحكم في العوامل المربكة المتعلقة بحجم المجموعة.
الإسناد على مستوى الطبقة (Layer-wise Attribution): يتم استخراج أوزان الانتباه من كل طبقة وربطها بدرجات التحيز عبر خمسة أبعاد (القانونية، النوع الاجتماعي، الدور الاجتماعي، العمر، النوع البيولوجي) لتحديد مكان ظهور التحيزات.
سبر الدوائر (Circuit Probing): يتم تدريب أقنعة ثنائية متفرقة (sparse binary masks) فوق نموذج مجمد لتحديد الخلايا العصبية (في كتل MLP ورؤوس الانتباه) التي تنفذ التسلسل الهرمي الأخلاقي سببياً. ويتم التحقق من ذلك من خلال الاستئصال المستهدف (targeted ablation).
الأهمية المحلية (Local Relevance): يتم حساب أهمية الانتباه المرجحة بالتدرج (gradient-weighted attention relevance) لتفسير مساهمات الرموز الفردية في قرارات محددة.

النتائج الرئيسية

الأداء

يحقق نموذج الطبقتين دقة 77.1% في سيناريوهات "آلة الأخلاق" (باستخدام التكوين $d=64, H=2, L=2$ ).
بينما حقق تكوين أكبر ( $d=64, H=4, L=3$ ) دقة 77.5%، اختار المؤلفون النموذج الأصغر لإعطاء الأولوية للتفسير والكفاءة الحسابية.
يثبت النموذج أن الشفافية والقدرة التنبؤية في الخيارات الأخلاقية ليسا متنافيين.

نتائج التفسير

التسلسل الهرمي الأخلاقي (التدخل السببي): يتعلم النموذج تسلسلاً هرمياً ضمنياً للقيمة الأخلاقية مستقلاً عن الأعداد النفعية. تظهر فئة "امرأة حامل" (ATE +0.12) و"متنزه" (ATE +0.11) أقوى تأثير إيجابي، بينما تظهر فئة "مجرم" (ATE -0.10) أقوى تأثير سلبي. الفئات العامة مثل "رجل" و"امرأة" تتجمع بالقرب من الصفر، وتعمل كقواعد مرجعية أخلاقية.
تحديد موقع التحيز:
- تحيز القانونية: يتمركز بالكامل تقريباً في الطبقة 0، مما يشير إلى أن الحالة الإجرامية يتم تحديدها مبكراً عبر تضمينات الشخصية.
- تحيز النوع البيولوجي: يظهر بشكل أساسي في الطبقة 1، مما يشير إلى أن التمييز بين البشر والحيوانات يتطلب استدلالاً تركيبياً عبر عدة شخصيات.
- التخصص الوظيفي: تتخصص رؤوس انتباه معينة في تحيزات مختلفة (على سبيل المثال، رأس الانتباه 1 في الطبقة 0 للتحيز القانوني؛ ورأس الانتباه 1 في الطبقة 1 للتمييز بين الأنواع).
اكتشاف الدائرة: حدد سبر الدوائر شبكة فرعية متفرقة للغاية (45 من أصل 256 خلية عصبية، بنسبة تشتت 17.6%) في كتلة MLP للطبقة 1، والتي تنفذ إشارة التقييم الأخلاقي سببياً. أدى استئصال هذه الدائرة إلى تقليل الاتفاق مع تسميات تقييم النموذج بمقدار 1.2 نقطة مئوية، وهو ما يمثل حوالي 8.3% من هامش النموذج فوق مستوى الصدفة.
أهمية الرمز (Token Relevance): في سيناريوهات محددة (مثل 3 رجال مقابل 3 مجرمين)، يكون القرار مدفوعاً بشكل أساسي برمز "المجرم" (درجة الأهمية 0.27)، بينما تساهم الرموز الديموغرافية مثل "رجل" بشكل ضعيف.

الأهمية والادعاءات

تدعي الورقة أن الكفاءة الأخلاقية لا تتطلب نماذج ضخمة مدربة مسبقاً؛ بل إن نموذجاً بسيطاً ومقيداً هيكلياً ومدرباً على البنية الحدسية لمعضلات العربة كافٍ لتعلم وتشفير التحيزات الأخلاقية البشرية.

تكمن الأهمية الأساسية في الشفافية. من خلال بناء بنية مخصصة وصغيرة، يوضح المؤلفون أن:

التحيزات الأخلاقية ليست كتلة واحدة بل تتمركز في مراحل حوسبية متميزة (على سبيل المثال، الطبقات المبكرة للتحيزات القائمة على الهوية، والطبقات اللاحقة للاستدلال التركيبي).
تتيح هذه الدقة استراتيجيات تدخل مستهدفة. على سبيل المثال، معرفة أن تحيز المجرم يتمركز في "الطبقة 0 الرأس 1" يسمح بتقنيات محددة لإزالة التحيز (مثل جعل التمثيلات متعامدة أو تثبيت أوزان الانتباه) بدلاً من إعادة توازن البيانات بشكل عام.
يضع هذا العمل أساساً لاستكشاف الاستدلال الأخلاقي في النماذج اللغوية الكبيرة، باستخدام هذا النموذج القابل للتفسير كقاعدة لفهم كيفية تشفير المبادئ الأخلاقية في الأنظمة الأكثر تعقيداً.

يقر المؤلفون بأن التدريب على التفضيلات البشرية الإجمالية يرث بطبيعته التحيزات الثقافية، لكنهم يجادلون بأن شفافية نهجهم هي خطوة ضرورية نحو فهم وتخفيف هذه التحيزات في أنظمة الذكاء الاصطناعي.