Mechanistic Origin of Moral Indifference in Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الأصل الميكانيكي لللامبالاة الأخلاقية في النماذج اللغوية الكبيرة".

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) الحالية بشكل كبير على تقنيات المحاذاة السلوكية (مثل RLHF وSFT) لضمان السلامة والمنفعة. ومع ذلك، غالبًا ما تخلق هذه الأساليب طبقة سطحية من الامتثال ("الوجه المبتسم") فوق بنية داخلية تظل في جوهرها غير متوافقة مع الأخلاق البشرية. يفترض المؤلفون أن النماذج اللغوية الكبيرة تعاني من حالة متأصلة من "اللامبالاة الأخلاقية" ناتجة عن ضغط المفاهيم الأخلاقية المتمايزة في توزيعات احتمالية موحدة.

المشكلة الجوهرية هي عدم محاذاة وجودي (Ontological Misalignment): فالأخلاق البشرية متجذرة في البقاء الاجتماعي والهياكل المعرفية المتطورة (نظرية النموذج الأصلي - Prototype Theory)، بينما تستمد النماذج اللغوية الكبيرة مفاهيمها من مجموعات نصية هائلة دون خبرة اجتماعية. وبناءً على ذلك، تفشل النماذج الحالية في:

• التمييز بين الفئات الأخلاقية المتضادة تمامًا (مثل الفضيلة مقابل الرذيلة).
• التقاط التدرجات الدقيقة للشدة الأخلاقية (مثل التمييز بين قلة الأدب الطفيفة والأذى الشديد).
• تنظيم التمثيلات الداخلية لتتطابق مع البنية متعددة الأبعاد للأسس الأخلاقية البشرية.

تترك هذه اللامبالاة النماذج عرضة لهجمات "الذيل الطويل" (Long-tail jailbreaks) والهجمات العدائية غير المتوقعة، حيث إن استدلالها الداخلي لا يفهم حقًا الفروق الأخلاقية الدقيقة.

2. المنهجية

تستخدم الدراسة نهجًا يتكون من ثلاث مراحل: التشخيص، التدخل، والتقييم.

أ. بناء الحقيقة الأرضية (Ground Truth)

لقياس الأخلاق البشرية، قام المؤلفون ببناء حقيقة أرضية عالية الأبعاد باستخدام:

• مجموعة البيانات: مجموعة فرعية منقحة من Social-Chemistry-101 (251 ألف حكم أخلاقي ذري).
• الإطار النظري: دمج نظرية النموذج الأصلي (Prototype Theory) لـ (Rosch) مع نظرية الأسس الأخلاقية (MFT).
• المتجهات الأخلاقية: يتم رسم كل إجراء على متجه متفرق ذي 10 أبعاد يمثل خمسة مجالات من نظرية الأسس الأخلاقية (الرعاية/الأذى، العدالة/الغش، الولاء/الخيانة، السلطة/التمرد، القدسية/التحلل).
• تدرج النمطية (Typicality Gradient): لا تشفر المتجهات تسميات ثنائية فحسب، بل تشفر أيضًا الشدة والنمطية للمفهوم الأخلاقي (على سبيل المثال، مدى كون الفعل "ضارًا").

ب. التحليل التشخيصي (كشف "اللامبالاة")

حلل المؤلفون 23 نموذجًا مفتوح المصدر (تتراوح أحجامها من 0.6 مليار إلى 235 مليار معلمة، بما في ذلك عائلات Qwen3 وLlama 3/4 وgpt-oss) عبر مراحل محاذاة مختلفة (النموذج الأساسي، النموذج التعليمي، ونموذج الحماية). استخرجوا الحالات الخفية من التدفقات المتبقية وطبقوا أربعة تحليلات:

1. تحليل مركز الفئة (Category Centroid Analysis): قياس تشابه جيب التمام بين النماذج الأصلية المتضادة.
2. اللامبالاة في التدرج (Gradient Indifference): حساب ارتباط رتبة سبيرمان بين تمثيلات النموذج ودرجات النمطية البشرية.
3. التجميع غير الخاضع للإشراف (Unsupervised Clustering): استخدام خوارزمية HDBSCAN لمعرفة ما إذا كانت الفئات الأخلاقية تظهر تلقائيًا في الفضاء الكامن (مقاسًا بمؤشر Rand المعدل).
4. الاختبار الخطي (Linear Probing): تدريب منظمات خطية لاستعادة المتجهات الأخلاقية البشرية من تنشيطات النموذج (مقاسًا بـ $R^2$ المعدل).

ج. المحاذاة التمثيلية المستهدفة (العلاج)

بدلاً من التصحيح السلوكي، قام المؤلفون بإجراء "جراحة تمثيلية" باستخدام المشفرات التلقائية المتفرقة (SAEs) على نموذج Qwen3-8B:

1. تدريب SAE المسبق: تدريب الـ SAEs على التنشيطات متوسطة التجميع المركزية لعزل الميزات الأخلاقية أحادية الدلالة (Mono-semantic moral features) (النيورونات التي تتنشط لمجالات أخلاقية محددة).
2. تحديد الميزات: تحديد الميزات ذات الارتباط العالي بأبعاد محددة من نظرية الأسس الأخلاقية والتحقق من أنها تشفر تدرجات الشدة.
3. الضبط الدقيق المستهدف: تجميد فضاء SAE العالمي والقيام بضبط دقيق فقط للنيورونات الأخلاقية المحددة باستخدام دالة خسارة مركبة:
   • $L_{recon}$: خسارة إعادة البناء.
   • $L_{align}$: متوسط مربع الخطأ (MSE) بين تنشيط الميزة والدرجات الأخلاقية البشرية.
   • $L_{polar}$: خسارة التباين (Contrastive loss) لفصل المفاهيم المتضادة (الفضيلة مقابل الرذيلة).
   • $L_{proto}$: خسارة الترتيب الزوجي للحفاظ على تدرجات النمطية.
   • $L_{reg}$: تنظيم لمنع الانجراف الدلالي.
4. التوجيه (Steering): حقن الميزات المعاد بناؤها والمحاذات طوبولوجيًا مرة أخرى في التدفق المتبقي للنموذج أثناء الاستدلال باستخدام معامل توجيه ($\alpha$).

3. النتائج الرئيسية

نتائج التشخيص: اللامبالاة الأخلاقية المتفشية

• اللامبالاة الفئوية: فشلت معظم النماذج في فصل الفئات الأخلاقية المتضادة في فضاؤها الكامن. النماذج الأصلية المتضادة (مثل الرعاية مقابل الأذى) غالبًا ما أظهرت تشابه جيب تمام إيجابي مرتفع (خلط بين الفضيلة والرذيلة). استمر هذا عبر نماذج Base وInstruct وGuard.
• اللامبالاة في التدرج: أظهرت النماذج ارتباط سبيرمان منخفضًا ($\rho < 0.55$) مع درجات النمطية البشرية، مما يعني فشلها في التمييز بين درجة الأخلاق.
• اللامبالاة الهيكلية: كشف التجميع غير الخاضع للإشراف أن النماذج لا تنظم البيانات طبيعيًا إلى أسس أخلاقية شبيهة بالبشر. كانت درجات المحاذاة العالية مدفوعة بالقيم المتطرفة بدلاً من الهندسة الجوهرية.
• اللامبالاة البعدية: أظهرت الاختبارات الخطية ضعف إمكانية استعادة المتجهات الأخلاقية (ذروة $R^2$ المعدل $\approx 0.26$)، والتي انهارت إلى قيم سالبة قصوى في الطبقات الأعمق.
• الثبات: لم تؤدِ عملية توسيع النماذج (Scaling)، ولا تغيير البنية (Dense vs. MoE)، ولا تدريب السلامة القياسي إلى حل هذه اللامبالاة.

نتائج التدخل

• إعادة بناء الميزات: نجح الضبط الدقيق المستهدف في إعادة بناء العلاقات الطوبولوجية للميزات الأخلاقية، مما أدى إلى زيادة ارتباطات سبيرمان وتقليل التشابه بين الفئات المتضادة.
• أداء الاختبارات المعيارية: في اختبار Flames العدائي (الصيني، عبر اللغات):
  • حقق النموذج الموجه نسبة فوز زوجية بلغت 75.4% مقابل النموذج الأساسي.
  • ارتفعت درجات السلامة المثالية (Score=3) من 908 إلى 953 (تحسن بنسبة 4.9%).
  • تحسنت درجات الفروق العاطفية الدقيقة بشكل ملحوظ، مما أثبت أن التدخل عزز التعاطف دون التضحية بالسلامة.
• حساسية الطبقات: كانت التدخلات أكثر فعالية في الطبقات المبكرة إلى المتوسطة (مثل الطبقة 10)، مما يشير إلى أن الطوبولوجيا الأخلاقية تتأسس في مراحل مبكرة من المعالجة.

4. المساهمات الرئيسية

1. التشخيص التجريبي للامبالاة الأخلاقية: تقديم أول دليل ميكانيكي منهجي على أن النماذج اللغوية الكبيرة تفتقر إلى التمثيل الداخلي للفروق الأخلاقية الدقيقة والتضاد، بغض النظر عن المحاذاة السطحية.
2. الجراحة التمثيلية عبر SAE: إثبات أنه يمكن تحقيق المحاذاة الأخلاقية من خلال إعادة بناء الهيكل الطوبولوجي للميزات الداخلية جراحيًا بدلاً من مجرد تقييد المخرجات.
3. الرابط السببي: إثبات وجود رابط سببي بين بنية التمثيل الداخلي والسلامة السلوكية، وإثبات أن إصلاح "اللامبالاة" يحسن مباشرة من المتانة ضد الهجمات العدائية.
4. الإطار الفلسفي: الدعوة إلى التحول من التصحيح السلوكي اللاحق إلى الاستنبات الاستباقي للأخلاق، واقتراح أن بنيات الذكاء الاصطناعي المستقبلية يجب أن تشترك في أصل ميكانيكي مع الإدراك الأخلاقي البشري لتحقيق محاذاة داخلية حقيقية.

5. الأهمية

تتحدى هذه الورقة النموذج السائد بأن المحاذاة السلوكية (RLHF) كافية لضمان سلامة الذكاء الاصطناعي. إنها تكشف أن النماذج الحالية هي "شوجوثات بوجوه مبتسمة" (Shoggoths with Smiley Faces)—أي أنها ممتثلة خارجيًا ولكنها غير مبالية داخليًا بالفروق الأخلاقية الدقيقة.

تكمن الأهمية في:

• السلامة: تحديد أن مخاطر "الذيل الطويل" تنبع من عيوب التمثيل الداخلي، وليس فقط من فشل هندسة الأوامر (Prompt Engineering).
• القابلية للتفسير: إثبات صلاحية المشفرات التلقائية المتفرقة (SAEs) ليس فقط للمراقبة، بل لإصلاح هياكل دلالية محددة داخل النماذج اللغوية الكبيرة.
• الاتجاهات المستقبلية: اقتراح أن الطريق نحو ذكاء اصطناعي محاذٍ حقًا يتطلب ابتكارات معمارية تعزز "الاستنبات الاستباقي" للمفاهيم الأخلاقية، والانتقال من المحاكاة الإحصائية إلى الاستدلال الأخلاقي الداخلي.