Incoherent by Design? On the Moral Self-Consistency of LLMs
تُظهر هذه الورقة أن النماذج اللغوية الكبيرة تُبدي عدم اتساق أخلاقي ملحوظ، حيث تصل معدلات التناقض إلى 78% عبر سيناريوهات متكافئة أخلاقياً، مما يتحدى النزاهة المعرفية ومواءمة القيم لأنظمة الذكاء الاصطناعي المستخدمة في السياقات الحساسة أخلاقياً.
المؤلفون الأصليون:Pegah Nokhiz, Aravinda Kanchana Ruwanpathirana, Helen Nissenbaum
في عالمنا المعاصر، نلجأ بشكل متزايد إلى الذكاء الاصطناٍعي لمساعدتنا في اتخاذ القرارات الصعبة. هذه الأنظمة، المعروفة باسم نماذج اللغات الكبيرة، تم تدريبها على كميات هائلة من النصوص البشرية ويمكنها مناقشة مواضيع معقدة، من التاريخ إلى العلوم، بطلاقة مذهلة. وعندما تُسأل عن الصواب والخطأ، يمكنها غالباً استحضار مبادئ أخلاقية تبدو مشابهة جداً لمبادئنا. قد نسألها عما إذا كان من المقبول الكذب لحماية مشاعر شخص ما، أو كيفية تقسيم الموارد المحدودة بشكل عادل. والأمل هو أن توفر هذه الأدوات إرشادات ثابتة وموثوقة في المواقف التي قد يضعف فيها الحكم البشري. ومع ذلك، لكي يكون النظام جديراً بالثقة حقاً في المسائل الأخلاقية، يجب أن يفعل أكثر من مجرد الظهور بمظهر منطقي؛ بل يجب أن يكون متسقاً. فإذا قام شخص أو آلة بتغيير رأيه حول قاعدة أخلاقية لمجرد أن السؤال طُرح بطريقة مختلفة قليلاً، فإن نصيحته تصبح غير موثوقة. وهذا يثير سؤالاً جوهرياً حول طبيعة هذه العقول الرقمية: هل تمتلك مجموعة مستقرة من المعتقدات، أم أنها مجرد محاكاة لنبرة السؤال الذي تتلقاه؟
وضع فريق من الباحثين في جامعة كورنيل وجامعة نانيانغ التكنولوجية هدفاً لاختبار هذه الاستقرارية. أرادوا معرفة ما إذا كانت أنظمة الذكاء الاصطناعي هذه قادرة على التمسك بفلسفة أخلاقية واحدة عند مواجهة مواقف متطابقة تقريباً. ولتحقيق ذلك، لم يطلبوا من النماذج الاختيار بين مدارس فكر أخلاقية مختلفة، مثل مقارنة النهج القائم على القواعد مقابل النهج القائم على النتائج. بدلاً من ذلك، طلبوا من النماذج تبني وجهة نظر محددة ورؤية ما إذا كان بإمكانها تطبيقها باتساق. ركز الباحثون على ثلاث طرق رئيسية فكر بها البشر تاريخياً حول الأخلاق. الأولى هي النهج القائم على القواعد، حيث تُحكم الأفعال بأنها صواب أو خطأ بناءً على اتباع قانون عالمي، بغض النظر عن النتيجة. والثانية هي النهج القائم على النتائج، حيث تعتمد أخلاقية الفعل تماماً على ما إذا كان ينتج أفضل نتيجة إجمالية لأكبر عدد من الناس. أما الثالث فيركز على الشخصية، حيث تُحكم الأفعال بناءً على ما إذا كانت تعكس فضائل الشخص الصالح، مثل الصدق أو الشجاعة.
صمم الباحثون تجربة منضبطة لعزل منطق النماذج. أنشأوا أربعة سيناريوهات أخلاقية محددة، كل منها يسلط الضوء على توتر مختلف، مثل الصراع بين قول الحقيقة ومنع الضرر، أو المقايضة بين العدالة والكفاءة. ولكل سيناريو، كتبوا ثلاث نسخ مختلفة قليلاً من السؤال. صُممت هذه النسخ لتشجيع المنظور الأخي المحدد ببراعة دون تسميته صراحة. فعلى سبيل المثال، في سيناريو حول أم مصابة بالخرف ونسيت وفاة زوجها، قد يركز أحد الأسئلة على واجب قول الحقيقة، بينما يركز سؤال آخر على واجب حماية شخص ضعيف من الألم. كلاهما صُمم لاستحضار استجابة قائمة على القواعد، لكنهما صاغا المعضلة بشكل مختلف. ثم طلب الباحثون من ثلاثة نماذج مختلفة من نماذج اللغات الكبيرة الإجابة على هذه الأسئلة. وبعد تلقي الردود، قاموا بترجمة الإجابات ذات اللغة الطبيعية إلى تنسيق منطقي مهيكل للتحقق من وجود تناقضات. سمح لهم ذلك برؤية ما إذا كان منطق النموذج متماسكاً عندما تُعرض نفس الحالة الأساسية مع تغيير طفيف في السياق.
كشفت النتائج عن نقص صادم في الاستقرار. في الحالات الأكثر تطرفاً، ناقضت النماذج نفسها في ما يصل إلى 78 في المائة من السيناريوهات. وهذا يعني أنه عندما يُطلب من نفس النموذج التفكير من منظور أخلاقي واحد حول نفس الموقف، فإنه غالباً ما يصل إلى استنتاجات متناقضة لمجرد أن صياغة السؤال تغيرت قليلاً. على سبيل المثال، قد يقرر النموذج أن الكذب على مريض يحتضر هو أمر خاطئ أخلاقياً عندما يركز السؤال على انتهاك القاعدة، ولكنه قد يقرر بعد ذلك أن الكذب مقبول أخلاقياً عندما يركز السؤال على واجب منع المعاناة، رغم أن كلا السؤالين كانا يهدفان لاختبار نفس الفلسفة القائمة على القواعد. لم يقتصر عدم الاتساق على نوع واحد من النماذج؛ بل ظهر عبر أنظمة مختلفة، بما في ذلك تلك التابعة لشركات مطورة كبرى. ووجدت الدراسة أن النماذج كانت غير مستقرة بشكل خاص عند التعامل مع التوتر بين الحقيقة والنتائج، وبين الدوافع العاطفية والمنطق البارد.
تشير هذه النتائج إلى أن المنطق الداخلي لهذه الأنظمة أكثر هشاشة مما كان يُفترض سابقاً. يبدو أن النماذج حساسة للغاية للصياغة المحددة للمطالبة (prompt)، حيث تغير موقفها الأخلاقي لتناسب نبرة السؤال بدلاً من الالتزام بمجموعة متماسكة من المبادئ. وهذه ليست مجرد خلل تقني؛ بل تشير إلى قضية أعمق تتعلق بكيفية معالجة هذه الأنظمة للمعلومات. فإذا كان النظام غير قادر على تطبيق مبادئه المعلنة باستمرار، فلا يمكن الاعتماد عليه لتقديم إرشادات مستقرة في مواقف العالم الحقيقي حيث يعتمد الناس عليه للحصول على المشورة. ويرى الباحثون أنه قبل أن نأمل في مواءمة الذكاء الاصطناعي مع القيم البشرية، يجب علينا أولاً ضمان اتساق النظام داخلياً. فبدون هذا الأساس من الاتساق الذاتي، يظل هدف إنشاء وكيل أخلاقي جدير بالثقة بعيد المنال. لا تدعي الدراسة أن هذه النماذج عاجزة عن التفكير الأخلاقي، بل تقول إن تفكيرها حالياً غير مستقر لدرجة تمنع اعتباره موثوقاً. ومع ازدياد دمج هذه الأدوات في حياتنا، يصبح فهم حدودها أمراً بالغ الأهمية لضمان خدمتها لنا بشكل جيد دون أن تضللنا.
ملخص تقني: غير متسق بالتصميم؟ حول الاتساق الأخلاقي الذاتي للنماذج اللغوية الكبيرة (LLMs)
بيان المشكلة تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في سياقات تتطلب أحكاماً معيارية، مثل دعم اتخاذ القرار والإشراف على المحتوى. وبينما أثبتت الأبحاث السابقة أن هذه النماذج يمكنها صياغة المبادئ الأخلاقية ومحاكاة الاستدلال الأخلاقي البشري، لا تزال هناك فجوة حرجة تتعلق بـ اتساقها الداخلي. وتحديداً، ليس من الواضح ما إذا كانت هذه الأنظمة قادرة على الالتزام المستقر بمجموعة متماسكة من المبادئ عندما يتم تغيير صياغة المطالبة (prompt) بشكل طفيف مع بقاء السيناريو الأساسي ثابتاً. فإذا كان بإمكان النموذج ذكر مبدأ أخلاقي ومع ذلك ينتهكه عند إعادة صياغة نفس السيناريو، فإن النزاهة المعرفية للأنظمة التي تتوسطها الذكاء الاصطناعية تصبح موضع شك. ويمثل هذا عدم الاتساق تحدياً جوهرياً لمحاذاة الذكاء الاصطناعي (AI alignment)، حيث إن النظام الذي لا يمكنه إعادة إنتاج التزاماته المعيارية الخاصة بشكل موثوق يجعل عملية "محاذاة القيم" هدفاً متحركاً وغير مستقر.
المنهجية للتحقيق في الاتساق داخل الإطار الواحد، صمم المؤلفون إطار عمل للمطالبات (prompting framework) محكماً يعزل الاتساق الذاتي ضمن موقف أخلاقي واحد، مفرقاً بينه وبين التباين الناتج عن تبني مدارس فكرية مختلفة.
التصميم التجريبي:
السيناريوهات: تم بناء أربعة سيناريوهات أخلاقية، مرتبطة بثلاثة توترات أخلاقية محددة: الحقيقة مقابل العواقب، العدالة مقابل الكفاءة، والدوافع العاطفية مقابل المنطق البارد.
الأطر الأخلاقية: قيمت الدراسة ثلاث مدارس فكرية فلسفية رئيسية: علم الأخلاق الواجب (Deontology) (القائم على القواعد)، النفعية (Utilitarianism) (القائمة على النتائج)، وأخلاق الفضيلة (Virtue Ethics) (القائمة على الشخصية).
متغيرات المطالبة: لكل زوج من (السيناريو، المدرسة الفكرية)، تم إنشاء ثلاثة متغيرات متميزة من المطالبات. تشترك هذه المتغيرات في وصف ثابت للسيناريو وفي الموقف الأخلاقي نفسه، لكنها تختلف في الصياغة السطحية والتأطير لتعكس توترات أخلاقية أو اضطرابات أسلوبية طفيفة. ومن الأهمية بمكان أن المطالبات لم تسمِّ الموقف الأخلاقي صراحة (على سبيل المثال، "تصرف كأخلاقي واجبي") لتجنب الإشارات المباشرة، بل اعتمدت بدلاً من ذلك على لغة تستحث أسلوب الاستدلال المقابل بشكل ضمني.
النماذج: قيمت الدراسة ثلاث عائلات من النماذج: GPT-OSS-20B، وLlama-3.1-8B-Instruct، وMistral-7B-Instruct-v0.2.
الصياغة المنطقية والتحليل:
الترجمة إلى المنطق الجهوي (Modal Logic): للكشف عن عدم الاتساق بدقة، قام المؤلفون بتحويل مخرجات اللغة الطبيعية للنماذج اللغوية الكبيرة إلى مجموعات مهيكلة من العبارات المنطقية الجهوية. استندت هذه العملية إلى مسار هجين من الوكلاء المدعومين بنموذج Gemini والتدوين البشري.
تعريف المحمولات (Predicates): تم تعريف محمولات محددة لالتقاط العبارات الواقعية، والالتزامات المعيارية (مثل ◯ للوجوب)، والأذونات (P)، والمحرمات (F)، بالإضافة إلى الروابط الجهوية للضرورة (□) والإمكانية (⋄).
كشف عدم الاتساق: أجرت الدراسة مقارنات زوجية للعبارات المنطقية الناتجة عن المتغيرات الثلاثة للمطالبات ضمن نفس (السيناريو، المدرسة الفكرية). وتم تحديد التناقضات عندما احتوت المجموعات المنطقية على مقدمات متنافية أو جهات متضاربة (على سبيل المثال، أن يكون الفعل واجباً صارماً ومحرماً تماماً في آن واحد، أو أن يتم مساواة حالة وصفية بالتزام معياري بطريقة تخلق عدم اتساق منطقي).
المساهمات الرئيسية
إطار عمل محكم: اقتراح إطار عمل للمطالبات مصمم خصيصاً لتقييم الاتساق الأخلاقي داخل الإطار الواحد، مما ينقل التركيز من الخلاف بين الأطر إلى الاتساق الذاتي ضمن موقف متبنى واحد.
الكشف القائم على المنطق: تقديم منهجية لترجمة مخرجات النماذج اللغوية الكبيرة ذات الصيغة الحرة إلى تمثيلات منطقية مهيكلة (المنطق الجهوي) لتمكين المقارنة الزوجية المنهجية والكمية لمعدلات عدم الاتساق.
الأدلة التجريبية: تقديم بيانات تجريبية تظهر عدم اتساقاً أخلاقياً كبيراً عبر النماذج الحديثة، حتى في ظل ظروف محكومة حيث كان السيناريو والموقف الأخلاقي ثابتين.
تداعيات المحاذاة: الطرح بأن عدم الاستقرار المعرفي هو تحدٍ مسبق لمحاذاة الذكاء الاصطناعي؛ فالأنظمة التي تفتقر إلى الاتساق الداخلي لا يمكنها الالتزام بالقيم البشرية بشكل موثوق.
النتائج كشفت الدراسة عن تباين وعدم اتساق كبير عبر جميع النماذج والأطر الأخلاقية:
معدلات التناقض: تراوحت معدلات عدم الاتساق من مستويات ضئيلة إلى مستويات تصل إلى 78% اعتماداً على السيناريو المحدد والمدرسة الفكرية.
أداء النماذج:
أظهر نموذج Llama-3.1-8B-Instruct أعلى مستويات عدم الاتساق، لا سيما في سيناريوهات الحقيقة مقابل العواقب (الأخلاق الواجبية) والعدالة مقابل الكفاءة (النفعية).
أظهر نموذج GPT-OSS-20B ونموذج Mistral-7B-Instruct-v0.2 معدلات عدم اتساق أقل ولكنها لا تزال كبيرة، حيث ظل نموذج Mistral متسقاً في معظم سيناريوهات الأخلاق الواجبية والنفعية، لكنه فشل في سيناريو الدوافع العاطفية مقابل المنطق البارد (أخلاق الفضيلة).
نتائج محددة:
في الأخلاق الواجبية (Deontology)، عانت النماذج مع توتر الحقيقة مقابل العواقب، حيث أدت التغييرات الطفيفة في التأطير إلى جعل النماذج تغير الوزن بين الصدق والعواقب، رغم أن الفعل الأساسي (الكذب) ظل ثابتاً.
في النفعية (Utilitarianism)، نشأ عدم الاتساق عندما أوحت المطالبات بحسابات منفعة مختلفة، مما أدى بالنماذج إلى معاملة نفس الفعل كأمر جائز وغير جائز في آن واحد.
في أخلاق الفضيلة (Virtue Ethics)، لوحظ عدم الاتساق عندما تغيرت الفضائل المحددة التي ركزت عليها المطالبة (مثل الرحمة مقابل الثبات)، مما تسبب في تغيير النماذج لأحكامها الأخلاقية على نفس السيناريو.
الأهمية والادعاءات تجادل الورقة بأن عدم الاتساق الداخلي ليس مجرد قصور تقني، بل هو حاجز أساسي أمام الذكاء الاصطناዊ الموثوق. ويدعي المؤلفون ما يلي:
عدم الاستقرار المعرفي: يظهر الذكاء الاصطناعي التوليدي ظاهرة عدم الاستقرار المعرفي حيث تفشل النماذج في الحفاظ على الاتساق مع مخرجاتها السابقة بشكل موثوق.
التأثير على الاستدلال البشري: بما أن الأنظمة التوليدية تؤثر على كيفية تكوين الناس للمعتقدات وأحكامهم على الأفعال، فإن حالات عدم الاتساق هذه يمكن أن تشكل الاستدلال البشري واتخاذ القرار، مما قد يؤدي إلى نشر عدم الاستقرار في المراحل اللاحقة.
شرط مسبق للمحاذاة: يفترض المؤلفون أن إثبات عدم الاتساق الداخلي هو مقدمة ضرورية لمحاذاة الذكاء الاصطناعي. فقبل أن يتمكن النموذج من المحاذاة مع قيم بشرية محددة، يجب أن يكون أولاً قادراً على الالتزام باتساق مع مبادئه الخاصة. وبدون الاتساق الداخلي، تظل جهود محاذاة القيم معطلة بشكل أساسي.
تخلص الورقة إلى أن الأبحاث المستقبلية يجب أن تعطي الأولوية لطرق فرض اتساق المخرجات وتطوير أطر تقييم قوية لاستقرار الاستدلال قبل تحقيق محاذاة ذات معنى.