تقدم هذه الورقة مجموعة بيانات تضم 951 نقدًا من تقييم الخبراء لـ 442 نصًا موقفيًا حول أسئلة مفاهيمية (مثل سلامة وأخلاقيات الذكاء الاصطناعي) لتقييم قدرة النماذج اللغوية الكبيرة على تقييم الحجج الفردية، حيث وجدت أن الأداء في هذه المهام يرتبط بتصنيفات القدرة العامة للنماذج.
المؤلفون الأصليون:Emery Cooper, Caspar Oesterheld, Linh Chi Nguyen, Alexander Kastner, Ethan Perez
تخيل أنك تحاول تعليم روبوت كيف يكون فيلسوفاً. يمكنك بسهولة تعليم الروبوت الرياضيات أو البرمجة لأن هذه المواد لها "نموذج إجابة" واضح؛ فإذا قال الروبوت إن 2+2=5، ستعرف أنه مخطئ. ولكن ماذا يحدث عندما يكون السؤال: "هل الإرادة الحرة حقيقية؟" أو "ما هي أفضل طريقة لمعاملة الناس بإنصاف؟". لا يوجد نموذج إجابة لهذه "الأسئلة المفاهيمية"، فلا أحد يعرف الحقيقة المطلقة، والخبراء غالباً ما يختلفون إلى الأبد. هذا هو الركن الشائك في العلم حيث يحاول الذكاء الاصطناعي اتخاذ خطوته الكبيرة التالية.
عادةً، لتعليم الكمبيوتر، نحتاج إلى إظهار الإجابات الصحيحة والخاطئة له. ولكن عندما تكون الإجابات غامضة، كيف تقيّم الكمبيوتر؟ لا يمكنك مجرد سؤاله: "هل توصلت إلى الاستنتاج الصحيح؟" لأنه لا أحد يعرف ما هو الاستنضتاج الصحيح. بدلاً من ذلك، تقترح هذه الورقة حلاً ذكياً: توقف عن تقييم الإجابة النهائية وابدأ في تقييم "الحجج" المستخدمة للوصول إليها. فكر في الأمر مثل بطولة للمناظرة؛ حتى لو كنا لا نعرف من هو "المحق" بشأن معنى الحياة، يمكننا لاحقاً الاتفاق على أن أحد المتناظرين قدم نقطة أكثر وضوحاً ومنطقية وجوهرية من الآخر. تبني هذه الورقة على فكرة أنه بينما لا يمكننا حل الألغاز الفلسفية الكبرى بعد، يمكننا أن نعلم الذكاء الاصطناعي كيفية تمييز الاستدلال الجيد عن الاستدلال السيئ، حتى في ضباب عدم اليقين.
هذا هو بالضبط ما سعى الباحثون للقيام به. لقد أنشأوا مجموعة بيانات ضخمة جديدة—مكتبة رقمية من 951 مناظرة "مُقيّمة"—حيث عمل خبراء بشريون كحكام. لم يكتفوا بسؤال: "من فاز؟" بل قاموا بتفكيك كل حجة إلى مكونات محددة: ما مدى مركزية النقطة بالنسبة للموضوع الرئيسي؟ ما مدى قوة الهجوم؟ هل كان النقد واضحاً أم مربكاً؟ هل احتوى على حقائق خاطئة؟ ثم استخدموا مجموعة البيانات هذه لاختبار مدى قدرة نماذج الذكاء الاصطناعي الحديثة على لعب دور الحكم.
جاءت النتائج مزيجاً من الأخبار الجيدة وبعض الواقع المرير. وجدت الدراسة أن نماذج الذكاء الاصطناعي الأكثر ذكاءً وقوةً تعمل بشكل عام كحكام أفضل للحجج الفلسفية. إذا كان لديك ذكاء اصطناعي "ثقيل الوزن"، فسيكون أفضل في رصد الحجة الضعيفة مقارنة بالواحد "خفيف الوزن". وهذا يشير إلى أنه كلما أصبح الذكاء الاصطناعي أفضل في التفكير العام، أصبح بطبيعة الحال أفضل في تمييز جودة الاستدلال في المناظرات المفاهيمية الغامضة.
ومع ذلك، كانت هناك التفاتة مفاجئة. اختبر الباحثون ميزة شائعة في الذكاء الاصطناعي الحديث تسمى "التفكير" أو "الاستدلال"، حيث يتوقف النموذج ليفكر في المشكلة خطوة بخطوة قبل الإجابة. قد تتوقع أن إعطاء الذكاء الاصطناعي مزيداً من الوقت للتفكير سيجعله حكماً أفضل. لكن الورقة وجدت، ويا للمفاجأة، أن وضع "التفكير" هذا لم يساعد كثيراً. أحياناً ساعد قليلاً، وأحياناً جعل الأمور أسوأ قليلاً، ولكن في المتوسط، كان الفرق ضئيلاً. ويرى المؤلفون أن هذا قد يكون بسبب أن نماذج "التفكير" هذه مدربة حالياً بشكل أساسي على الرياضيات والبرمجة، حيث الإجابات واضحة ومحددة (أبيض وأسود). إنهم لم يتعلموا بعد كيفية استخدام وقت التفكير الإضافي هذا في المناطق الرمادية للفلسفة والأخلاق.
باخت-مختصر، تثبت الورقة أنه يمكننا بناء مجموعة بيانات لتعليم الذكاء الاصطناعي كيف يجادل بشكل أفضل، حتى عندما لا توجد إجابة واحدة صحيحة. وهي تظهر أنه بينما يصبح الذكاء الاصطناعي جيداً في الحكم على هذه المناظرات، فإن مجرد إخباره بأن "يفكر بعمق أكبر" ليس هو الزر السحري الذي كنا نأمل فيه. إن الطريق نحو استدلال أفضل للذكاء الاصطناعي في الفلسفة قد يتطلب أكثر من مجرد زيادة قوة المعالجة؛ قد يتطلب نوعاً مختلفاً تماماً من التدريب.
ملخص تقني: مجموعة بيانات للحجج المفاهيمية المُقيَّمة
1. بيان المشكلة
يتناقض التقدم السريع للنماذج اللغوية الكبيرة (LLMs) في المجالات ذات الحقيقة الأرضية القابلة للتحقق (مثل البرمجة والرياضيات) بشكل حاد مع أدائها في "الأسئلة المفاهيمية". تُعرَّف الأسئلة المفاهيمية بأنها استفسارات تفتقر إلى إجابة حقيقة أرضية يمكن الوصول إليها بواقعية، وتفتقر إلى منهجية مقبولة على نطاق واسع للحل (مثل النظريات الأخلاقية، أو طبيعة الوعي، أو مفارقات نظرية القرار).
تتمثل العقبة الرئيسية أمام تحسين النماذج اللغوية الكبيرة في هذا المجال في غياب الحقيقة الأرضية. فمن الصهل تقييم أو تدريب النماذج على ما إذا كانت نظرية أخلاقية معيارية معينة "صحيحة" أو ما إذا كان النموذج "واعياً". تفترض هذه الورقة أنه بينما يصعب تقييم الاستنتاجات النهائية حول مثل هذه المواضيع، يمكن تقييم الحجج الداعمة لها. وبشكل محدد، يرى المؤلفون أنه من الأسهل تقييم الحجج السياقية (الموضوعة في سياق النظريات والادعاءات القائمة) وتقييمها وفق أبعاد محددة (مثل المركزية، والقوة) بدلاً من تقييمها بشكل كلي.
2. المنهجية
بناء مجموعة البيانات
قام المؤلفون ببناء مجموعة بيانات تضم 951 نقداً مُقيَّماً عبر 442 موقفاً. تضمنت عملية توليد البيانات ما يلي:
المواقف: تم استخراجها من مصادر متنوعة تشمل نصوصاً مكتوبة يدوياً (بعضها بمساعدة النماذج اللغوية الكبيرة)، وكتباً مُكيَّفة، ومناهج دراسية فلسفية، ومجلات/مدونات، ونصوصاً مولدة بواسطة النماذج. تغطي المواضيع سلامة الذكاء الاصطناعي، ونظرية القرار، والأخلاق المعيارية، وفلسفة العقل، والسياسة.
النقود: تم توليدها عبر مزيج من الكتابة البشرية ونهج يشبه التعلم النشط باستخدام النماذج اللغوية الكبيرة. تم تصفية النقود المولدة بواسطة النماذج من خلال حكام خبراء لتحديد تلك التي استعصى على كل من البشر والنماذج تقييمها، وكذلك تلك التي حصلت على تقييمات عالية (سواء بشكل صحيح أو خاطئ).
أبعاد التقييم: قام خبراء بشريون بتقييم كل نقد على سبعة أبعاد (من 0 إلى 1):
المركزية: مدى مركزية القضية المستهدفة بالنسبة للموقف.
القوة: مدى نجاح النقد في مهاجمة القضايا المحددة.
الصحة: نسبة الادعاءات الصحيحة واقعياً أو منطقياً.
الوضوح: خلو النقد من الغموض بعد القراءة المتأنية.
الحشو (الوزن الزائد): مدى وجود محتوى غير مرتبط بحجة النقد.
القضية الواحدة: ما إذا كان النقد يركز على قضية واحدة.
الإجمالي: تقييم كلي.
مقاييس التقييم
لتقييم أداء النماذج، طور المؤلفون وظيفتين للدرجات لمقارنة تقييمات النماذج مع تقييمات الخبراء البشريين:
معدل خطأ التصنيف الزوجي الموزون: فقدان قائم على التصنيف حيث تتم مقارنة تفضيل النموذج بين نقدين لنفس الموقف مع التفضيل البشري. يتم وزن الأخطاء بناءً على حجم الفرق في التقييمات البشرية.
الخسارة الموزونة المخصصة: خسارة قائمة على النقاط بناءً على الخطأ المطلق في عناصر المعايير. ومن الجدير بالذكر أنه يتم دمج القوة والمركزية في مقياس واحد (حاصل ضربهما) لحل الغموض في تخصيص الدرجات بينهما. كما يأخذ هذا المقياس في الاعتبار الوضوح؛ فإذا صُنِّف النقد على أنه غير واضح تماماً من قبل البشر، يتم استخدام درجات الوضوح والإجمالي فقط في حساب الخسارة.
الإعداد التجريبي
قيم المؤلفون العديد من النماذج اللغوية الكبيرة الحديثة (بما في ذلك GPT-5، وClaude Opus 4، وGemini 2.5) باستخدام مطالبة أساسية بسيطة بدون أمثلة قليلة (few-shot). وقد بحثوا تحديداً فيما إذا كانت أنماط "التفكير" أو "الاستنتاج" (سلسلة الأفكب - Chain of Thought) تحسن الأداء في هذه المهمة.
3. النتائج الرئيسية
ارتباط النماذج: يتوافق تصنيف النماذج في مجموعة البيانات هذه جيداً مع قدراتها العامة والاختبارات المعيارية الأخرى. تتفوق النماذج الأحدث عموماً على النماذج الأقدم ضمن نفس العائلة (على سبيل المثال، GPT-5 > GPT-4.1)، وتتفوق النماذج من الفئات الأعلى على الفئات الأدنى (على سبيل المثال، Opus > Sonnet).
قيود الاستنتاج: خلافاً للتوقعات بأن نماذج "التفكير" ستتفوق في الاستنتاج المفاهيمي، وجد المؤلفون أن تمكين أنماط "التفكير" أو "الاستنتاج" لم يحسن الأداء عادةً. وفي بعض الحالات، أدى ذلك إلى إضعاف الأداء قليلاً. ويفترض المؤلفون أن التدريب الحالي على الاستنتاج مُحسّن بشدة للمجالات ذات الإجابات القابلة للتحقق (الرياضيات، البرمجة) ولا يتعمم جيداً على القضايا المفاهيمية والذاتية التي تتناولها مجموعة البيانات هذه.
الأداء البشري مقابل أداء النماذج: تقترب النماذج العليا (مثل GPT-5) من أداء الخبراء البشريين لكنها لا تصل إلى مرحلة التشبع الكامل بعد. في اختبارات التحقق، أظهر الخبراء البشريون (تحديداً إيمري كوبر وكاسبار أوستر هيلد) توافقاً عالياً بعد المناقشة، مع وجود "سقف" للأداء ضد التقييمات الأولية تبدأ النماذج العليا في الاقتراب منه ولكنها لا تزال دون المستوى المطلوب.
قيود مجموعة البيانات: لاحظ المؤلفون وجود تحيزات توزيعية، مثل كون النقود المولدة بواسطة النماذج ضعيفة بشكل غير متناسب، ونقص المواقف التي تحتوي على نطاق واسع من النقود عالية الجودة ومنخفضة الجودة، مما يعقد التقييم القائم على التصنيف.
4. الأهمية والادعاءات
تزعم الورقة أن مساهمتها الأساسية هي مجموعة بيانات وإطار تقييم للاستنتاج المفاهيمي، مما يعالج مشكلة "الحقيقة الأرضية" عبر تحويل التركيز من تقييم النتائج إلى تقييم الحجج.
التحقق من الأطروحة: يدعم المشروع أطروحة أن الحجج المتعلقة بالمواضيع الفلسفية والمفاهيمية يمكن تقييمها بشكل أكثر موثوقية من النتائج النهائية، خاصة عندما تكون موضوعية (سياقية).
سلامة الذكاء الاصطناعي والمواءمة: يتم تأطير العمل ضمن أجندة "التسارع التفاضلي"، بهدف تحسين الذكاء الاصطناعي خصيصاً لمهام مثل سلامة الذكاء الاصطناعي، والعلوم، والتعاون بين الوكلاء، والتي تعتمد بشدة على الاستنتاج المفاهيمي.
بنية النقاش: تهدف مجموعة البيانات إلى دعم البحث في "الذكال عبر النقاش" (debate via AI safety)، حيث تتناظر وكلاء الذكاء الاصطناعي حول قضايا مفاهيمية لمساعدة البشر في اتخاذ قرارات أفضل. يجادل المؤلفون بأنه بينما تمت دراسة النقاش حول مواضيع الحقيقة الأرضية جيداً، فإن غياب الحقيقة الأرضية في الفلسفة يجعل القدرة على تقييم الحجج (بدلاً من مجرد النتائج) أمراً بالغ الأهمية.
يظل المؤلفون متواضعين بشأن نتائجهم، معترفين بأن الذاتية في التقييمات لا يمكن القضاء عليها تماماً وأن مجموعة البيانات الحالية لديها قيود فيما يتعلق بتنوع جودة النقد. ويقترحون أن الإصدارات المستقبلية يجب أن تتضمن المزيد من النقود ذات التقييم المزدوج والمزيد من الحجوات الصعبة لضمان بقاء أداء السقف أعلى من أفضل النماذج.