Preference Reasoning under Indeterminacy in Large Language Models
تجادل هذه الورقة بأن عدم التحديد —الناجم عن نقص المعلومات وعدم وجود حلول— يمثل تحدياً مركزياً في استدلال التفضيلات للذكاء الاصطناعي، حيث تُظهر أن النماذج اللغوية الكبيرة الحديثة تفشل بشكل منهجي في التمييز بين الحالات المحددة وغير المحددة، مما يؤدي إلى استدلال غير معاير.
المؤلفون الأصليون:Hadi Hosseini, Samarth Khanna, Xiyuan Wang
تخيل عالماً يعمل فيه الذكاء الاصطناعي كمساعد شخصي، أو كوسيط لاتخاذ القرارات الجماعية، أو كخبير في التوفيق بين الأنظمة المعقدة. في هذه الأدوار، يجب على الآلة أن تفهم ما يريده البشر، وغالباً ما تكون تلك الرغبات غامضة، أو ناقصة، أو حتى متناقضة. يجب عليها أن تقرر ليس فقط ما هو الخيار الأفضل، بل وأيضاً متى يكون العثور على الخيار الأفضل أمراً مستحيلاً. هذا هو مجال "الاستدلال التفضيلي"، وهو مجال تتعلم فيه الحواسيب كيفية التنقل عبر الرغبات البشرية. لسنوات طويلة، اختبر الباحثون هذه الأنظمة باستخدام ألغاز ذات إجابات واضحة ووحيدة، تماماً مثل اختبار رياضي حيث لكل مسألة حلاً ينتظر من يكتشفه. لكن الحياة الواقعية نادراً ما تكون منظمة بهذا الشكل؛ ففي العالم الحقيقي، غالباً ما تكون المعلومات مفقودة، أو تجعل قواعد الموقف بناء حل أمراً مستحيلاً. والسؤال الذي يواجه العلماء اليوم هو ما إذا كان بإمكان ذكائنا الاصطناعي الأكثر تقدماً التمييز بين مشكلة تحتاج إلى حل ومشكلة ليس لها إجابة على الإطلاق.
لقد وضع فريق من الباحثين في جامعة ولاية بنسلفانيا نصب أعينهم اختبار هذه القدرة تحديداً. قاموا ببناء سلسلة من التحديات القائمة على مشكلات اقتصادية كلاسيكية، مثل تخصيص المنازل للأشخاص أو التوفيق بين الشركاء في سوق ما. في هذه السيناريوهات، يكون لكل شخص قائمة بما يفضله. أنشأ الباحثون آلاف هذه السيناريوهات، تتراوح من قوائم بسيطة تضم عشرة عناصر إلى شبكات معقدة تشمل مئات الوكلاء. صمموا الاختبارات لتشمل نوعين من عدم اليقين: النوع الأول يحدث عندما تكون المعلومات المقدمة ناقصة ببساطة، مثل شخص يدرج نصف أطعمتكم المفضلة فقط. والنوع الثاني يحدث عندما تجعل بنية المشكلة نفسها الحل مستحيلاً، مثل مجموعة من التفضيلات حيث لا يمكن وجود ترتيب عادل أبداً دون أن يكون هناك شخص غير راضٍ. ثم طلب الباحثون من أربعة من أقوى النماذج اللغوية المتاحة حالياً حل هذه الألغاز، أرادوا معرفة ما إذا كانت الآلات ستتمكن من تحديد متى تكون المسألة غير قابلة للإجابة بشكل صحيح، وإذا كان الأمر كذلك، هل ستعترف بأنها لا تعرف، بدلاً من التخمين.
كشفت النتائج عن نقطة عمياء كبيرة في طريقة تفكير هذه الأنظمة. فعند مواجهة مشكلة ذات إجابة واضحة، كان أداء النماذج جيداً، وغالباً ما كانت تضبط التفاصيل بدقة. ومع ذلك، عندما كانت المعلومات ناقصة أو كان الحل مستحيلاً، فشلت النماذج باستمرار في التعرف على الطريق المسدود. فبدلاً من قول "لا يمكنني تحديد هذا"، كانت النماذج تخترع إجابات بثقة؛ حيث فعلت ذلك عبر وضع افتراضات صامتة لملء الفجوات المفقودة. على سبيل المثال، إذا كانت قائمة تفضيلات شخص ما قصيرة، فإن النماذج تفترض أن العناصر المفقودة مرتبة أبجدياً أو وفق قاعدة أخرى عشوائية، ثم تمضي قدماً لإعطاء إجابة نهائية بناءً على ذلك التخمين. وفي الحالات التي لا يوجد فيها حل، كانت النماذج غالباً ما تولد حلاً وهمياً على أي حال، أو تدعي وجود حل بينما هو غير موجود. لم يكن هذا السلوك خطأً عشوائياً، بل كان نمطاً منهجياً؛ فقد بدت النماذج غير قادرة على التمييز بين موقف يتطلب منها التفكير بعمق أكبر، وموقف لن يساعد فيه التفكير بعمق أكبر لأن الإجابة ببساطة غير موجودة.
اختبر الباحثون أيضاً ما إذا كان منح النماذج وسيلة لقول "لا أعرف" سيحل المشكلة. أضافوا خياراً محدداً للنماذج لتختاره عندما تشعر أن المعلومات غير كافية. وبينما ساعد هذا النماذج على الاعتراف بعدم اليقين في بعض الحالات، إلا أنه خلق مشكلة جديدة؛ فقد بدأت النماذج في الإفراط في استخدام هذا الخيار، معلنة عدم وجود حل حتى عندما كان الحل ممكناً تماماً. بدا الأمر كما لو أن النماذج قد تأرجحت من طرف الثقة العمياء إلى طرف الحذر المفرط، غير قادرة على إيجاد المنطقة الوسطى. وحتى عندما سمح الباحثون للنماذج بكتابة كود برمجي لحل المشكلات — وهي طريقة تحسن الدقة عادةً — عانت النماذج. استطاعت حل نسخ صغيرة وبسيطة من المشكلات عبر فحص كل الاحتمالات، ولكن مع كبر حجم المشكلات، عادت إلى التخمين أو الاستسلام، عاجزة عن توسيع نطاق استدلالها ليتناسب مع حجم التطبيقات الواقعية.
ولعل النتيجة الأكثر دلالة جاءت من اختبار لم يُطلب فيه من النماذج إنشاء حل، بل مجرد اختيار الحل الصحيح من قائمة خيارات. حتى في هذه المهمة الأبسط، حيث كان على النماذج التحقق من إجابة بدلاً من بنائها، اختارت النماذج الخيار الخاطئ بشكل متكرر. غالباً ما كانت تختار حلاً يبدو منطقياً ولكنه يفشل في تلبية القواعد الصارمة للمشكلة. أظهرت الدراسة أن هذه النماذج لديها ميل عميق لتقديم المساعدة والحسم على حساب الدقة فيما يتعلق بما هو ممكن. لقد تم تدريبها على إكمال الأنماط وتوليد نصوص تبدو صحيحة، مما يجعلها ممتازة في ملء الفراغات في قصة، ولكن ضعيفة في إدراك متى تنتهي القصة.
يشير هذا البحث إلى أنه بينما ندمج هذه الأنظمة في أدوار اتخاذ القرار الحاسمة، يجب أن نكون حذرين بشأن ما نتوقعه منها. إن القدرة على إدراك متى لا يمكن الإجابة على سؤال هي مهمة بقدر أهمية القدرة على الإجابة عليه. حالياً، ليست النماذج الأكثر تقدماً مجهزة بعد للتمييز بشكل موثوق بين هذين الأمرين. ومن المرجح أنها ستستمر في تقديم إجابات واثقة وتبدو منطقية حتى عندما تكون البيانات مفقودة أو عندما تجعل القواعد الحل مستحيلاً. وحتى يتغير هذا، فإن الاعتماد على هذه الأنظمة في القرارات عالية المخاطر التي تتضمن التفضيلات البشرية يتطلب وجود عنصر بشري في الحلقة للتحقق ليس فقط من الإجابة، بل من إمكانية وجود الإجابة نفسها. لا تدعي الدراسة أن هذه النماذج معطلة، بل تقول إنها تعمل بمنطق مختلف عن البشر، منطق يعاني في قبول حدود ما يمكن معرفته.
ملخص تقني: الاستدلال على التفضيلات في ظل عدم التحديد في النماذج اللغوية الكبيرة
1. تعريف المشكلة
مع تطور النماذج اللغوية الكبيرة (LLMs) لتصبح وكلاء اتخاذ قرار، تصبح قدرتها على الاستدلال على التفضيلات أمراً بالغ الأهمية للمواءمة، والتنسيق، والذكاء الجماعي. ومع ذلك، تعتمد نماذج التقييم الحالية على معايير اختبار ذات عالم مغلق حيث يُفترض وجود حل حقيقي (ground-truth). تجادل هذه الورقة بأن الاستدلال على التفضيلات في العالم الحقيقي هو بطبيعته غير محدد (indeterminate)، ويتميز بمحورين متميزين من عدم اليقين:
عدم التحديد المعرفي (Epistemic Indeterminacy): ينشأ من التفضيلات الناقصة، أو الجزئية، أو التعبيرية حيث تكون المعلومات المدخلة غير كافية لاستخلاص إجابة فريدة (مثل عنصر مفقود من قائمة تفضيلات أو حزم غير قابلة للمقارنة).
عدم التحديد الهيكلي (Structural Indeterminacy): ينشأ من التفاعل بين هياكل التفضيلات (مثل الروابط أو الرتب الضعيفة) ومفاهيم الحل (مثل النواة الصارمة أو الاستقرار الفائق)، مما يجعل الحل الصحيح غير موجود لحالة معينة حتى عندما تكون التفضيلات محددة بالكامل.
التحدي المركزي ليس مجرد تحديد "الصحة"، بل تقييم ما إذا كانت النماذج قادرة على التمييز بين الحالات المحددة (حيث تكون الإجابة مستنتجة أو يوجد حل) والحالات غير المحددة (حيث لا تكون هناك إجابة مستنتجة أو لا يوجد حل).
2. المنهجية
يقوم المؤلفون بصياغة تصنيف لمهام الاستدلال على التفضيلات عبر مستويات متزايدة من التعقيد، مستندة إلى المشكلات الاقتصادية الكلاسيكية: تخصيص المنازل (House Allocation)، أسواق الإسكان لـ شابلي-سكارف (Shapley-Scarf Housing Markets)، وأسواق المطابقة ثنائية الجانب (Two-Sided Matching Markets).
تسلسل المهام الهرمي
يمتد التقييم عبر أربعة أنواع من المهام:
الاستعلامات الذرية (Atomic Queries): استرجاع بيانات تفضيل محددة (مثل "ما هو ترتيب العنصر a؟").
الاستعلامات المقارنة (Comparative Queries): الاستلزام العلاقاتي (مثل "هل يفضل الوكيل a على b؟").
الاستعلامات التجميعية (Aggregative Queries): الحساب الجماعي (مثل "كم عدد الوكلاء الذين يفضلون a على b؟").
الاستعلامات الهيكلية (الخوارزمية) (Structural Queries): بناء أو التحقق من النتائج التي تستوفي مفاهيم الحل البديهية (مثل إيجاد مطابقة في النواة أو مطابقة مستقرة).
الإعداد التجريبي
النماذج: تم تقييم أربعة نماذج من أحدث النماذج: GPT-5.2، وGemini-2.5-Pro، وClaude-4.5-Sonnet، وOSS-120B.
التعبير عن التفضيلات: نوعت التجارب هياكل التفضيلات بما في ذلك الرتب الكاملة الصارمة، والرتب غير الكاملة الصارمة، والرتب الكاملة مع وجود روابط، والرتب غير الكاملة مع وجود روابط.
خيارات عدم التحديد: اختبرت الدراسة ما إذا كان توفير خيارات "الامتناع" الصريحة (مثل "لا يمكن التحديد"، أو "لا شيء مما سبق"، أو إرجاع مجموعة فارغة {}) يحسن من معايرة النموذج.
الاستدلال المساعد (Assisted Reasoning): تم اختبار تدخلين: (1) التحسين عبر التغذية الراجعة، حيث يتلقى النماذج تقارير بالانتهاكات (مثل الأزواج الحاجزة) لإصلاح الحلول بشكل تكراري، و(2) تنفيذ الكود، حيث تولد النماذج وتشغل كوداً لحل الحالات.
التحقق: تم استخدام مُتحقق حتمي (deterministic verifier) ونموذج لغوي كبير كحكم (LLM-as-a-judge) لتقييم صحة الحل واستنتاج الخوارزمية المقصودة أو مفهوم الحل من مسارات استدلال النموذج.
3. النتائج الرئيسية
عدم التحديد المعرفي (الاستدلال على التفضيلات)
الفشل المنهجي في الامتناع: تؤدي النماذج اللغوية أداءً أسوأ بكثير في الاستعلامات غير المحددة مقارنة بالمحددة. فبدلاً من الإشارة إلى عدم اليقين، تقوم النماذج بشكل منهجي بهلوسة التحديد عبر فرض افتراضات صامتة (مثل الترتيب المعجمي للحزم غير القابلة للمقارنة أو الإكمال الأبجدي للعناصر المفقودة).
أنماط الانحياز: تلتزم النماذج بافتراضات محددة (heuristics). بالنسبة لمقارنات الحزم، تلتزم جميع النماذج بالترتيب المعجمي حتى عندما تكون الحزم غير قابلة للمقارنة وفقاً لـ RS. وبالنسبة لاستعلامات الرتب الجزئية، إما أن تستنتج النماذج عدم إمكانية المقارنة قبل الأوان أو تخترع سلاسل لفرض مقارنة ما.
تأثيرات الصياغة (Framing Effects): بينما يؤدي توفير صفة صريحة مثل "إذا عُرف" أو تنسيق الأسئلة متعددة الخيارات (MCQ) مع خيار "غير معروف" إلى تحسين اكتشاف عدم التحديد في بعض الحالات، إلا أنه يقدم انحيازات جديدة. على سبيل المثال، يمكن أن تتسبب تنسيقات MCQ في اختيار النماذج لخيار "غير معروف" بشكل مفرط حتى في الاستعلامات المحددة.
عدم التحديد الهيكلي (الاستدلال الخوارزمي)
مشكلات القابلية للتوسع: يتدهور الأداء بسرعة مع زيادة حجم السوق، حتى بالنسبة للمفاهيم التي يُضمن وجود حلول لها (مثل الاستقرار الضعيف).
اكتشاف عدم الإمكانية (Infeasibility Detection): تواجه النماذح صعوبة في تحديد الحالات غير الممكنة (حيث لا يوجد حل) بشكل صحيح.
انحياز "العودة إلى الفراغ": عند توفير خيار لإرجاع "لا يوجد حل"، غالباً ما تعلن النماذج عن عدم الإمكانية بشكل مفرط في الحالات الممكنة، مما يؤدي إلى انحياز منهجي نحو الامتناع.
الاعتماد على الصياغة (Prompt Dependence): تعتمد القدرة على اكتشاف عدم الإمكانية بشكل كبير على الصياغة التي تسمح صراحةً بالإرجاع الفارغ؛ فبدون "مخرج الطوارئ" هذا، نادراً ما تحدد النماذج عدم الإمكانية.
عدم المواءمة بين النية والفعل: في مهام الاختيار (التحقق من المرشحين)، تدعي النماذج تكراراً استهداف مفهوم حل محدد (مثل "النواة الصارمة") ولكنها تختار نتائج تستوفي مفهوماً أضعف (مثل "النواة الضعيفة") أو تفشل في استيفاء المفهوم تماماً.
الاستدلال المساعد
التغذية الراجعة: يحسن التحسين التكراري مع التغذية الراجعة الأداء في أسواق "شابلي-سكارف"، لكنه يفشل في أسواق المطابقة، ويرجع ذلك أساساً إلى أن النماذج غالباً ما تعلن عدم الإمكانية في الجولة الأولى، مما لا يترك حلاً لإصلاحه.
تنفيذ الكود: بينما يلغي تنفيذ الكود أخطاء التوسع في المهام المحددة، فإنه يفشل في حل الاستعلامات غير المحددة. تقوم النماذج بدمج افتراضاتها الضمنية في الكود، مما يؤدي إلى مخرجات حتمية خاطئة. علاوة على ذلك، فإن الاستراتيجيات القائمة على الكود (مثل البحث الشامل/brute-force) لا تتوسع لتصل إلى أحجام الأسواق ذات الصلة بالتشغيل الفعلي.
4. المساهمات
تصنيف هيكلي: تقدم الورقة إطاراً منظماً لتقييم النماذج اللغوية الكبيرة على كل من عدم التحديد المعرفي والهيكلي، متجاوزةً مجرد الصحة الثنائية لتقييم القدرة على التعرف على الحدود بين التحديد وعدم التحديد.
دليل تجريبي على الفشل: تثبت الورقة أن النماذج الحديثة تفشل بشكل منهجي في التمييز بين الحالات المحددة وغير المحددة، وتظهر معالجة (calibration) خاطفة حتى في إعدادات التحقق.
تشخيص أوضاع الفشل: تحدد الدراسة أوضاع فشل محددة، بما في ذلك وضع الافتراضات الصامتة (معرفياً) وعدم القدرة على تحديد عدم الإمكانية أو التمييز بين تنقيحات مفهوم الحل (هيكلياً).
محدودية التدخلات: تظهر الورقة أن استراتيجيات التخفيف الحالية (صياغة الأوامر، حلقات التغذية الراجعة، تنفيذ الكود) غير كافية لحل فجوات الاستدلال الأساسية هذه، بل إنها غالباً ما تنقل الخطأ من الإفراط في الالتزام إلى الإفراط في الامتناع أو الفشل في التوسع.
5. الأهمية والادعاءات
تدعي الورقة أن عدم التحديد هو بُعد جوهري للاستدلال في أنظمة الذكاء الاصطنا वाले القائمة على التفضيلات. وتجادل بأن نماذج التدريب والتقييم الحالية ذات "العالم المغلق" تحيز النماذج بشكل منهجي نحو هلوسة التحديد، والإمكانية، ومعلومات التفضيل حيث لا يوجد استلزام منطقي لها.
تخلص المؤلفة إلى أن الذكاء الاصطناعي القوي لأغراض المواءمة واتخاذ القرار الجماعي يتطلب:
أطر استدلال ذات عالم مفتوح (مثل الدلالات متعددة القيم مثل منطق كليين ثلاثي القيم).
مفاهيم أغنى لعدم الاستلزام والاستحالة في تدريب النماذج وتقييمها.
معايير اختبار (Benchmarks) لا تقيم الصحة فحسب، بل تقيم أيضاً قدرة النموذج على إدراك الحالات التي لا يوجد فيها إجابة مبررة.
يشير العمل إلى أنه بدون معالجة حالات خلل المعايرة هذه، قد تتخذ الأنظمة الوكيلية إجراءات لم يأذن بها المستخدمون أو تولد إجماعاً اصطناعياً في منصات اتخاذ القرار الجماعي، مقدمةً مخرجات تبدو منطقية رغم افتقارها إلى الأساس المنطقي.