💬 NLP

Question Difficulty Estimation for Large Language Models via Answer Plausibility Scoring

تقدم هذه الورقة البحثية Q-DAPS، وهي طريقة مبتكرة لتقدير صعوبة الأسئلة للنماذج اللغوية الكبيرة من خلال حساب إنتروبيا درجات معقولية الإجابة، مما يظهر أداءً فائقًا، ومتانة، وتوافقًا مع الأحكام البشرية عبر مجموعات بيانات متعددة مقارنة بالأساليب الحالية.

المؤلفون الأصليون: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

نُشر 2026-05-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "تقدير صعوبة الأسئلة للنماذج اللغوية الكبيرة عبر تسجيل معقولية الإجابات" (Q-DAPS)، مقسمة إلى مفاهيم بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: ما مدى صعوبة السؤال حقاً؟

تخ-يل أنك معلم تحاول معرفة مدى صعوبة سؤال في اختبار لطلابك. تقليدياً، قد تنظر إلى السؤال وتقول: "هذه الجملة طويلة وتستخدم كلمات كبيرة، لذا لا بد أنها صعبة". أو قد تتحقق مما إذا كان أحد قد سأل هذا السؤال من قبل؛ فإذا لم يسأله أحد، فلا بد أنه غامض وصعب.

لكن مؤلفي هذه الورقة يجادلون بأن هذه الطرق القديمة لا تعمل بشكل جيد مع النماذج اللغوية الكبيرة (LLMs) — وهي روبوتات الدردشة الذكية للغاية التي نستخدمها اليوم. فقد يكون السؤال يستخدم كلمات بسيطة ولكنه يتطلب منطقاً معقداً، أو قد يكون شائعاً جداً ومع ذلك يخدع الذكاء الاصطناعي.

لذا، ابتكروا طريقة جديدة لقياس الصعوبة تسمى Q-DAPS.

التشبيه الجوهري: "المحقق المرتبك"

تخيل النموذج اللغوي الكبير (LLM) كمحقق يحاول حل لغز ما.

السؤال السهل: ينظر المحقق إلى الأدلة ويفكر فوراً: "إنه بالتأكيد بوب جيلدوف". تبدو جميع المشتبه بهم الآخرين (مثل "البابا" أو "قط عشوائي") سخفاء تماماً. المحقق متأكد بنسبة 100%.
السؤال الصعب: ينظر المحقق إلى الأدلة ويفكر: "همم، يمكن أن يكون روجر كاسيمينت، ولكن يمكن أيضاً أن يكون مايكل كولينز، أو ربما إرسكين تشيلدرز". تبدو جميع المشتبه بهم متساوين في الشبه. المحقق مرتبك وغير متأكد.

يقيس Q-DAPS هذا الارتباك.

بدلاً من سؤال الذكاء الاصطناعي "هل هذا السؤال صعب؟"، يطلب منه Q-DAPS إنشاء قائمة من الإجابات الخاطئة التي تبدو وكأنها قد تكون صحيحة. ثم يتحقق مما إذا كان الذكاء الاصطناعي يتردد بين هذه الإجابات الخاطئة.

إذا كان الذكاء الاصطناعي مرتبكاً بين العديد من الإجابات الخاطئة، فإن السؤال صعب (اعتلاج/إنتروبي مرتفع).
إذا استبعد الذكاء الاصطناعي جميع الإجابات الخاطئة فوراً، فإن السؤال سهل (اعتلاج/إنتروبي منخفض).

كيف يعمل Q-DAPS (وصفة الخطوات الثلاث)

تصف الورقة العملية في ثلاث مراحل بسيطة، مثل خبز كعكة:

1. توليد الإجابات "المزيفة" (توليد المرشحين)

يقوم النظام بسؤال ذكاء اصطناعي لتقديم قائمة بالإجابات الممكنة لسؤال ما، لكنه يخبر الذكاء الاصطناعي صراحةً: "لا تعطي الإجابة الحقيقية. فقط أعطني 20 تخميناً تبدو معقولة".

مثال: بالنسبة لسؤال "من هو أب السلوكية الحديثة؟"، قد يخمن الذكاء الاصطناعي: "بي إف سكينر"، "سيجموند فرويد"، "إيفان بافلوف"، إلخ.
يعطي الذكاء الاصطناعي أيضاً لكل تخمين "درجة معقولية" (من 0 إلى 100) توضح مدى اعتقاده بأن هذا التخمين قد يكون صحيحاً.

2. إزالة انحياز "الشعبية" (إزالة الانحياز)

هذا جزء معقد. غالباً ما تمتلك نماذج الذكاء الاصطناعي انحيازاً نحو الأشياء الشائعة. إذا سألت عن شخص مشهور، فقد يخمنه الذكاء الاصطناي أولاً لمجرد أنه مشهور، وليس لأنه الإجابة الصحيحة.

الحل: يتحقق الباحثون من مدى شعبية كل تخمين على ويكيبيديا (كم عدد الأشخاص الذين يشاهدون هذه الصفحة). إذا كان التخمين شائعاً جداً، فإنهم يخفضون درجته قليلاً للتأكد من أن الذكاء الاصطناي لا يخمن بناءً على الشهرة فقط. هذا يجعل الاختبار أكثر عدلاً.

3. قياس "الارتباك" (التسجيل)

أخيراً، ينظر النظام إلى قائمة الدرجات.

اعتلاج منخفض (سهل): إجابة واحدة لديها درجة ضخمة (مثلاً 90)، والبقية ضئيلة (مثلاً 5، 2، 1). الذكاء الاصطناعي واثق.
اعتلاج مرتفع (صعب): جميع الإجابات لها درجات متشابهة (مثلاً 40، 38، 35، 32). الذكاء الاصطناعي منقسم ومرتبك.

يقوم النظام بتحويل هذا "الارتباك" إلى رقم واحد بين 0 و 1، حيث يمثل الرقم 1 أصعب سؤال.

لماذا هذا مهم (وفقاً للورقة)

اختبر المؤلفون هذه الطريقة على أربعة أنواع مختلفة من مجموعات البيانات للأسئلة (من التريفيات البسيطة إلى الاستدلال العلمي المعقد). وقارنوا Q-DAPS بطرق أخرى مثل:

صيغ سهولة القراءة (عدّ المقاطع اللفظية).
إحصائيات الشعبية (كم عدد الأشخاص الذين يبحثون عن هذا).
إحصائيات الاسترجاع (مدى صعوبة العثور على الإجابة في قاعدة بيانات).

النتيجة: كان Q-DAPS هو الفائز. لقد كان أفضل بكثير في التنبؤ بالأسئلة التي ستعثر الذكاء الاصطناي فعلياً.

النتائج الرئيسية بلغة بسيطة

يعمل حتى بدون مفتاح الإجابة: لا تحتاج لمعرفة الإجابة الصحيحة لاستخدام Q-DAPS. يمكن للذكاء الاصطناي توليد الإجابات "المزيفة" وتسجيل درجة الصعوبة بمفرده.
يعمل مع نماذج ذكاء اصطناي أصغر: لا تحتاج لأغلى وأضخم نماذج الذكاء الاصطناي لتشغيل هذا الاختبار. النماذج الأصغر والأرخص تعمل بشكل جيد تماماً.
يتوافق مع الحدس البشري: عندما نظر البشر إلى الأسئلة التي صنفها Q-DAPS على أنها "صعبة"، وافقوا على أنها صعبة. وعندما نظروا إلى الأسئلة "السهلة"، وافقوا على أنها سهلة.
يكشف مخاطر "الهلوسة": تشير الورقة إلى أنه إذا كان للسؤال اعتلاج عالٍ (ارتباك عالٍ)، فمن المرجح أن يخترع الذكاء الاصطناي إجابة مزيفة (يهلوس) لأنه لا يستطيع الاختيار بين الخيارات المعقولة.

ما لا تدعيه الورقة

هي لا تدعي أنها أداة طبية لتشخيص المرضى.
هي لا تدعي أنها تعمل بشكل مثالي لكل لغة في العالم (الدراسة أجريت بالإنجليزية فقط).
هي لا تدعي أن السؤال "الصعب" مستحيل على الذكاء الاصطناي الإجابة عليه؛ بل يعني فقط أن الذكاء الاصطناي غير متأكد أو مرتبك حالياً بالخيارات.

الملخص

Q-DAPS هو مسطرة جديدة لقياس مدى صعوبة السؤال بالنسبة للذكاء الاصطناي. بدلاً من النظر إلى الكلمات الموجودة على الصفحة، فإنه ينظر إلى مدى ارتباك الذكاء الاصطناي عند محاولة تخمين الإجابة. إذا كان الذكاء الاصطناي ممزقاً بين العديد من الإجابات الخاطئة المعقولة، فإن السؤال صعب. وإذا عرف الذكاء الاصطناي ما يجب اختياره بالضبط، فإن السؤال سهل. يساعد هذا المطورين على معرفة متى يمكنهم الوثوق بالذكاء الاصطناي ومتى يجب عليهم مراجعة عمله.

ملخص تقني: Q-DAPS (درجة صعوبة السؤال بناءً على درجات معقولية الإجابات)

بيان المشكلة

يعد تقدير صعوبة الأسئلة أمراً ضرورياً لتقييم وتحسين النماذج اللغوية الكبيرة (LLMs) في أنظمة الإجابة على الأسالئلة (QA). تعتمد الأساليب الحالية عادةً على صيغ سهولة القراءة، أو الإشارات القائمة على الاسترجاع، أو إحصائيات الشعبية. ومع ذلك، غالباً ما تفشل هذه الطرق في التقاط تحديات الاستدلال المحددة التي تواجهها النماذج اللغية الكبيرة الحديثة، لأنها ترتكز بشكل متكرر على سهولة القراءة البشرية أو مقاييس نظام الاسترجاع بدلاً من عدم اليقين الداخلي للنموذج. علاوة على على ذلك، لا تعالج الطرق الحالية صراحةً خطر الهلوسة، حيث تكون الأسئلة الأصعب أكثر عرضة لاستحضار إجابات مفبركة. هناك حاجة لمقياس صعوبة موجه للنماذج اللغية الكبيرة يعكس مدى كون الإجابات الخاطئة تبدو مقنعة للنموذج نفسه.

المنهجية: Q-DAPS

يقترح المؤلفون Q-DAPS، وهو أسلوب يقدر صعوبة السؤال عن طريق حساب الإنتروبيا (الاعتلاج) لدرجات المعقولية عبر مجموعة من الإجابات المرشحة. تعمل الطريقة في ثلاث مراحل متميزة:

توليد المرشحين: يتم توجيه نموذج لغٍ كبير لتوليد $N$ من الإجابات المرشحة الفريدة لسؤال معين (باستثناء الإجابة الصحيحة/الأرضية) مع درجة معقولية (0–100) وتبرير لكل منها. يقوم النظام بالتحقق من هذه المخرجات لضمان عدم وجود تكرارات، وصحة نطاقات الدرجات، والعدد الصحيح من المرشحين. إذا فشل التحقق، تتم إعادة المحاولة مع زيادة درجة الحرارة (temperature).
إزالة انحياز الشعبية: للتخفيف من انحياز الشعبية (حيث تميل النماذج اللغية الكبيرة إلى توليد أو تفضيل الكيانات الأكثر شعبية)، تقوم الطريقة بتعديل درجات المعقولية باستخدام إحصائيات مشاهدات صفحات ويكيبيديا. يتم حساب الدرجة منزوعة الانحياز ( $DePls_i$ ) كالتالي:
$DePls_i = Pls_i \times (1 - \alpha \times Pop_i)$
حيث $Pls_i$ هي درجة المعقولية الأصلية، و $Pop_i$ هي الشعبية المعيارية للمرشح، و $\alpha$ هو معلم فائق (hyperparameter) يتحكم في قوة إزالة الانحياز.
التسجيل (Scoring): يتم اشتقاق درجة الصعوبة النهائية من إنتروبيا درجات المعقولية المنزوعة الانحياز والمعيارية.
- أولاً، يتم توحيد الدرجات لتشكيل توزيع احتمالي.
- يتم حساب الإنتروبيا ( $H(q)$ ): $H(q) = -\sum DePls^{norm}_i \times \log_2 DePls^{norm}_i$ .
- يتم توحيد الإنتروبيا لتكون في النطاق [0, 1] عن طريق القسمة على $\log_2 N$ (حيث $N$ هو عدد المرشحين).
- التفسير: تشير الإنتروبيا العالية إلى أن العديد من الإجابات المرشحة تبدو معقولة بشكل مماثل للنموذج اللغ، مما يشير إلى سؤال صعب مع عدم يقين عالٍ في الاستدلال. تشير الإنتروبيا المنخفضة إلى توزيع منحاز حيث يبدو عدد قليل فقط من المرشحين معقولين، مما يشير إلى سؤال أسهل.

قيم المؤلفون ثلاثة نماذج تقدير لتوليد درجات المعقولية: النقطي (Pointwise) (تسجيل المرشحين بشكل فردي)، المقارن (Pairwise) (مقارنة الأزواج)، و القائم على القائمة (Listwise) (توليد المرشحين والدرجات بشكل مشترك). ووجد أن نهج القائم على القائمة هو الأكثر فعالية وكفاءة من حيث الحوسبة ( $O(1)$ ).

المساهمات الرئيسية

مقياس مبتكر: تقديم Q-DAPS، وهو مقياس صعوبة موجه للنماذج اللغية الكبيرة يعتمد على إنتروبيا درجات معقولية الإجابات، مما ينقل التركيز من خصائص النص السطحية إلى عدم اليقين في الاستدلال.
استراتيجية إزالة الانحياز: تحديد انحياز الشعبية في توليد إجابات المرشحين وتقديم آلية خفيفة لإزالة الانحياز باستخدام عدد مشاهدات ويكيبيديا لتحسين دقة التقدير.
التحقق الشامل: تجارب مكثفة عبر أربع مجموعات بيانات متنوعة للاسئلة والأجوبة (TriviaQA, Natural Questions, MuSiQue, QASC) تغطي مهام الاستدلال البسيطة والمعقدة. تم اختبار الطريقة مقابل معايير سهولة القراءة، والشعبية، والاسترجاع، والاعتماد على الأوامر (prompt-based)، وعدم اليقين.
تحليل المتانة: دراسات الاستئصال (ablation studies) التي أظهرت أن Q-DAPS يظل فعالاً حتى بدون الوصول إلى الإجابة الصحيحة، وبدون إزالة انحياز الشعبية، وعبر نماذج لغية مختلفة (تتراوح من 7 مليار إلى 70 مليار معلمة).
المواءمة البشرية: دراسات التقييم البشري التي تؤكد أن تقديرات صعوبة Q-DAPS تتوافق جيداً مع الأحكام البشرية، وأن الأسئلة المصنفة على أنها "صعبة" بواسطة Q-DAPS هي بالفعل أصعب بالنسبة للبشر للإجابة عليها بشكل صحيح.

النتائج التجريبية

الأداء: تفوق Q-DAPS باستمرار على جميع الطرق المرجعية (بما في ذلك Flesch-Kincaid، و Gunning-Fog، و PopQA، والطرق القائمة على عدم اليقين) عبر جميع مجموعات البيانات الأربع. حقق أعلى درجات معامل كوهين $d$ (لفصل الأسئلة السهلة والصعبة) ومعامل سبيرمان $\rho$ (الارتباط مع أداء النموذج).
الإنتروبيا مقابل المتوسط: تفوق نهج التسجيل القائم على الإنتروبيا بشكل كبير على استخدام متوسط درجة المعقولية، مما يؤكد أن توزيع المعقولية (عدم اليقين) هو إشارة أقوى للصعوبة من المتوسط.
نتائج الاستئصال:
- الإجابة الصحيحة: بينما يؤدي توفير الإجابة الصحيحة إلى تحسين الأداء، يظل Q-DAPS متفوقاً على المراجع حتى عند حجب الإجابة الصحيحة، مما يجعله قابلاً للتطبيق في السيناريوهات الواقعية حيث تكون الإجابات غير معروفة.
- إزالة الانحياز: أدى إزالة مكون إزالة انحياز الشعبية إلى تقليل الأداء، لكنه لم يبطل فعالية الطريقة، مما يشير إلى أن إزالة الانحياز هي تحسين مفيد وليست شرطاً صارماً.
- حجم النموذج: أدت الطريقة أداءً قوياً عبر أحجام النماذج المختلفة، رغم أن النماذج الأكبر (مثل LLaMA 3.3 70B) أعطت نتائج أفضل قليلاً.
تحليل الخطأ: حدد المؤلفون أنماط تباين محددة حيث تختلف التقديرات القائمة على الإنتروبيا عن نتائج التقييم المطابق تماماً (مثل "المبالغة في تقدير الصعوبة" في الأسئلة الحقائقية القائمة على القوائم مع وجود العديد من الإجابات ذات الصلة دلالياً). ويجادلون بأن هذه الحالات تعكس ثراء مساحة الإجابات بدلاً من فشل النموذج.

الأهمية والادعاءات

يدعي البحث أن Q-DAPS يوفر نهجاً قابلاً للتفسير، وقابلاً للتوسع، ومقاوماً للانحياز لتقدير صعوبة الأسئلة. تكمن أهميته في منظوره التشغيلي: فهو يربط الصعوبة مباشرة بـ كشف خطر الهلوسة. من خلال قياس مدى معقولية الإجابات الخاطئة للنموذج اللغ، يمكن لـ Q-DAPS أن يعمل كأداة عملية لـ:

اختيار النموذج: اختيار نماذج لغية أقوى للمجالات التي تُقدر فيها الأسئلة باستمرار على أنها صعبة.
توجيه الأسئلة: توجيه الأسئلة عالية الصعوبة إلى المراجعين البشر في قواعد المعرفة.
تفعيل الضوابط الوقائية: طلب الاستشهادات أو تأكيد المستخدم للأسئلة التي تُقدر بأنها ذات حالة عدم يقين عالية.

يؤكد المؤلفون أن Q-DAPS يلتقط الغموض الجوهري لمساحة الإجابات من منظور النموذج، مما يوفر رؤية أكثر دقة للصعوبة مقارنة بمقاييس سهولة القراءة أو الاسترجاع التقليدية. ويُقترح العمل المستقبلي لاستكشاف الامتدادات متعددة اللغات ومتعددة الوسائط.