💬 NLP

Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction

تُثبت هذه الدراسة صحة شاشة تصنيف ثلاثية المستويات لإشارات ثقة النماذج اللغوية الكبيرة من خلال إظهار أن النماذج المصنفة كـ "صحيحة" تتفوق بشكل ملحوظ على النماذج "غير الصحيحة" في مهام التنبؤ الانتقائي، حيث تفسر هذه الشاشة 47% من التباين في الأداء.

المؤلفون الأصليون: Jon-Paul Cacioli

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jon-Paul Cacioli

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتوظيف فريق من المنجمين (نماذج لغوية كبيرة) لمساعدتك في اتخاذ قرارات مهمة. تطلب منهم التنبؤ بالمستقبل، وتطلب منهم أيضًا تقييم مدى ثقتهم: "ما مدى تأكدك من أن هذا التنبؤ صحيح؟"

بعض المنجمين صادقون ودقيقون؛ فعندما يقولون: "أنا متأكد بنسبة 90%"، فهم عادةً على حق. أما البعض الآخر فهم كاذبون وفوضويون؛ فعندما يقولون: "أنا متأكد بنسبة 90%"، يكونون في الواقع مخطئين بنسبة 90%.

المشكلة هي: كيف تعرف أي من هؤلاء المنجمين يكذب قبل أن تتركهم يتخذون القرارات نيابة عنك؟

تقدم هذه الورقة البحثية "اختبار كاشف الكذب" لثقة الذكاء الاصطناعي. وهي عبارة عن قائمة مراجعة تصنف نماذج الذكاء الاصطنا هذه إلى ثلاث مجموعات:

صالح (Valid): الصادقون؛ درجات ثقتهم تعني شيئًا حقيقيًا.
غير صالح (Invalid): الكاذبون؛ درجات ثقتهم عشوائية أو معكوسة.
غير محدد (Indeterminate): أولئك الذين يصعب فهمهم حتى الآن.

إليك كيف تثبت هذه الورقة نجاح هذا الاختبار، مشروحة عبر تشبيهات بسيطة.

1. الفكرة الكبرى: لعبة "التنبؤ الانتقائي"

لاختبار ما إذا كانت ثقة الذكاء الاصطناعي حقيقية، لعب الباحثون لعبة تسمى التنبؤ الانتقائي (Selective Prediction).

تخيل أن لديك حقيبة بها 100 لغز. يقوم الذكاء الاصطناعي بحلها جميعًا. ثم يقول الذكاء الاصطناعي: "سأريك فقط الإجابات التي أنا أكثر ثقة بها".

إذا كان الذكاء الاصطناعي "صالحًا": عندما يريك أفضل 10% من إجاباته الأكثر ثقة، يجب أن تكون تلك الإجابات مثالية تقريبًا. لقد نجح في تصفية الأخطاء.
إذا كان الذكاء الاصطناعي "غير صالح": عندما يريك أفضل 10% من إجاباته الأكثر ثقة، فقد يكون في الواقع يعرض لك أسوأ أخطائه. إنه مثل طباخ يقول: "سأقدم لكم أفضل أطباقي"، ثم يقدم لك خبزًا محترقًا.

2. "كاشف الكذب" (الشاشة)

قبل لعب اللعبة، مرر الباحثون نماذج الذكاء الاصطناعي عبر "شاشة صلاحية" (Validity Screen). تبحث هذه الشاشة عن أنماط محددة في كيفية إجابة الذكاء الاصطناعي، بشكل يشبه مراقبة عالم نفس لعلامات التزييف أثناء اختبار ما.

مجموعة "الصالحين": اجتازت هذه النماذج الشاشة. وعندما لعبوا لعبة "التنبؤ الانتقائي"، قدموا أداءً رائعًا؛ حيث نجحوا في تصفية أخطائهم.
مجموعة "غير الصالحين": فشلت هذه النماذج في اجتياز الشاشة. وعندما لعبوا اللعبة، كان أداؤهم سيئًا للغاية. في حالة صادمة واحدة (نموذج يسمى DeepSeek-R1)، كلما زادت ثقة النموذج، زاد خطؤه. لقد كان "انعكاسًا كارثيًا". إذا وثقت في ثقته، فسيقودك مباشرة إلى فخ.

3. النتائج: هل ينجح الاختبار؟

وجد الباحثون فرقًا هائلًا بين المجموعتين:

النماذج "الصالحة" كانت مثل الرماة المهرة؛ فعندما يختارون أفضل رمياتهم، يصيبون مركز الهدف.
النماذج "غير الصالحة" كانت مثل الرماة المخمورين؛ فعندما يختارون "أفضل" رمياتهم، يخطئون الهدف تمامًا، بل وأحيانًا يطلقون النار للخلف.

كان الاختبار جيدًا لدرجة أنه استطاع التنبؤ بمدى أداء الذكاء الاصطناعي في هذه اللعبة بنسبة 47% من الوقت بمجرد النظر إلى أنماط ثقته. وهذه قوة تنبؤية هائلة في عالم الذكاء الاصطناعي.

4. منطقة "غير المحدد"

كانت بعض النماذج غريبة الأطوار. لم تكن كاذبة بوضوح، لكنها لم تكن صادقة بوضوح أيضًا. كانت ثقتها تشبه راديو به تشويش — يمكنك سماع إشارة، لكنها كانت ضبابية جدًا بحيث لا يمكن الوثوق بها. وضع الباحثون هذه النماذج في سلة "غير المحدد".

الدرس المستفاد: إذا وقع نموذج في هذه الفئة، فلا تستخدمه لاتخاذ قرارات مصيرية بعد. إنه "ربما"، وليس "نعم".

5. لماذا يهمك هذا؟

تخيل أنك تبني سيارة ذاتية القيادة أو أداة للتشخيص الطبي. أنت تريد من الذكاء الاصطناعي أن يقول: "أنا لست متأكدًا بشأن هذا، لذا سأسأل بشريًا للمساعدة" (وهذا ما يسمى الامتناع عن الإجابة - abstention).

إذا استخدمت ذكاءً اصطناعيًا "غير صالح"، فسيقول "أنا لست متأكدًا" في الحالات السهلة، ويقول "أنا متأكد بنسبة 100%" في الأخطاء الخطيرة. قد تقود سيارتك نحو الهاوية لأن الذكاء الاصطناعي كان واثقًا في خطئه.
إذا استخدمت "شاشة الصلاحية" أولاً، يمكنك تصفية الكاذبين. ستستخدم فقط النماذج التي أثبتت قدرتها على التمييز بين التخمين والحقيقة.

الخلا الخلاصة

هذه الورقة البحثية هي بمثابة ملصق تحذيري وفحص لمراقبة الجودة. إنها تقول: "لا تثق في الذكاء الاصطناعي لمجرد أنه يبدو واثقًا. قم باختباره عبر هذا الاختبار البسيط أولاً."

إذا اجتاز الذكاء الاصطناعي الاختبار، يمكنك استخدام ثقته لاتخاذ قرارات ذكية (مثل تجاهل إجاباته ذات الثقة المنخفضة). أما إذا فشل، فإن ثقته كذبة، واستخدامه قد يكون خطيرًا.

باختصار: تقدم لنا الورقة طريقة للتمييز بين الخبراء الصادقين والمغفلين الواثقين قبل أن نتركهم يقودون السيارة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التحقق المتزامن من معيار صلاحية شاشة التحقق من صحة إشارات الثقة للنماذج اللغوية الكبيرة عبر التنبؤ الانتقائي" للباحث جون بول كاسيولي.

1. بيان المشكلة

غالبًا ما تقدم النماذج اللغوية الكبيرة (LLMs) درجات ثقة (على سبيل المثال، "احتفاظ" مقابل "انسحاب" أو "رهان" مقابل "لا رهان") تهدف إلى توجيه استراتيجيات النشر اللاحقة مثل التنبؤ الانتقائي (الامتناع عن الإجابات ذات الثقة المنخفضة لتحسين الدقة). ومع ذلك، فإن إشارات الثقة هذه غالبًا ما تكون غير معلوماتية، أو غير معايرة، أو حتى معكوسة (حيث ترتبط الثقة العالية بالإجابات الخاطئة).

قدمت الأعمال السابقة (Cacioli, 2026d, 2026e) بروتوكول فحص صلاحية سيكومتري (بناءً على المقاييس السريرية مثل PAI/MMPI-3) لتصنيف بيانات ثقة النماذج اللغوية الكبيرة إلى ثلاثة مستويات: غير صالح (Invalid)، غير محدد (Indeterminate)، وصالح (Valid). ظلت هناك فجوة حرجة: لم يتم معايرة عتبات الفحص مقابل نتائج النشر الفعلية. ولم يكن معروفًا ما إذا كان النموذج المصنف كـ "صالح" بواسطة الشاشة سيؤدي بالفعل بشكل أفضل في مهام التنبؤ الانتقائي، أم أن النماذج "غير الصالحة" ستفشل فشلاً ذريعًا.

2. المنهجية

مجموعة البيانات والنماذج

النماذج: 20 نموذجًا من النماذج الرائدة من 7 عائلات (Anthropic، OpenAI، Google، Qwen، DeepSeek، Zhipu).
البيانات: 524 عنصرًا لكل نموذج عبر 6 مسارات معرفية (التعلم، الميتا-معرفية، الإدراك الاجتماعي، الانتباه، الوظائف التنفيذية، والتنظيم الاستباقي)، بإجمالي 10,480 ملاحظة.
المدخلات: تسميات الصحة الثنائية (Binary correctness labels) ومجسات الثقة الثنائية (KEEP/WITHDRAW و BET/NO BET).

بروتوكول فحص الصلاحية

طبقَت الدراسة بروتوكول validity_screen.py لتجميع البيانات، وتصنيف النماذج بناءً على ثلاثة مؤشرات أساسية:

مقياس الكذب (L - Lie Scale): نسبة العناصر التي تم الاحتفاظ بها.
تكرار الندرة (Fp - Infrequency): وتيرة أنماط الاستجابة النادرة.
مقياس انحياز الاستجابة (RBS - Response Bias Scale): الانحياز في الانسحاب من العناصر.
البنية/التشخيص (Structural/Diagnostic): معامل TRIN والارتباط $r(\text{confidence}, \text{correct})$ .

التصنيفات:

غير صالح (Invalid) (عدد=3): DeepSeek-R1، Gemini 3.1 Pro، Qwen 80B Think.
غير محدد (Indeterminate) (عدد=3): GPT-5.4 nano، Gemma 3 12B، Gemma 3 1B.
صالح (Valid) (عدد=14): جميع النماذج الأخرى التي أظهرت ارتباطًا إيجابيًا كبيرًا بين الثقة والصحة.

المعيار: التنبؤ الانتقائي
استخدمت الدراسة Type 2 AUROC (المساحة تحت منحنى خصائص تشغيل المستقبِل) كمعيار أساسي. يقيس هذا قدرة النموذج على التمييز بين العناصر الصحيحة والخاطئة بناءً على درجة الثقة الخاصة به.

المقاييس الثانوية: الربح الانتقائي (Selective gain) (تحسن الدقة عند عتبات تغطية محددة، مثل 70%، 50%)، ومنحنيات المخاطرة-التغطية (Risk-coverage curves).
استراتيجية التحقق:
- التحقق المتزامن (Concurrent Validation): مقارنة تصنيفات المستويات مع المقاييس المحسوبة على نفس مجموعة البيانات.
- التحقق المتقاطع لنصف المجموعة (Split-Half Cross-Validation): 1,000 تقسيم عشوائي بنسبة 50/50 حيث تم تدريب الشاشة على نصف واختبار AUROC على النصف الآخر لتقييم القدرة على التعميم داخل العينة.

3. النتائج الرئيسية

فروق أداء المستويات

نجحت شاشة الصلاحية في التنبؤ بأداء التنبؤ الانتقائي بحجم تأثير كبير:

النماذج الصالحة (Valid Models): متوسط Type 2 AUROC = 0.624 (فاصل ثقة 95% [0.604, 0.647]). تجاوزت جميع النماذج الـ 14 مستوى الصدفة (0.5).
النماذج غير الصالحة (Invalid Models): متوسط Type 2 AUROC = 0.357 (فاصل ثقة 95% [0.031, 0.522]).
النماذج غير المحددة (Indeterminate Models): متوسط Type 2 AUROC = 0.554.
الدلالة الإحصائية: الفرق بين مجموعتي "الصالح" و"غير الصالح" هائل ( $d = 2.81$ ، $p = .002$ ). الترتيب في المستويات هو: غير صالح < غير محدد < صالح.
التباين المفسر: يفسر تصنيف المستويات الثلاثة 47.0% من التباين في AUROC ( $\eta^2 = .470$ ).

أنماط الفشل المحددة

DeepSeek-R1 (غير صالح): أظهر انعكاسًا كارثيًا. احتفظ بـ 18.1% فقط من العناصر، لكن العناصر التي احتفظ بها كانت صحيحة بنسبة 25.3%، بينما كانت العناصر المنسحبة صحيحة بنسبة 98.6%. عند تغطية 10%، انخفضت دقته إلى 11.3% (من أصل 85.3% كخط أساس).
Gemini 3.1 Pro & Qwen 80B Think (غير صالح): أظهرا ثقة شاملة (Blanket confidence). احتفظا بأكثر من 96% من العناصر بغض النظر عن صحتها، مما أدى إلى ربح انتقائي يقترب من الصفر و AUROC قريب من 0.5.
Gemma 3 1B (غير محدد): أظهر إشارات غامضة (AUROC 0.483، أقل من الصدفة ولكنه ليس معكوسًا إحصائيًا)، وتم تصنيفه بشكل صحيح كـ "غير محدد" بدلاً من "غير صالح بسبب عدم كفاية الأدلة على الانعكاس".

التحقق المتقاطع والاستقرار

التحقق المتقاطع لنصف المجموعة (Split-Half CV): عبر 1,000 تقسيم، ظل وسيط حجم التأثير قويًا ( $d = 1.77$ )، وكانت $P(d > 0) = 1.0$ . لم ينعكس التأثير أبدًا، رغم تراجعه بسبب صغر حجم العينة.
خصوصية المجال: بينما أدت النماذج الصالحة أداءً جيدًا بشكل عام، أظهر بعضها حالات فشل مرتبطة بمجالات معينة (مثل Sonnet 4.6 الذي سجل AUROC < 0.55 في التنظيم الاستباقي). ومع ذلك، ظل الشاشة الإجمالي قادرًا على التنبؤ.
التحليل داخل المستوى الواحد: ضمن النماذج الصالحة، ارتبط مقياس "L" (نسبة الاحتفاظ) عكسيًا مع AUROC ( $\rho = -0.801$ ). النماذج التي احتفظت بكل شيء تقريبًا (L مرتفع) كان لديها تباين أقل للاستغلال في التنبؤ الانتقائي، مما يشير إلى تأثير "سقف القياس".

4. المساهمات الرئيسية

أول تحقق متزامن للمعيار: هذه هي الدراسة الأولى التي تربط تجريبيًا بين مؤشرات صلاحية السيكومتري لثقة النماذج اللغوية الكبيرة وبين مقاييس النشر التشغيلية (التنبؤ الانتقائي).
جسر صلاحية البناء (Construct Validity Bridge): تثبت الدراسة أن منهجيات الصلاحية السيكومترية (المستمدة من PAI/MMPI-3) قابلة للنقل إلى تعلم الآلة (ML) في مرحلة النشر، مما يؤكد أن مفهوم "الصلاحية" ليس مجرد صلاحية ظاهرية بل هو تنبؤي تشغيليًا.
التشخيص الآلي (Mechanistic Diagnosis): لا تكتفي الشاشة بتحديد النماذج "السيئة" فحسب؛ بل تحدد لماذا تفشل (مثل الانعكاس الكارثي مقابل الثقة الشاملة)، مما يسمح بمعالجة الأخطاء بشكل مستهدف.
التوجيه التشغيلي: تؤسس لبروتوكول "افحص قبل النشر". إن استخدام الثقة للامتناع عن الإجابة دون هذا الفحص يخاطر باختيار الأخطاء (كما في حالة DeepSeek-R1) أو عدم الحصول على أي فائدة (كما في نماذج الثقة الشاملة).

5. الأهمية والقيود

الأهمية

حساسية السلامة: في التطبيقات الحساسة للسلامة (مثل التشخيص الطبي، أو الاستشارات القانونية)، فإن الاعتماد على درجات ثقة غير مصدق عليها يمكن أن يؤدي إلى أنظمة تمتنع عن الإجابة على الأسئلة السهلة وتجيب على الأسئلة الصعبة بشكل خاطئ. توفر هذه الشاشة مرشحًا منخفض التكلفة وقابلًا للتفسير لمنع مثل هذه الإخفاقات.
القابلية للتفسير: إنها تتجاوز مقاييس المعايرة "الصندوق الأسود"، وتقدم إطارًا مهيكلًا لفهم سلوك النموذج من خلال عدسات سيكومترية راسخة.

القيود

الطبيعة المتزامنة: يستخدم التحقق نفس مجموعة البيانات للفحص والاختبار. ورغم أن التحقق المتقلب لنصف المجموعة يخفف من ذلك، إلا أنه لا يثبت التعميم على اختبارات (Benchmarks) جديدة تمامًا (مثل MMLU، GSM8K) أو أجيال جديدة من النماذج.
حجم العينة: تغطي الدراسة 20 نموذجًا. ورغم تنوعها، إلا أن صغر حجم العينة يحد من النمذجة الرسمية للمجموعات (Mixed-effects modeling) على مستوى العائلات.
حساسية الاستخراج (Elicitation Sensitivity): النتائج محددة بصيغ KEEP/WITHDRAW و BET/NO BET الثنائية. قد تؤدي صيغ الاستخراج المختلفة إلى ملفات تعريف صلاحية مختلفة.
سقف الدقة العالية: بالنسبة للنماذج التي تتجاوز دقتها 95%، قد يكون علم "غير صالح" (بسبب قلة عدد الخلايا في فئة "الخطأ + الانسحاب") ناتجًا عن خلل في البيانات وليس إشارة حقيقية لعدم الصلاحية، مما يتطلب مجموعات عناصر أكبر لاستقرار التصنيف.

الخاتية

تؤكد الورقة أن شاشة صلاحية سيكومترية يمكنها التنبؤ بفعالية ما إذا كانت إشارة ثقة النموذج اللغوي الكبير صالحة للاستخدام في التنبؤ الانتقائي. النماذج الصالحة تظهر مكاسب انتقائية إيجابية، بينما تظهر النماذج غير الصالحة أداءً مسطحًا أو معكوسًا. تعمل الشاشة كشرط مسبق ضروري لأي استراتيجية نشر تعتمد على ثقة النموذج لاتخاذ قرارات بشأن الامتناع عن الإجابة أو توجيه المهام.