Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report

إليك ملخص تقني مفصل لورقة البحث "Validity Scaling for LLM Metacognitive Self-Report" (مقياس الصلاحية للتقرير الذاتي للميتا-معرفي في النماذج اللغوية الكبيرة) للباحث جون-بول كاسيولي.

1. بيان المشكلة

تعامل ممارسات تقييم النماذج اللغوية الكبيرة (LLM) الحالية إشارات الثقة في النموذج (مثل قرارات "الاحتفاظ" [KEEP]، "الانسحاب" [WITHDRAW]، "المراهنة" [BET]) كإشارات معلوماتية بطبيعتها للمهام اللاحقة مثل الامتناع عن الإجابة، أو التوجيه، أو الأنظمة التي تتضمن تدخلاً بشرياً. ومع ذلك، لا توجد إجراءات معيارية للتحقق مما إذا كانت إشارات الثقة هذه تتبع بالفعل الصحة (Correctness) قبل استخدامها.

في علم النفس الإكلينيكي، تقوم تقييمات الشخصية (مثل PAI و MMPI-3) بصرامة بفحص صلاحية الاستجابة (كشف الأنماط المشوهة مثل التزييف، أو الاستجابة العشوائية، أو الدفاعية المفرطة) قبل تفسير المقاييس الجوهرية. وإذا كانت الصلاحية معطلة، يُعت-بر الملف التعريفي غير قابل للتفسير. يجادل المؤلف بأن تقييم النماذج اللغوية الكبيرة يواجه نفس المشكلة الهيكلية: فبدون الفحص، قد تعتمد الأنظمة اللاحقة على إشارات ثقة "غير معلوماتية" ناتجة عن مجموعات استجابة (Response Sets) بدلاً من الميتا-معرفة (Metacognition) الحقيقية.

2. المنهجية

تطبق الدراسة إطار عمل لمقياس الصلاحية الإكلينيكية على بيانات الاستقصاء الميتا-معرفي لـ 20 نموذجاً من النماذج اللغوية الكبيرة الرائدة عبر 524 بنداً.

مصدر البيانات

• النماذج: 20 نموذجاً من 6 عائلات مزودة (Anthropic، Google-Gemini، Google-Gemma، Qwen، DeepSeek، OpenAI، Zhipu).
• البطارية الاختبارية: بطارية مراقبة الميتا-معرفة "Classical Minds" (Cacioli, 2026c) التي تحتوي على 524 بنداً موزعة على 6 مجالات معرفية (التعلم، الميتا-معرفة، الإدراك الاجتماعي، الانتباه، الوظيفة التنفيذية، والتنظيم الاستباقي).
• المجسات (Probes): بعد الإجابة، طُلب من النماذج الاحتفاظ (KEEP/WITHDRAW) بإجابتهم والمراهنة (BET/NO BET) على صحتها.

تشغيل مؤشرات الصلاحية (Operationalization)

تم إسقاط ستة مؤشرات من المقاييس الإكلينيكية (PAI/MMPI-3) على سلوكيات النماذج اللغوية الكبيرة:

1. L (نقص الإبلاغ/الدفاعية): $P(\text{KEEP} \mid \text{incorrect})$. يقيس الحفاظ على الثقة رغم الخطأ.
2. K (نقص الإبلاغ/الثقة): $P(\text{BET} \mid \text{incorrect})$. يقيس الثقة القوية غير المبررة.
3. F (الإفراط في الإبلاغ/الانسحاب): $P(\text{WITHDRAW} \mid \text{consensus-KEEP} \ge 85\%)$. يقيس الانسحاب من البنود التي تؤيدها أغلبية النماذج.
4. Fp (الإفراط في الإبلاغ/السلبيات الكاذبة): $P(\text{WITHDRAW} \mid \text{correct})$. يقيس الانسحاب من الإجابات الصحيحة.
5. RBS (المراقبة المعكوسة): $P(\text{WD} \mid \text{correct}) - P(\text{WD} \mid \text{incorrect})$. القيم الموجبة تشير إلى الانسحاب من الإجابات الصحيحة أكثر من الخاطئة.
6. TRIN (الاستجابة الثابتة): $\max(n_{\text{KEEP}}, n_{\text{WD}}) / n_{\text{total}}$. يقيس هيمنة نوع واحد من الاستجابة (الاحتفاظ الثابت أو الانسحاب الثابت).

نظام التصنيف

• المستوى 1 (غير صالح على مستوى البناء): النماذج التي يتم تحديدها بواسطة عتبات قائمة على النظرية (مثل $L \ge 0.95$، $F \ge 0.50$، $RBS > 0$). تُعتبر هذه الملفات غير قابلة للتفسير.
• المستوى 2 (مرتفع): النماذج التي يتم تحديدها بواسطة عتبات مرجعية للعينة ($M + 1.5$ SD) ولكنها ليست من المستوى 1. تُفسر بحذر.
• صالح (Valid): النماذج التي تجتاز كلا المستويين.

استراتيجية التحقق

• السياسات الاصطناعية: تم إنشاء ثماني سياسات استجابة اصطناعية (مثل "الاحتفاظ دائماً"، "عشوائي 50/50"، "مراقبة مثالية") لاختبار ما إذا كان نظام المستويات يحدد بشكل صحيح الأنماط غير المعلوماتية.
• اختبار حساسية البند: يتحقق التحقق التجريبي الأساسي مما إذا كان قرار النموذج بـ KEEP يرتبط بصحة البند ($r(\text{KEEP}, \text{correct})$). النماذج الصالحة يجب أن تظهر ارتباطاً إيجابياً؛ أما النماذج غير الصالحة فلا ينبغي أن تظهر ذلك.

3. المساهمات الرئيسية

1. نقل الإطار العملي: نجح في تشغيل مقاييس الصلاحة الإكلينيكية (PAI/MMPI-3) لبيانات الميتا-معرفة النماذج اللغوية الكبيرة، مما أرسى بروتوكول "الفحص قبل التفسير".
2. ستة مؤشرات للصلاحية: حدد مقاييس محددة لتشوه استجابة النماذج (L, K, F, Fp, RBS, TRIN).
3. التصنيف المتعدد المستويات: نظام قوي يميز بين الملفات الصالحة، والمرتفعة، وغير الصالحة، والذي تم التحقق منه مقابل البيانات الاصطناعية.
4. اكتشاف التشوهات: حدد أن تدريب "سلسلة الأفكام" (CoT) يمكن أن ينتج تشوهات متعاكسة: انسحاب مفرط منهجي (DeepSeek-R1) مقابل ثقة مطلقة (Qwen Think).
5. مؤشر التناقض الجديد: حدد تناقض WITHDRAW + BET (قول "أنا أنسحب من هذا" مع "المراهنة على أنه صحيح") كعلامة فريدة لانفصال إشارات المراقبة عن إشارات الثقة.
6. المميزات على مستوى البند: حدد 161 بنداً (33%) تميز بشكل كبير بين الملفات الصالحة وغير الصالحة، مما يتيح نماذج فحص قصيرة مستقبلاً.

4. النتائج الرئيسية

الخصائص السيكومترية

• الموثوقية: اتساق داخلي عالٍ ($\alpha = .921$ لـ L، $.953$ لـ K).
• الصلاحية التقاربية: ارتباطات قوية داخل الكتل المتوقعة ($L-K: r=.82$; $F-Fp: r=.99$).
• الصلاحية التمييزية: $L$ و $F$ مستقلان ($r = -.10$)، مما يؤكد تمايز أبعاد نقص الإبلاغ والإفراط في الإبلاغ.
• البنية العاملية: كشف تحليل المكونات الرئيسية (PCA) عن بُعدين كامنين (نقص الإبلاغ والإفراط في الإبلاح) يفسران 94.6% من التباين، مما يحاكي النتائج الإكلينيكية.

تصنيف النماذج (20 نموذجاً)

• المستوى 1 غير صالح (ن=4):
  • DeepSeek-R1: إفراط شديد في الإبلاغ ($RBS+$, $F \ge .50$, $Fp \ge .50$). يظهر انعكاساً هائلاً ($r = -.798$) ومعدل تناقض بنسبة 37% في حالة WITHDRAW+BET على العناصر الصحيحة.
  • Gemini 3.1 Pro: ارتفاع في $L$ ($\ge .95$) ومراقبة معكوسة.
  • Qwen 80B Think: ثقة مطلقة مفرطة ($L = .974$).
  • Gemma 1B: مراقبة معكوسة.
• المستوى 2 مرتفع (ن=2): GPT-5.4 nano و Gemma 12B (انسحاب مرتفع ولكن يحتفظ ببعض إشارة المراقبة).
• صالح (ن=14): نماذج تظهر ثقة حساسة للبند.

حساسية البند (الدليل القاطع)

• النماذج الصالحة: متوسط الارتباط $r(\text{KEEP}, \text{correct}) = .180$. أظهرت 14/16 نموذجاً تتبعاً إيجابياً معنوياً.
• النماذج غير الصالحة: متوسط الارتباط $r(\text{KEEP}, \text{correct}) = -.196$. لم تظهر أي منها تتبعاً إيجابياً معنوياً.
• حجم الأثر: الفرق كبير وقوي ($d = 2.17, p = .001$).
• الاستنتاج: النماذج غير الصالحة تنتج إشارات ثقة لا تحمل أي معلومات على مستوى البند حول الصحة.

آثار التدريب

• سلسلة الأفكار (CoT): تنتج تشوهات متباينة. DeepSeek-R1 (CoT) أصبح دفاعياً للغاية (الانسحاب من الإجابات الصحيحة)، بينما Qwen Think (CoT) أصبح واثقاً للغاية (تجاهل الأخطاء).
• التعلم المعزز من التغذية الراجعة البشرية (RLHF): أظهرت عائلة Google-Gemini ملفاً تعريفياً "دفاعياً" موحداً (ارتفاع $L$ و $K$) عبر جميع النماذج الأربعة، مما يشير إلى أثر مشترك لـ RLHF يشبه "التدريب الموجه" (Coaching) في التقييم الجنائي.

الاسترجاعي مقابل الاستباقي

• أظهر 12 من أصل 20 نموذجاً ملفات صلاحية غير متسقة بين المجسات الاسترجاعية (بعد الإجابة) والاستباقية (قبل الإجابة). فشلت المجسات الاستباقية (T6) في التمييز بين الصلاحية، مما يشير إلى أن التنسيق يحد من تباين الاستجابة.

5. الأهمية والآثار المترتبة

• هيكلية وليست بشرية: تجادل الورقة بأن فحص الصلاحية هو ضرورة هيكلية لأي بيانات تقرير ذاتي، بغض النظر عما إذا كان "المستجيب" بشراً أو ذكاءً اصطناعياً. هي لا تدعي أن النماذج لديها شخصيات أو مشاعر؛ بل تدعي أن بعض أنماط البيانات غير معلوماتية إحصائياً.
• السلامة والنشر: الاعتماد على إشارات ثقة غير صالحة أمر خطير. فالنموذج الذي يمتلك دقة 94% ولكن بثقة غير معلوماتية هو أكثر خطورة من نموذج بدقة 88% يمتلك مراقبة حقيقية، لأن الأول يوفر طمأنينة كاذبة لمرشحات السلامة.
• معيار القياس المرجعي: تقترح الورقة أن فحص الصلاحية يجب أن يسبق تفسير أي مقياس ميتا-معرفي. يجب أن تتضمن الاختبارات المستقبلية فحصاً للصلاحية (باستخدام الـ 161 بنداً المحددة) لاستبعاد النماذج غير القابلة للتفسير.
• تحول منهجي: تنقل الورقة تقييم النماذج اللغوية الكبيرة من سؤال "ما مدى ثقتهم؟" إلى "هل إشارتهم في الثقة تتبع الواقع؟".