📊 statistics

A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering

تقدم هذه الورقة Sem-ECE، وهو إطار عمل مبتكر يقيم المعايرة في الإجابة على الأسئلة مفتوحة النهايات من خلال أخذ عينات من مخرجات النموذج وتجميعها في فئات دلالية لتوفير مقياس غير منحاز وقوي يتفوق على الأساليب القائمة على التعبير اللفظي وأساليب أخذ العينات الحالية، لا سيما عندما لا تتوفر احتمالات النموذج الداخلية.

المؤلفون الأصليون: Zhanliang Wang, Jiancong Xiao, Ruochen Jin, Shu Yang, Bojian Hou, Li Shen

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zhanliang Wang, Jiancong Xiao, Ruochen Jin, Shu Yang, Bojian Hou, Li Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف فريقاً من الخبراء للإجابة على أسئلة ثقافية صعبة. لا تريد معرفة ماذا يجيبون فحسب، بل تريد أيضاً معرفة مدى تأكدهم من إجاباتهم. إذا قال الخبير: "أنا متأكد بنسبة 90% أن العاصمة هي باريس"، فأنت تريد أن تعرف ما إذا كان محقاً في 90% من المرات بالفعل. هذا التوافق بين الثقة والدقة يسمى المعايرة (Calibration).

في عالم الذكاء الاصطناعي (نماذج اللغات الكبيرة)، يعد هذا أمراً معقداً. فعندما يقدم النموذج إجابة قصيرة من نوع الاختيار من متعدد، يمكننا بسهء التحقق من حساباته. ولكن عندما يكتب مقالاً طويلاً أو قصة إبداعية، فإن التحقق من ثقته يشبه محاولة قياس درجة حرارة سحابة.

تقدم هذه الورقة البحثية طريقة جديدة لقياس تلك "درجة الحرارة" تسمى Sem-ECE. وإليك كيف تعمل، مقسمة إلى تشبيهات بسيطة.

المشكلة: "الطالب الواثق بزيادة"

الطرق الحالية للتحقق من ثقة الذكاء الاصطناعي معيبة:

سؤال الذكاء الاصطناعي مباشرة: إذا سألت الذكاء الاصطناعي: "ما مدى ثقتك؟"، فغالباً ما يكذب أو يخمن، وعادة ما يدعي أنه أكثر تأكداً مما هو عليه في الواقع. الأمر يشبه طالباً يرفع يده ويصرخ: "أنا متأكد بنسبة 100%!" حتى وهو يخمن فقط.
النظر في الكود البرمجي (Logits): أحياناً، يمكننا إلقاء نظرة داخل عقل الذكاء الاصطناعي لرؤية حساباته الداخلية. لكن معظم خدمات الذكاء الاصطناعي التجارية (مثل تلك المستخدمة من قبل الأطباء أو المحامين) لا تسمح لنا برؤية ذلك. الأمر يشبه محاولة الحكم على خدعة ساحر من خلال مراقبة يديه، لكنه يرتدي قفازات.
تكرار السؤال: إذا سألت الذكاء الاصطناعي نفس السؤال 50 مرة، فقد يعطي 50 إجابة مختلفة قليلاً. إذا قالت 49 منها "باريس" وواحدة قالت "لندن"، فقد نستنتج أنه متأكد جداً من باريس. لكن الأساليب الحالية للقيام بذلك فوضوية وتعتمد على قواعد جامدة تنكسر عندما يستخدم الذكاء الاصطناعي كلمات مختلفة لقول الشيء نفسه.

الحل: إطار عمل "Sem-ECE"

يقترح المؤلفون طريقة جديدة تسمى Sem-ECE (خطأ المعايرة المتوقع للعينات الدلالية). فكر فيها كأنها لجنة تذوق.

بدلاً من سؤال الذكاء الاصطناعي مرة واحدة، تسأله 50 مرة.

أخذ العينات (Sampling): تحصل على 50 إجابة مختلفة.
التجميع (التجميع الدلالي - Semantic Clustering): أنت لا تكتفي بعدّ الكلمات المتطابقة تماماً، بل تستخدم حكماً ذكياً (ذكاء اصطناعي آخر) لتجميع الإجابات التي تعني الشيء نفسه.
- مثال: "العاصمة هي باريس"، "إنها باريس"، و"باريس، فرنسا"؛ كلها توضع في نفس الفئة وهي "باريس".
التكرار (Frequency): إذا انتهت 40 إجابة من أصل 50 في فئة "باريس"، فإن ثقة الذكاء الاصطناعي هي 80%.

المقدران الجديدان: "نفس العينة" مقابل "العينة المستبعدة"

تقدم الورقة طريقتين محددتين لحساب هذه الثقة، وتقارنهما بطريقتين مختلفتين لتصحيح اختبار.

1. Sem1-ECE: درجة "نفس العينة" (الحكم المنحاز)

تختار هذه الطريقة الإجابة الأكثر شيوعاً من بين الـ 50 عينة، وتستخدم نفس الـ 50 عينة لحساب الثقة.

العيب: هذا يشبه معلماً يصحح اختباراً باستخدام نفس الطلاب الذين خاضوا الاختبار لتحديد درجة النجاح. ولأن المعلم اختار "الفائز" من تلك المجموعة المحددة، فمن المرجح أن يبالغ في تقدير جودة ذلك الفائز. في الإحصاء، يسمى هذا "لعنة الفائز" (Winner's Curse). يبدو الذكاء الاصطناعي أكثر ثقة مما هو عليه حقاً لأنه يحكم على نفسه باستخدام نفس البيانات التي استخدمها لاختيار الإجابة.

2. Sem2-ECE: درجة "العينة المستبعدة" (الحکم العادل)

تقسم هذه الطريقة الـ 50 عينة إلى مجموعتين:

المجموعة أ (25 عينة): تُستخدم لاختيار الإجابة "الفائزة".
المجموعة ب (25 عينة): تُستخدم فقط لعدّ عدد مرات ظهور تلك الإجابة الفائزة.
الميزة: هذا يشبه معلماً يختار أفضل مقال من النصف الأول من الفصل الدراسي، ثم يصحح ذلك المقال المحدد باستخدام النصف الثاني من الفصل كمرجع. ولأن المجموعة (ب) لم تساعد في اختيار الفائز، فإن درجة الثقة تكون أكثر عدلاً ودقة. فهي تتجنب "لعنة الفائز".

الاكتشاف الكبير: الأسئلة السهلة مقابل الصعبة

تثبت الورقة رياضياً أن:

في الأسئلة السهلة: تتفق الطريقتان. فالذكاء الاصطناعي واثق جداً لدرجة أن "لعنة الفائز" لا تؤثر كثيراً.
في الأسئلة الصعبة: تتباعد الطريقتان. تظل طريقة "نفس العينة" (Sem1) متفائلة للغاية، بينما تقوم طريقة "العينة المستبعدة" (Sem2) بخفض درجة الثقة بشكل صحيح.
الفجوة كمقياس تشخيصي: تعمل الفجوة بين الدرجتين كـ مقياس للصعوبة. إذا كانت الدرجتان متباعدتين، فالسؤال صعب والذكاء الاصطناح يعاني. وإذا كانتا متقاربتين، فالسؤال سهل.

النتائج: ما الذي وجدوه؟

اختبر المؤلفون هذا على خمسة نماذج ذكاء اصطناعي رئيسية (مثل GPT-4، Claude، Gemini) عبر ثلاث مجموعات من الأسئلة الصعبة (تتراوح من الحقائق البسيطة إلى العلوم بمستوى الخبراء).

انتصرت Sem2-ECE: في معظم الحالات، أعطت طريقة "العينة المستبعدة" (Sem2) صورة أكثر دقة لموثوقية الذكاء الاصطناعي الحقيقية مقارنة بسؤال الذكاء الاصطناعي مباشرة أو استخدام طريقة "نفس العينة".
تعمل بدون "قفازات": تعمل هذه الطريقة حتى لو لم تتمكن من رؤية الحسابات الداخلية للذكاء الاصطناعي (logits). كل ما تحتاجه هو طرح الأسئلة وقراءة الإجابات.
تكشف الثقة المفرطة: أظهرت الدراسة أنه عندما يخطئ النماذج، فإنها غالباً ما تعتقد أنها على حق. يكشف Sem-ECE هذا من خلال إظهار أن "ثقة" الذكاء الاصطناعي (مدى تكرار الإجابة) لا تتطابق مع "دقته" الفعلية (مدى صحة تلك الإجابة).

ملخص

تخيل أنك طيار يقود طائرة. أنت بحاجة لمعرفة ما إذا كان نظام الملاحة لديك موثوقاً.

الطريقة القديمة: اسأل النظام: "هل أنت متأكد؟" (سيقول "نعم!" ولكنه قد يكون مخطئاً).
الطريقة الجديدة (Sem-ECE): اطلب من النظام رسم المسار 50 مرة. قم بتجميع المسارات المتشابهة. إذا ذهبت 40 مساراً لليسار و10 لليمين، فأنت تعلم أنه واثق بنسبة 80%. ولكن لكي تكون متأكداً حقاً، تحقق من تلك المسارات الأربعين مقابل مجموعة جديدة من 25 محاكاة جديدة (Sem2) للتأكد من أن النظام لا يخدع نفسه فحسب.

توفر هذه الورقة البحثية الأدوات اللازمة للقيام بذلك بالضبط بالنسبة للذكاء الاصطناعي، لضمان أنه عندما يقول النموذج إنه واثق، فإنه يكون كذلك بالفعل.

ملخص تقني: إطار عمل أخذ العينات الدلالية لتقييم المعايرة في الإجابة على الأسئلة مفتوحة النهايات

1. بيان المشكلة

تُعد المعايرة (Calibration)—وهي التوافق بين الثقة التي يتوقعها النموذج ودقته التجريبية—متطلباً أساسياً للنشر الموثوق للنماذج اللغوية الكبيرة (LLMs) في المجالات عالية الخطورة مثل الطب والقانون. وبينما يركز العمل الحديث على تحسين المعايرة، فإن السؤال حول كيفية تقييمها في البيئات الواقعية مفتوحة النهايات لا يزال غير متطور بشكل كافٍ.

تفشل طرق التقييم الحالية في الإجابة على الأسئلة (QA) مفتوحة النهايات بسبب ثلاث قيود رئيسية:

المقاييس القائمة على الـ (Logits): تتطلب تنسيقات مخرجات مقيدة والوصول إلى الاحتمالات الداخلية (logits)، وهي أمور غالباً ما تكون غير متاحة في واجهات برمجة التطبيقات (APches) التجارية.
الثقة اللفظية (Verbalized confidence): تعتمد على إبلاغ النموذج عن عدم اليقين الخاص به ذاتياً. هذا النهج محايد تجاه التنسيق، ولكنه غالباً ما يعاني من الثقة المفرطة ويعتمد على قدرة النموذج على الاستبطان بدقة.
طرق أخذ العينات (Sampling-based methods): تستمد الثقة من اتساق التوليدات المتكررة. ومع ذلك، فهي تعتمد عادةً على قواعد استخراج خاصة بالمهام ودرجات تكرار استدلالية دون وجود هدف إحصائي نهائي واضح أو ضمانات نظرية صارمة.

التحدي الجوهري هو أن الإجابة على الأسئلة مفتوحة النهايات تنطوي على مساحة إجابات غير محدودة حيث تكون الصحة دلالية وليست معجمية، ويمكن لإجابتين صيغتا بطرق مختلفة أن تكونا متساويتين في الصحة.

2. المنهجية: إطار عمل Sem-ECE

قدم المؤلفون إطار عمل Sem-ECE (خطأ المعايرة المتوقع للعينات الدلالية - Semantic-Sampling Expected Calibration Error)، وهو إطار يقيم المعايرة عبر أخذ عينات من الإجابات، وتجميعها في فئات دلالية، واستخدام التكرارات الناتجة كتقديرات للثقة.

المكونات الأساسية

مساحة الإجابة الدلالية: بدلاً من معاملة النصوص الخام كإجابات متميزة، يستخدم الإطار حكماً من النماذج اللغوية الكبيرة (LLM judge) لتجميع التوليدات حرة الشكل في فئات تكافؤ دلالي ( $Z_q$ ).
ثقة الأوراكل (Oracle Confidence): تُعرف بأنها احتمال المجتمع لأكثر الفئات الدلالية ترجيحاً ( $c^*_q = \max_k \pi_{q,k}$ ).
مقدِّران (Two Estimators): يدرس الإطار مُقدِّرين لهذا الهدف، كلاهما غير منحاز تقاربياً ولكن بخصائص عينة محدودة متميزة:
1. Sem1-ECE (نفس العينة - Same-Sample): هو مقياس الاتساق الذاتي القياسي. يختار الإجابة الدلالية الأكثر تكراراً من كتلة مكونة من $n$ من العينات ويستخدم نفس هذا التكرار كتقدير للثقة. يعاني هذا المُقدِّر من "لعنة الفائز" (تحيز عدم تساوٍ جينسن - Jensen's inequality bias)، حيث يكون الحد الأقصى التجريبي منحازاً نحو الأعلى.
2. Sem2-ECE (المحتجزة - Held-Out): نسخة تفصل بين الاختيار والتقييم. يختار الإجابة الأكثر تكراراً من كتلة اختيار ( $N$ ) بحجم $n$ ، ولكنه يحسب الثقة بناءً على تكرار تلك الإجابة المحددة في كتلة محتجزة منفصلة ( $E$ ) بحجم $m$ . هذا يلغي تحيز جينسن التصاعدي، رغم أنه يُدخل تحيز اختيار تنازلياً.

التحليل النظري

يقدم البحث تحليلاً إحصائياً صارماً لهذه المُقدِّرات:

عدم الانحياز التقاربي: ثبت أن كل من Sem1 وSem2 غير منحازين تقاربياً مع زيادة أحجام العينات $n, m \to \infty$ .
تحليل النطاقات (Regime Analysis): يعتمد سلوك المُقدِّرات على "الهامش المعياري" ( $\tilde{m}_q$ $\tilde{m}_{q}$ )، الذي يقيس الفجوة بين أعلى فئتين دلاليتين بالنسبة للتباين.
- نطاق الهامش الكبير (Large-Margin Regime): في الأسئلة السهلة (هامش كبير)، يتقارب كلا المُقدِّرين بسرعة ويصبحان غير قابلين للتمييز.
- نطاق الهامش المنخفض (Low-Margin Regime): في الأسئلة الصعبة (هامش صغير)، يتباعد المُقدِّران. Sem1 يتجاوز الثقة الحقيقية (انحياز إيجابي)، بينما Sem2 يقل عنها (انحياز سلبي).
النتيجة النظرية الرئيسية: في نطاق الهامش المنخفض، يحقق Sem2-ECE خطأ معايرة أصغر بشكل صارم من Sem1-ECE. علاوة على ذلك، يعمل الفارق بين Sem1 وSem2 كأداة تشخيص لصعوبة السؤال؛ حيث يشير الفارق الكبير إلى سؤال صعب ومنخفض الهامش.

3. النتائج التجريبية

تم تقييم إطار العمل على ثلاثة معايير للإجابة على الأسئلة مفتوحة النهايات (SimpleQA، وHumanity's Last Exam (HLE)، وPopQA) عبر خمسة نماذج لغوية تجارية رائدة (OpenAI، وAnthropic، وGoogle، وxAI، وMistral).

التقارب: تؤكد النتائج التجريبية التوقعات النظرية. مع زيادة حجم العينة، يتقارب Sem1-ECE وSem2-ECE نحو حد مشترك من جانبين متقابلين (Sem1 من الأعلى، Sem2 من الأسفل).
الأداء: يتفوق Sem2-ECE باستمرار على الثقة اللفظية وعلى Sem1-ECE. في 15 زوجاً من (النموذج-المعيار)، حقق Sem2-ECE أدنى خطأ معايرة في 12 زوجاً منها.
بنية النطاقات: يُظهر التقسيم الطبقي حسب هامش السؤال أن الفجوة في الأداء بين Sem1 وSem2 هي الأكبر في نطاق الهامش المنخفض (الصعب)، وهو ما يطابق "نطاق سيطرة جينسن" (JDR) نظرياً.
المقارنة بالثقة اللفظية: بينما قد يتفوق التعبير اللفظي للثقة أحياناً في حالات محددة (مثل نموذج Anthropic على SimpleQA)، يحدث ذلك عندما تظهر النماذج اتفاقاً دلالياً عالياً ولكن دقة واقعية منخفضة. يوفر Sem-ECE مرجعاً خارجياً مستقلاً عن التقرير الذاتي يكشف مثل هذا الخلل في المعايرة.

4. المساهمات الرئيسية

إطار العمل: تقديم Sem-ECE، وهو إطار تقييم للمعايرة في الإجابة على الأسئلة مفتوحة النهايات لا يتطلب (logits)، أو خيارات متعددة، أو قواعد استخراج مصممة يدوياً.
المُقدِّرات: تعريف وتحليل اثنين من المُقدِّرات (Sem1 وSem2)، وإثبات عدم انحيازهما تقاربياً وتوصيف سلوك انحيازهما في نطاقات الهامش المنخفض.
الرؤية النظرية: إثبات أن فصل اختيار الإجابة عن تقييم الثقة (Sem2) يؤدي إلى خطأ معايرة أصغر بشكل صارم في الأسئلة الصعبة مقارنة بالاتساق الذاتي لنفس العينة (Sem1).
أداة تشخيصية: إظهار أن الفارق بين Sem1 وSem2 يعمل كإشارة تشخيصية بسيطة وملاحظة لصعوبة السؤال.
التحقق التجريبي: التحقق من التوقعات النظرية عبر نماذج ومعايير متنوعة، وإظهار تفوق Sem-ECE على الطرق الأخرى "الصندوق الأسود".

5. الأهمية والادعاءات

يزعم البحث أن Sem-ECE يضع تقييم المعايرة القائم على أخذ العينات على "أساس إحصائي رصين" من خلال استبدال درجات التكرار الاستدلالية بمُقدِّرات لها أهداف سكانية صريحة وضمانات قابلة للإثبات.

التكامل: يضع المؤلفون Sem-ECE ليس كبديل للثقة اللفظية، بل كمكمل لها. فهو يوفر تدقيقاً خارجياً لسلوك النموذج لا يعتمد على تقرير النموذج عن نفسه، وهو أمر بالغ الأهمية عندما تكون الاحتمالات الداخلية غير متاحة.
المنفعة العملية: من خلال تحديد أن Sem2-ECE يتفوق بشكل صارم في الأسئلة الصعبة، يوفر إطار العمل مقياساً أكثر موثوقية لتقييم موثوقية النموذج في السيناريوهات الصعبة وعالية الخطورة.
القيمة التشخيصية: يوفر التباعد بين المُقدِّرين إشارة جديدة لتحديد الأسئلة التي يكون فيها النموذج غير متيقن أو حيث لا يتوافق الاتفاق الدلالي مع الصحة الواقعية.

يخلص العمل إلى أنه بينما يظل تحسين المعايرة مجالاً حيوياً للبحث، فإن Sem-ECE يوفر أداة ضرورية وصارمة إحصائياً لتقييمها في وضع النشر المهيمن للنماذج اللغوية الحديثة: التوليد مفتوح النهايات.