ملخص تقني: اكتشاف أنظمة سوء المعايرة الخفية

بيان المشكلة

يعتمد تقييم المعايرة القياسي على افتراض أن موثوقية النموذج هي دالة لدرجة الثقة وحدها. هذا النهج يجمع التنبؤات حسب فئات الثقة (مثل مخططات الموثوقية)، مما يعامل ضمنيًا جميع المدخلات ذات درجة الثقة نفسها كمدخلات قابلة للتبادل. ومع ذلك، في المجالات غير المتجانسة — لا سيما مع النماذج اللغوية الكبيرة (LLMs) — يمكن لهذا التجميع أن يحجب إخفاقات محلية كبيرة. فقد يكون النموذج مفرط الثقة بشكل منهجي في فئة معينة من المدخلات، ومفتقر للثقة في فئة أخرى، حتى عندما تتشارك هاتان الفئتان درجات ثقة متشابهة. وفي مثل هذه الحالات، تلغي الأخطاء المتضادة بعضها البعض في المقاييس العالمية، مما يؤدي إلى انطباع زائف بسلوك جيد المعايرة.

يمكن لطرق التحليل القائمة على الشرائح (slice-based analysis) أن تكشف عن هذه الإخفاقات، لكنها تتطلب شرائح بيانات محددة مسبقًا أو تسميات للمجموعات الفرعية، والتي غالبًا ما تكون غير متوفرة أو غير كافية في المجالات المعقدة وعالية الأبعاد حيث لا تتوافق مناطق سوء المعايرة مع البيانات الوصفية الواضحة. تعالج الورقة مشكلة اكتشاف هذه "أنظمة سوء المعايرة الخفية" دون الوصول إلى شرائح محددة مسبقًا أو احتمالات توليد البيانات الحقيقية، بهدف استعادة المناطق في فضاء المدخلات التي يظهر فيها النموذج ثقة مفرطة أو مفقودة بشكل منهجي.

المنهجية

تقترح المؤلفة إطارًا تشخيصيًا يرتكز على حقل سوء المعايرة (miscalibration field)، المعرّف كخطأ المعايرة الموقّع المعتمد على المدخلات:
$$\delta(x) = E[Y - f(X) \mid X = x]$$
حيث $f(x)$ هو ثقة النموذج و $Y$ هو الملصق الحقيقي. وخلافًا للمعايرة الكلاسيكية التي تشترط على $f(X)$، فإن هذا الحقل يشترط على المدخل $X$ نفسه.

تعلم هندسة واعية بالمعايرة

لتقدير $\delta(x)$، تتعلم الطريقة خريطة تمثيل $\phi: \mathcal{X} \to \mathbb{R}^d$ تنظم الأمثلة ذات سلوكيات المعايرة المتشابهة لتكون قريبة من بعضها البعض. يتم التقدير عبر مرحلتين:

1. التنعيم بنواة (Kernel Smoothing) في الفضاء المتعلم:
   بالنسبة لنقطة استعلام $x$، يتم تقدير حقل سوء المعايرة عبر تنعيم البواقي التجريبية $r_i = y_i - f(x_i)$ فوق فضاء التمثيل المتعلم:
   $$\hat{\delta}_\phi(x) = \frac{\sum_{i=1}^n K_\sigma(\phi(x), \phi(x_i)) r_i}{\sum_{i=1}^n K_\sigma(\phi(x), \phi(x_i))}$$
   حيث $K_\sigma$ هي نواة غاوسية (Gaussian kernel). يعمل هذا كـ مُقدّر Nadaraya–Watson لمتوسط البواقي الشرطي.

2. هدف التعلم:
   يتم تدريب التمثيل $\phi$ لتعظيم تباين متوسط البواقي الشرطي، مما يؤدي فعليًا إلى فصل المناطق ذات الثقة المفرطة عن المناطق ذات الثقة المفقودة. دالة الهدف تعظم العزم الثاني لمتوسط البواقي المقدر مع منع "انهيار الجوار" (حيث يعزل النموذج نقاطًا منفردة لملاءمة الضوضاء):
   $$\mathcal{L}(\phi) = -\frac{1}{n}\sum_{i=1}^n \hat{\delta}_\phi(x_i)^2 + \lambda \frac{1}{n}\sum_{i=1}^n [\max(0, m_{\min} - m_i)]^2$$
   هنا، $m_i$ هي كتلة الجوار الفعالة. يعمل الحد الأول على تشجيع اكتشاف هياكل البواقي المنهجية، بينما يعمل الحد الثاني كمنظم ضد الجوارات المنعزلة.

3. اختيار المعلمات الفائقة (Hyperparameters):
   بما أن حقل $\delta(x)$ الحقيقي غير معروف في الإعدادات الواقعية، يتم اختيار المعلمات الفائقة (عرض النواة $\sigma$، والانتظام $\lambda$) باستخدام وسيط تحقق. يقوم هذا الوسيط بتقليل درجة بريير (Brier score) للتنبؤات المصححة محليًا ($f(x) + \hat{\delta}_\phi(x)$) على مجموعة تحقق، لتجنب الحاجة إلى مقاييس مثالية (oracle metrics).

التصحيح المحلي القابل للتنفيذ

يعمل حقل $\hat{\delta}_\phi(x)$ المتعلم كأداة تشخيصية لتحديد أين تفشل المعايرة. كما يمكن استخدامه لتصحيح الثقة محليًا. تقترح المؤلفة خريطة تصحيح مدركة للنطاق $\Delta_\alpha(x)$ تحافظ على إشارة الخطأ المقدر وتتشبع بسلاسة عند حدود الاحتمال الصالحة $[0, 1]$، مما يضمن بقاء الثقة المصححة $\tilde{f}(x) = f(x) + \Delta_\alpha(x)$ كاحتمال صالح.

المساهمات الرئيسية

1. اكتشاف الأنظمة الخفية: تصيغ الورقة مشكلة اكتشاف مناطق الثقة المفرطة والمفقودة المتماسكة دون الحاجة إلى تسميات مجموعات فرعية محددة مسبقًا، مع التعامل مع المعايرة كمسألة اكتشاف تعتمد على المدخلات.
2. حقول سوء المعايرة: تُعرّف حقل سوء معايرة يعتمد على المدخلات يلتقط خطأ المعايرة الموقّع عبر فضاء المدخلات، بدلاً من الاعتماد فقط على درجات الثقة.
3. هندسة واعية بالمعايرة: يتم تقديم إطار تشخيصي يتعلم تمثيلاً حيث يكشف متوسط البواقي المحلي عن هياكل مستقرة للمعايرة على مستوى النظام.
4. الأدلة التجريبية: تُظهر التجارب المكثفة على أربعة معايير واقعية (HH-RLH, MedMCQA, MMLU, MMLU-Pro) واثني عشر نموذجًا لغويًا كبيرًا أن عدم تجانس المعايرة المعتمد على المدخلات منتشر، ولكنه غير منتظم عبر مجموعات البيانات وعائلات النماذج.
5. التصحيح القابل للتنفيذ: يدعم الحقل المتعلم التصحيح المستهدف للثقة المحلية، مما يقلل من خطأ المعايرة في المناطق ذات الخطأ العالي حيث تكون طرق ما بعد المعالجة المعتمدة على الثقة (مثل الانحدار الأيزوتوني وتدرج درجة الحرارة) أقل فعالية.

النتائج

• التجارب الاصطناعية: نجحت الطريقة في استعادة هياكل سوء المعايرة الخفية المعروفة (سواء كانت متجمعة أو متغيرة جيبياً بسلاسة) من بواقي بيرنولي الضوضائية. وتوضح أن مخططات الموثوقية العالمية غالبًا ما تخفي أخطاءً محلية جوهرية بسبب إلغاء الخطأ.
• معايير النماذج اللغوية الكبيرة (LLM Benchmarks):
  • عدم التجانس: لوحظ عدم تجانس المعايرة المعتمد على المدخلات عبر العديد من الإعدادات. تظهر بعض أزواج (النموذج-البيانات) انحيازًا متجانسًا، بينما تظهر أخرى أنظمة خفية بارزة من الثقة المفرطة والمفقودة.
  • القوة التشخيصية: حدد الحقل المتعلم المناطق التي تقلل فيها المقاييس العالمية (مثل smECE) من تقدير الخطأ بشكل كبير. على سبيل المثال، في HH-RLHF مع Qwen3-8B، اقترح smECE العالمي معايرة متوسطة، لكن التكييف مع الحقل المتعلم كشف عن مجموعات فرعية ذات خطأ أعلى بكثير (smECE بلغ 0.253 للمجموعات الفرعية المفتقرة للثقة مقابل 0.120 عالميًا).
  • فعالية التصحيح: بينما تعمل الطرق المعتمدة على الثقة (الانحدار الأيزوتوني، تدرج درجة الحرارة) على تحسين المعايرة العالمية، إلا أنها غالبًا ما تضعف الأداء على المجموعات الفرعية المعايرة جيدًا بالفعل أو تفشل في تصحيح أنظمة معينة. الطريقة المقترحة تقلل باستمرار من خطأ المعايرة في مناطق الثقة المفرطة والمفقودة دون إضعاف البيانات المعايرة جيدًا.
  • حجم النموذج: في عدة عائلات من النماذج، يزدد عدم تجانس المعايرة مع حجم النموذج، مما يشير إلى أن القدرات تتحسن بشكل غير منتظم عبر المجالات.

الأهمية والادعاءات

تدعي الورقة أن المعايرة لا ينبغي النظر إليها كمجرد خاصية عالمية لدرجات الثقة. ويُقدم اكتشاف مناطق الثقة المفرطة والمفقودة الخفية كخطوة حاسمة نحو تقديرات أكثر موثوقية لعدم اليقين للنماذج المنتشرة عبر مهام غير متجانسة.

تضع المؤلفة مُقدّرها أساسًا كـ أداة تشخيصية وليس كحل كامل للمعايرة المحلية. تكمن أهميته في:

• كشف هياكل البواقي الموقعة التي تكون غير مرئية للتشخيصات القائمة على الدرجات.
• توفير آلية لاختبار ما إذا كانت الحقول المتعلمة قابلة للتنفيذ من أجل تصحيح مستهدف.
• توفير نقطة انطلاق للتفسير، حيث يمكن فحص الهندسة المتعلمة لفهم أين تفشل المعايرة، حتى لو تطلب الأمر مزيدًا من الاستقصاء لمعرفة الأسباب الدلالية المحددة للفشل.

تؤكد الورقة أنه بينما تحسن الطريقة الموثوقية في أنظمة معينة، فإنها تعتمد على البيانات المتوفرة ذات التسميات، وقد لا تكتشف الإخفاقات في المجموعات غير الممثلة كفاية أو ظروف التشغيل التي لا تغطيها توزيعات التدريب. لذلك، يُوصى بها كجزء من خط عملية تقييم أوسع إلى جانب التحقق من المهام المحددة والإشراف البشري.