🤖 machine learning

Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration

تقترح هذه الورقة إطار عمل عملي للتحسين ثنائي المستوى يعمل على تعظيم الإنتروبيا التنبؤية أثناء التدريب لمعايرة النماذج اللغوية الكبيرة، مما يتغلب بفعالية على قيود النطاق التي تفرضها طرق قياس درجة الحرارة اللاحقة التقليدية ويحسن التعميم خارج النطاق.

المؤلفون الأصليون: Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

نُشر 2026-08-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريس طالب عبقري قرأ كل كتاب في المكتبة. هذا الطالب هو نموذج لغوي كبير (LLM)، وهو نوع من الذكاء الاصطنا artificial ذكي يمكنه كتابة القصص، وحل المسائل الرياضية، والدردشة مثل البشر. لكن هناك مشكلة: هذا الطالب سيء للغاية في تقدير معرفته الخاصة؛ فهو غالبًا ما يكون واثقًا من نفسه بشكل مفرط وغير منطقي. إذا لم يكن يعرف الإجابة على سؤال ما، فقد يقول: "أنا متأكد بنسبة 99% أنني على حق!" بينما هو في الواقع مخطئ. وفي العالم الحقيقي، هذا أمر خطير. فإذا كان الذكاء الاصطنا الطبي يتأكد بنسبة 99% من تشخيص ما ولكنه مخطئ، فقد يتعرض الناس للأذى.

لإصلاح ذلك، حاول العلماء استخدام حيلة تسمى "تدرج درجة الحرارة" (Temperature Scaling). تخيل ثقة الذكاء الاصطناعي مثل مقبض الصوت في جهاز الستيريو. إذا كانت الموسيقى صاخبة جدًا ومشوهة (أي واثقة جدًا)، فإنك تخفض المقبض لجعلها أهدأ وأكثر واقعية. يعمل هذا جيدًا إذا كنت تستمع إلى أغنية واحدة فقط (مجموعة بيانات محددة). ولكن هذه هي المشكلة: إعداد "مقبض الصوت" الذي يعمل جيدًا مع أغنية روك لا يعمل مع أغنية جاز. إذا حاولت استخدام نفس الإعداد لنوع مختلف من الأسئلة، فإما أن يظل الذكاء الاصطناعي صاخبًا جدًا أو يصبح هادئًا جدًا. الطريقة القديمة تشبه محاولة ضبط راديو لمدينة كاملة باستخدام قرص واحد فقط؛ وهذا ببساطة لا ينجح في كل مكان.

هنا يأتي دور دراسة جديدة، نُشرت كبحث في مؤتمر COLM 2026، حيث قدم الباحثون فكرة جديدة وذكية. فبدلاً من مجرد تدوير "مقبض" بعد انتهاء الطالب من الدراسة، قرر الباحثون تغيير "كيفية" تعلم الطالب في المقام الأول. لقد ابتكروا طريقة تدريب خاصة تسمى CALM (المعايرة للنماذج الكبيرة عبر التحسين ثنائي المستوى).

إليك كيف تعمل تقنية CALM باستخدام تشبيه بسيط: تخيل مدربًا يدرب رياضيًا.

الطريقة القديمة (التدرج اللاحق): يركض الرياضي في سباق، ثم يتعب، فيقول له المدرب: "حسنًا، في المرة القادمة، اركض ببطء أكثر قليلاً". يحاول المدرب التعديل بعد وقوع الحدث. ولكن إذا تغيرت التضاريس (مجموعة بيانات مختلفة)، فإن النصيحة القديمة لن تناسب الوضع.
طريقة CALM (التحسين ثنائي المستوى): يضع المدرب معسكر تدريب ذو مستويين.
- المستوى الأول (الرياضي): يتدرب الرياضي على الجري في السباق ليصبح أسرع وأذكى (وهذا هو تعلم النموذج للإجابة على الأسئلة).
- المستوى المستوى الثاني (المدرب): بينما يركض الرياضي، يراقبه المدرب ويعدل قواعد التدريب في الوقت الفعلي. هدف المدرب ليس فقط جعل الرياضي سريعًا، بل التأكد من أن الرياضي يعرف تمامًا مدى سرعة ركضه. إذا بدأ الرياضي في التباهي كثيرًا ("أنا الأسرع!")، فإن المدرب يدفعه بلطف ليكون أكثر تواضعًا وواقعية.

وجد الباحثون أنه من خلال تدريب النموذج بهذا النظام "ثنائي المستوى"، يتعلم الذكاء الاصطناعي أن يكون واثقًا بطبيعته ولكن ليس "مفرط" الثقة. لقد اختبروا ذلك على أربعة نماذج ذكاء اصطناعي شهيرة (مثل Llama-3.1، وVicuna، وOLMo، وMistral) ونوعين من الاختبارات: أسئلة الاختيار من متعدد، والكتابة الإبداعية المفتوحة.

كانت النتائج واعدة للغاية. فعندما تم اختبار الذكاء الاصطناعي على أسئلة لم يرها من قبل (اختبار "خارج النطاق"، مثل أغنية جاز لطالب تدرب على موسيقى الروك)، عملت تقنية CALM بشكل أفضل بكثير من طريقة "مقبض الصوت" القديمة. الطريقة القديمة غالبًا ما جعلت الذكاء الاصطناعي أكثر ارتباكًا أو أكثر ثقة مفرطة في المواضيع الجديدة، بينما حافظت تقنية CALM على ضبط ثقة الذكاء الاصطناعي. على سبيل المثال، في نموذج يسمى Mistral-7B، تركت الطريقة القديمة الذكاء الاصطناعي مع خطأ معايرة قدره 0.335 (واثق جدًا بشكل مفرط)، بينما خفضت تقنية CALM هذا الخطأ إلى 0.0822 (أكثر دقة بكثير).

الأهم من ذلك، أظهر الباحثون أن هذا لم يجعل الذكاء الاصطناعي "أغبى"؛ فقد ظلت النماذج تجيب على الأسئلة بشكل صحيح، لكنها فقط توقفت عن الكذب بشأن مدى تأكدها. تشير الورقة البحثية إلى أن هذا النهج يعد خطوة قوية للأمام، خاصة في المواقف التي يحتاج فيها الذكاء الاصطناعي إلى التعامل مع أسئلة غير متوقعة دون الحاجة إلى تدخل بشري لتعديل إعداداته في كل مرة. إنها طريقة لتعليم الذكاء الاصطناعي أن يكون متواضعًا، وصادقًا، وموثوقًا، بغض النظر عن الموضوع الذي يناقشه.

ملخص تقني: ما وراء قياس درجة الحرارة اللاحق: التحسين ثنائي المستوى لمعايرة النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs)، لا سيما تلك التي يتم ضبطها عبر التعلم المعزز من التغذية الراجعة البشرية (RLHF) أو تحسين التفضيل المباشر (DPO)، من سوء المعايرة بشكل متكرر، وهو ما يظهر في صورة ثقة مفرطة. وبينما تُستخدم الثقة غالبًا كبديل للموثوقية، فإن النماذج غير المعايرة في المجالات عالية المخاطر (مثل الرعاية الصحية، والقانون) يمكن أن تؤدي إلى ثقة في غير محلها واتخاذ قرارات سيئة.

تعتمد الحلول الحالية بشكل أساسي على قياس درجة الحرارة اللاحق (Post-hoc Temperature Scaling - TS)، حيث يتم ضبط قيمة عددية واحدة لدرجة الحرارة على مجموعة بيانات تحقق لإعادة قياس القيم اللوغاريتمية (logits) بعد التدريب. ومع ذلك، يحدد البحث قصورًا حرجًا في هذه الطريقة: وهي أن قياس درجة الحرارة (TS) يعتمد بطبيعته على مجموعة البيانات. فدرجة الحرارة المحسنة لمجال معين غالبًا ما تفشل في التعميم على مجالات أخرى، مما يجعل من الصعب إيجاد درجة حرارة "عالمية" يمكنها المعايرة بشكل جيد عبر مهام متنوعة. علاوة على ذلك، فإن الطرق اللاحقة تترك معلمات النموذج ثابتة، مما يضيع فرصة تعلم نموذج أكثر قابلية للمعايرة بشكل جوهري.

المنهجية: CALM (المعايرة للنماذج الكبيرة عبر التحسين ثنائي المستوى)

يقترح المؤلفون CALM، وهو إطار عمل وقت التدريب يعيد صياغة المعايرة كـ مشكلة تحسين ثنائية المستوى (Bilevel Optimization). بدلاً من تعديل معلمة لاحقة، يقوم CALM بتحسين معلمات النموذج و"معلمات درجة الحرارة الشبيهة" بشكل مشترك لزيادة الإنتروبيا التنبؤية مع الحفاظ على أداء المهمة.

1. الصياغة ثنائية المستوى

تتم هيكلة المشكلة كما يلي:

المستوى الأدنى (تحسين المهمة): يدرب معلمات النموذج $\theta$ لتقليل خسارة بارامترية قياسية (الإنتروبيا المتقاطعة - cross-entropy) على مجموعة التدريب $S_T$ ، بناءً على مجموعة من المعلمات الفائقة $\alpha$ .
$\theta(\alpha) \in \arg\min_{\theta'} \mathcal{L}_{tr}(\theta'; \alpha)$
المستوى الأعلى (تحسين المعايرة): يحسن المعلمات الفائقة $\alpha$ لزيادة إنتروبيا التوزيع التنبؤي على مجموعة معايرة محجوزة $S_V$ ، مع مراعاة القيد بأن يظل $\theta$ أمثلًا للمهمة في المستوى الأدنى.
$\min_{\alpha} \mathcal{L}_{ent}(\alpha, \theta(\alpha))$

تعمل المعلمات الفائقة $\alpha$ على تعميم مفهوم قياس درجة الحرارة. فبدلاً من استخدام قيمة عددية واحدة $\tau$ ، يستخدم CALM معلمة ذات أبعاد أعلى $\alpha = (l, \tau)$ ، حيث تقدم $l \in \mathbb{R}^K$ إزاحات لوغاريتمية مضافة و $\tau \in \mathbb{R}^K_{>0}$ توفر درجات حرارة تعتمد على الفئة. وهذا يسمح بإجراء تعديلات لكل مفردة (per-vocabulary) بدلاً من إعادة القياس العالمي.

2. دالات الهدف

هدف المستوى الأعلى: يعظم إنتروبيا شانون $H(f_{\alpha, \theta}(\cdot | x))$ لمنع التنبؤات شديدة التركيز (المفرطة في الثقة). يوفر هذا اتجاهًا قابلاً للتحكم لنقل النموذج من الثقة المفرطة نحو نقص الثقة، مما قد يجد نقطة تتوافق فيها الثقة مع الدقة.
قيد المستوى الأدنى: يضمن الاحتفاظ بالقدرة التمييزية من خلال تقليل الإنتروبيا المتقاطعة على بيانات التدريب.

3. التقريب الفعال من الدرجة الأولى

يتطلب التحسين ثنائي المستوى الدقيق حساب التدرجات الفائقة (hypergradients) التي تتضمن مقلوب هسيان (Hessian inverses) من الدرجة الثانية، وهو أمر مكلف حاسوبيًا للنماذج اللغوية الكبيرة. لمعالجة ذلك، يتبنى CALM تقريبًا من الدرجة الأولى مستوحى من BOME (التحسين ثنائي المستوى الميسر):

يعيد صياغة المشكلة كتحسين مقيد على المتغير المشترك $u = (\alpha, \theta)$ .
يقرب دالة القيمة في المستوى الأدنى عن طريق تشغيل $T$ من خطوات التدرج الداخلية من $\theta$ الحالي لتوليد نموذج بديل $\tilde{\theta}$ .
يبني قيد "بقايا الإدخال" (plug-in residual) ويحسب اتجاه تحديث مشترك باستخدام مشتقات الدرجة الأولى فقط، متجنبًا عكس مصفوفة الهسيان صراحةً.

المساهمات الرئيسية

منظور وقت التدريب: ينقل البحث نموذج المعايرة من التعديلات اللاحقة المعتمدة على مجموعة البيانات إلى تحسين وقت التدريب، بهدف تعلم نماذج تسمح بتعديلات معايرة عامة عبر مجموعات البيانات.
تصميم الخسارة ثنائي المستوى: يصيغ تصميم الخسارة الموجه نحو المعايرة كمشكلة ثنائية المستوى حيث يحسن المستوى الأعلى معلمات تشبه درجة الحرارة باستخدام هدف قائم على الإنتروبيا، بينما يدرب المستوى الأدنى النموذج.
تعظيم الإنتروبيا: يقترح المؤلفون هدفًا لتعظيم الإنتروبيا في المستوى الأعلى للتخفيف من الثقة المفرطة في النماذج اللغوية المتوافقة دون الحاجة إلى تسميات صلبة إضافية أو رؤوس مساعدة.
إطار عمل قابل للتوسع: يقدمون مخطط تحسين ثنائي المستوى فعال من الدرجة الأولى (CALM) يتجنب حسابات الدرجة الثانية المكلفة، مما يجعل نهجهم عمليًا لضبط النماذج اللغوية الكبيرة واسعة النطاق.

النتائج التجريبية

تم تقييم الطريقة على أربعة نماذج لغوية كبيرة متوافقة (Llama-3.1-Tulu-8B, Vicuna-7B, OLMo-2-7B, Mistral-7B) عبر أسئلة الاختيار من متعدد (MCQA) والأسئلة التوليدية مفتوحة النهاية.

التعميم خارج النطاق (OOD)

معايرة متفوقة: حقق CALM أفضل خطأ معايرة متوقع للثقة (conf-ECE) في ثلاثة من أصل أربعة نماذج في إعداد OOD، مما قلل الخطأ بشكل كبير مقارنة بالنماذج المرجعية. على سبيل المثال، في Llama-3.1، قلل conf-ECE من 0.1784 إلى 0.1050.
الحفاظ على الدقة: على عكس بعض عمليات الاستبعاد (مثل "Iterate" أو "Regularization" بدون القيد ثنائي المستوى) التي عانت من انهيار كارثي في الدقة، حافظ CALM على دقة مهمة عالية مع تحسين المعايرة.
المتانة: في الأسئلة التوليدية مفتوحة النهاية (النقل عبر النطاقات بين PopQA وTriviaQA)، حقق CALM أدنى متوسط لـ Semantic-ECE (0.06 de 0.0671)، متفوقًا على كل من النموذج المرجعي غير المعاير ونماذج قوية تعتمد على وقت التدريب مثل (CFT).

الأداء داخل النطاق (ID)

في إعداد ID، حيث تتطابق توزيعات التدريب والتقييم، كان قياس درجة الحرارة (TS) هو الأفضل في ECE (كما هو متوقع للطرق اللاحقة). ومع ذلك، كان CALM هو الطريقة الوحيدة القائمة على التدريب التي حسنت كلاً من الدقة والمعايرة باستمرار عبر جميع النماذج الأربعة مقارنة بالنموذج المرجعي.

دراسات الاستبعاد (Ablation Studies)

البنية ثنائية المستوى: أدى إزالة القيد ثنائي المستوى (Regularization) أو حد الربط (Iterate) إلى إما معايرة أسوأ أو فقدان كبير في الدقة، مما يثبت أن الربط بين أداء المهمة والمعايرة أمر ضروري.
البارامترية: كان استخدام معلمات المتجهات لكل مفردة ( $d_y, l_y$ ) أفضل بكثير من استخدام معلمة عددية منكمشة (Learned TS)، مما يسلط الضوء على الحاجة إلى تعديلات دقيقة للتعامل مع عدم التماثل في سوء المعايرة عبر خيارات الإجابة.

الأهمية والادعاءات

يدعي البحث أن CALM يوفر حلاً قويًا في وقت التدريب لمشكلة الثقة المفرطة في النماذج اللغوية الكبيرة المتوافقة. وتكمن أهميته الأساسية في:

التعميم: على عكس TS اللاحق، يتعلم CALM آلية معايرة تتعمم عبر المجالات، مما يعالج "اعتماد مجموعة البيانات" الذي تعاني منه الطرق الحالية.
إدارة المقايضة: يحقق CALM مقايضة متفوقة بين الدقة والمعايرة، متجنبًا انهيار المنفعة الذي يحدث غالبًا عند محاولة تحسين المعايرة عبر التنظيم البسيط.
العملية: من خلال استخدام تقريب من الدرجة الأولى، يجعل CALM التحسين ثنائي المستوى ممكنًا للنماذج اللغوية الكبيرة الحديثة، مما يوفر مسارًا لنماذج "مصممة للمعايرة" بدلاً من "المعايرة عبر المعالجة اللاحقة".

يخلص المؤلفون إلى أن طريقتهم مفيدة بشكل خاص في الإعدادات خارج النطاق (OOD)، حيث تصبح الطرق البديلة غير مستقرة أو تعاني من خسارة كبيرة في المنفعة، مما يجعلها نهجًا حيويًا لنشر نماذج لغوية كبيرة موثوقة في سيناريوهات واقعية متنوعة.