Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs

ملخص تقني: التكميم الوظيفي لعدم اليقين من أجل الضبط الدقيق المعاير للنماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
يعد التكميم الدقيق لعدم اليقين (Uncertainity Quantification - UQ) أمراً بالغ الأهمية للنشر الموثوق للنماذج اللغوية الكبيرة، لا سيما في المجالات الحساسة للسلامة مثل الرعاية الصحية والاستدلال العلمي. ومع ذلك، غالباً ما تظهر النماذج اللغوية الكبيرة التي تم ضبطها دقيقاً (fine-tuned) ثقة مفرطة عند تكييفها مع مهام ذات بيانات محدودة، مما يؤدي إلى الفشل في عكس المصداقية الحقيقية لمخرجاتها. إن طرق عدم اليقين الحالية المستخدمة في الضبط الدقيق الفعال للمعلمات (PEFT)، مثل تلك القائمة على التكيف منخفض الرتبة (LoRA)، هي في الغالب طرق "بعدية" (post hoc). فهي تقدّر عدم اليقين بعد تدريب النموذج من خلال تحليل فضاء المعلمات (على سبيل المثال، عبر المجموعات أو التقريبات البايزية) أو عن طريق تشويه المطالبات (prompts). تفشل هذه الأساليب غالباً في معالجة السبب الجذري للثقة المفرطة: وهو عدم قدرة النموذج على استيعاب عدم اليقين الناجم عن الضبط الدقيق وفجوات التعميم أثناء عملية التكييف نفسها. علاوة على ذلك، فإن الطرق التي تعتمد على عمليات تمرير أمامي متعددة أو أخذ عينات مكثفة تفرض عبئاً حوسبياً كبيراً، مما يحد من قابليتها للتوسع.

المنهجية: UQ4CT
يقترح المؤلفون إطار عمل يُسمى التكميم الوظيفي لعدم اليقين من أجل الضبط الدقيق المعاير (UQ4CT)، والذي ينقل التركيز من فضاء المعلمات إلى فضاء الوظائف (functional-space). بدلاً من تحليل المعلمات المتعلمة بعد التدريب، يقوم UQ4CT بمعايرة عدم اليقين عبر فضاء الوظائف المستحث بواسطة مزيج من خبراء LoRA المعتمدين على المطالبة أثناء عملية الضبط الدقيق.

تتكون المنهجية من ثلاثة مكونات أساسية:

1. التفكيك الوظيفي الهرمي عبر MixLoRA:
   لتجنب الانفجار التوليفي لنمذجة جميع مجموعات الخبراء المحتملة عبر الطبقات، يستخدم UQ4CT تفكيكاً هرمياً. فهو يستخدم بنية "خليط من الخبراء" (Mixture-of-Experts - MoE) حيث يقوم موجه (router) متفرق في كل طبقة باختيار مجموعة فرعية من خبراء LoRA ديناميكياً بناءً على الحالة الخفية للمدخلات. يبني هذا هيكلاً وظيفياً مرناً حيث يكون مخرج النموذج عبارة عن مجموع موزون لوظائف أساس متنوعة (خبراء LoRA) مشروطة بالمدخلات. يتم تمثيل الفضاء الوظيفي كتكوين تكراري لمزيج طبقي، مما يسمح للنموذج بتكوين مسارات حسابية تكيفية.

2. تقدير الثقة على المستوى الوظيفي (FLC):
   يقوم النموذج بقياس عدم اليقين من خلال تحليل تركيز اختيار الخبراء. وتحديداً، يتم اشتقاق الثقة على المستوى الوظيفي (FLC) من أوزان التوجيه لأعلى ($k$) من الخبراء الذين اختارهم الموجه في كل طبقة. يشير التركيز العالي في أوزان التوجيه (أي أن الموجه واثق في اختيار خبراء محددين) إلى ثقة وظيفية عالية، بينما تشير الأوزان المشتتة إلى عدم يقين أعلى. يوفر هذا إشارة داخلية مبدئية لليقين لدى النموذج دون الحاجة إلى عمليات أخذ عينات متعددة.

3. خسارة المعايرة ($L_{cal}$):
   الابتكار الأساسي هو خسارة معايرة جديدة تعمل على مواءمة الثقة على المستوى الوظيفي مع الصحة التنبؤية أثناء التدريب. تُعرف الخسارة كما يلي:
   $$L_{cal} = (1\{\text{MixLoRA}(x) = y^*\} - \text{FLC}(x))^2$$
   حيث أن $1\{\cdot\}$ هي دالة مؤشر للتنبؤات الصحيحة. هذا الهدف يجبر الـ FLC على تقريب احتمالية كون تنبؤ النموذج صحيحاً. ومن خلال تقليل هذه الخسارة جنباً إلى جنب مع خسائر الإنتروبيا المتقاطعة (cross-entropy) وتوازن الأحمال، يتعلم النموذج تخصيص ثقة عالية فقط عندما يكون من المرجح أن يكون صحيحاً، وثقة أقل عندما لا يكون كذلك. هذا يشجع الموجه على استكشاف مجموعات خبراء بديلة عندما يكون عدم اليقين مرتفعاً، مما يحسن التعميم.

المساهمات الرئيسية

• منظور المستوى الوظيفي: قدمت الورقة تحولاً من عدم اليقين في فضاء المعلمات إلى عدم اليقين في فضاء الوظائف، مع معايرة ثقة النموذج صراحةً على خرائط المدخلات-المخرجات التي يمكن تحقيقها أثناء الضبط الدقيق.
• الضبط الدقيق المدرك للمعايرة: تم اقتراح خسارة معايرة جديدة تقوم بمواءمة أوزان مزيج LoRA المعتمدة على المطالبة مع الصحة التنبؤية ديناميكياً، مما يقلل من الثقة المفرطة دون تقليل الدقة.
• بنية فعالة: يستفيد UQ4CT من بنية MixLoRA الهرمية التي تلتقط علاقات وظيفية متنوعة بأقل قدر من العبء الحوسبي، مما يتطلب عملية تمرير أمامي واحدة فقط أثناء الاستدلال.
• ضمان نظري: يقدم المؤلفون برهاناً على أن تحسين مخاطر المعايرة عبر توزيع البيانات يؤدي إلى FLC مثالي يتوافق مع الاحتمال الحقيقي للصحة التنبؤية.

النتائج التجريبية
قام المؤلفون بتقييم UQ4CT على أربعة اختبارات متعددة الخيارات (ARC-E, ARC-C, OBQA, ClimateQA) ومهمتين من مهام الأسئلة والأجوبة التوليدية مفتوحة النهاية (TruthfulQA, TriviaQA) باستخدام نماذج Llama-3.1-8B و Mistral-7B.

• الأداء ضمن التوزيع (In-Distribution): قلل UQ4CT من خطأ المعايرة المتوقع (ECE) بأكثر من 25% عبر الاختبارات مقارنة بالنماذج المرجعية القوية (بما في ذلك LoRA، وMC Dropout، وDeep Ensembles، وBayesian LoRA)، مع الحفاظ على دقة تنافسية أو متفوقة. والجدير بالذكر أن UQ4C حقق هذه النتيات بعملية تمرير أمامي واحدة، بينما تطلبت طرق مثل BLoB (بعدد N=10) عشر عمليات تمرير ومع ذلك سجلت ECE أعلى.
• انزياح التوزيع (Distribution Shift): تحت ظروف انزياح التوزيع (تم اختبارها في مهام MMLU الفرعية في علوم الحاسوب، الهندسة، القانون، والصحة)، حافظ UQ4CT على معايرة متفوقة ودقة تنافسية، مما أظهر تحسناً في المتانة تجاه المدخلات خارج التوزيع مقارنة بالنماذج المرجعية.
• المهام التوليدية: في التوليد مفتوح النهايات، حقق UQ4CT أدنى ECE في TruthfulQA و TriviaQA، مما يشير إلى أن منظور المعايرة في الفضاء الوظيفي يمتد إلى ما وراء إعدادات نمط التصنيف.
• الكفاءة: يشير تحليل الذاكرة إلى أن ذروة استخدام ذاكرة وحدة معالجة الرسومات (GPU) في UQ4CT تزيد بنسبة ~7.5% فقط عن LoRA القياسي، مما يجعله قابلاً للتنفيذ حوسبياً في عمليات النشر واسعة النطاق.

الأهمية والادعاءات
تدعي الورقة أن UQ4CT يعالج قصوراً جوهرياً في ممارسات الضبط الدقيق الحالية: وهو غياب الوعي بعدم اليقين أثناء عملية التكييف. من خلال دمج معايرة عدم اليقين مباشرة في هدف الضبط الدقيق عبر إشارات المستوى الوظيفي، تضمن الطريقة أن ثقة النموذج تعكس بشكل أفضل موثوقيته التنبؤية الفعلية. يضع المؤلفون هذا العمل كخطوة تأسيسية نحو نماذج لغوية كبيرة موثوقة ومضبوطة دقيقاً، خاصة في البيئات شحيحة البيانات حيث تشكل الثقة المفرطة مخاطر كبيرة. وقد أشاروا بتواضع إلى أنه بينما يمتد النهج إلى التوليد مفتوح النهايات باستخدام وسائط F1، فإن التوسع ليشمل الاستدلال طويل الصيغة أو التوليد متعدد الخطوات يظل توجهاً للعمل المستقبلي.