Semantic Self-Distillation for Language Model Uncertainty

إليك ملخص تقني مفصل لورقة البحث بعنوان "التقطير الدلالي الذاتي لعدم اليقين في النماذج اللغوية" (Semantic Self-Distillation for Language Model Uncertainty).

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في المجالات عالية الخطورة (مثل الرعاية الصحية، والقانون) وفي أطر العمل الوكيلية (agentic frameworks) حيث تكون الموثوقية أمراً بالغ الأهمية. ومع ذلك، لا يزال قياس عدم اليقين في هذه النماذج تحدياً بسبب:

• تعقيد المخرجات: تولد النماذج اللغوية الكبيرة مخرجات دلالية متنوعة وعالية الأبعاد، مما يجعل مقاييس عدم اليقين القياسية البسيطة غير كافية.
• قيود زمن الاستجابة (Latency): تعتمد طرق قياس عدم اليقين (UQ) المتطورة حالياً، مثل الاعتلاج الدلالي (Semantic Entropy) أو التشتت الدلالي (Semantic Dispersion)، على توليد عينات عشوائية متعددة ($S$) ومقارنتها (غالباً باستخدام نماذج الاستدلال باللغة الطبيعية)، وهذا يترتب عليه تكلفة حوسبية باهظة ($O(S)$ أو $O(S^2)$)، مما يجعلها غير مناسبة للتطبيقات التي تتطلب استجابة فورية مثل الوكلاء في الوقت الفعلي.
• فقدان المعلومات في أساليب السبر (Probing): تعتمد أساليب "السبر" خفيفة الوزن الموجودة حالياً على تدريب النماذج للتنبؤ بدرجة عدم يقين عددية واحدة (مثل احتمالية الصحة). ورغم سرعتها، إلا أن هذه الأساليب تختزل الطوبولوجيا المعقدة لتوزيع المخرجات في رقم واحد، مما يؤدي إلى فقدان المعلومات الهيكلية القيمة اللازمة لمهام مثل التحقق من الإجابة أو الاختيار.

الهدف: تطوير طريقة توفر توزيعاً لمستوى عدم اليقين (يلتقط هندسة الإجابات الممكنة) مع زمن استجابة الاستدلال الخاص بمرور واحد (single-pass probe)، وتجنب الحاجة إلى تكرار عملية أخذ العينات عند التشغيل.

2. المنهجية: التقطير الدلالي الذاتي (SSD)

يقترح المؤلفون إطار عمل التقطير الدلالي الذاتي (SSD)، وهو إطار يقوم بتقطير التوزيع الدلالي المأخوذ من عينات "النموذج المعلم" (Teacher LLM) إلى "نموذج طالب" (Student) خفيف الوزن.

البنية الأساسية

1. المعلم (النموذج اللغوي الأساسي):

   • عند إعطائه نصاً (prompt) $x$، يولد المعلم $S$ من التكملات العشوائية $y^{(1)}, \dots, y^{(S)}$.
   • يتم رسم هذه التكملات في فضاء تضمين دلالي باستخدام نموذج تضمين متخصص $\Phi$: $z^{(s)} = \Phi(y^{(s)})$.
   • يتم تشفير النص إلى تمثيل مخفي $h$ (مستخرج من طبقة محددة $\ell^*$ من النموذج اللغوي).

2. الطالب (شبكة كثافة الخليط - MDN):

   • الطالب هو شبكة عصبية خفيفة الوزن مدربة للتنبؤ بـ كثافة احتمالية شرطية $q_\phi(z | h)$ فوق التضمينات الدلالية $z$، بناءً فقط على تمثيل النص $h$.
   • يقوم الطالب بنمذجة التوزيع كـ نموذج خليط غاوسي (GMM) مع $K$ من المكونات:
     $$q_\phi(z | h) = \sum_{k=1}^K \pi_k(h) \mathcal{N}(z; \mu_k(h), \text{diag}(\sigma_k^2(h)))$$
   • هدف التدريب: يتم تدريب الطالب عبر تعظيم الاحتمالية الشرطية (conditional maximum likelihood) لمطابقة التوزيع التجريبي لتضمينات عينات المعلم:
     $$\max_\phi \sum_x \frac{1}{S} \sum_{s=1}^S \log q_\phi(z^{(s)} | h(x))$$

قدرات الاستدلال (تمريرة أمامية واحدة)

بمجرد التدريب، يوفر نموذج الطالب كثافة صريحة $q_\phi(z | h)$ دون الحاجة لتوليد رموز جديدة من النموذج الأساسي. وهذا يتيح ثلاث عمليات متميزة:

1. تقدير المخاطر قبل التوليد (على مستوى النص):
   • حساب اعتلاج ريني (Rényi-2 Entropy) للكثافة المتوقدة تحليلياً. يشير الاعتلاج العالي إلى تشتت دلالي عالٍ (مخاطر عالية للهلوسة).
   • الميزة: الحساب المغلق يتجنب أخذ عينات مونت كارلو.
2. التحقق بعد التوليد (على مستوى الإجابة):
   • عند إعطاء إجابة مرشحة $y'$، يتم تضمينها لتصبح $z'$.
   • يتم تقييم مدى توافقها مع النص باستخدام الاحتمالية اللوجاريتمية $\log q_\phi(z' | h)$. تشير الاحتمالية المنخفضة إلى أن الإجابة خارج النطاق أو أنها هلوسة.
3. أخذ العينات الكامنة والتوافق (Consensus):
   • أخذ عينات من توزيع الخليط أو حساب متوسط الخليط $\mu_{SSD} = \sum \pi_k \mu_k$ لتقريب "التوافق الدلالي" لمعتقدات النموذج.

3. المساهمات الرئيسية

1. إطار عمل مبتكر (SSD): يقدم طريقة لتقطير التوزيع الدلالي المأخوذ من عينات نموذج لغوي إلى مُقدّر كثافة خفيف الوزن ومشروط بالنص، مما يسد الفجوة بين أخذ العينات المكلف وأساليب السبر ذات الرقم الواحد التي تفقد المعلومات.
2. أداء تنافسي مع زمن استجابة منخفض: يثبت SSD تحقيق أداء في التنبؤ بالهلوسة يضاهي (وأحياناً يتفوق على) النماذج القائمة على أخذ العينات (مثل الاعتلاج الدلالي) مع الحفاظ على سرعة الاستدلال الخاصة بطرق المرور الواحد.
3. ما وراء عدم اليقين القياسي: يوضح أن نمذجة التوزيع الكامل تفتح المجال لعمليات موثوقية جديدة غير متاحة للأساليب الرقمية، وهي:
   • كشف الخروج عن النطاق (OOD Detection): تحديد أزواج (النص-الإجابة) غير المتطابقة.
   • اختيار الإجابة من متعدد: اختيار أفضل إجابة من بين مجموعة خيارات بناءً على الاحتمالية.
4. القدرة على التعميم: الإطار مستقل عن النمط (modality) ويمكن تطبيقه على أي نموذج تسلسلي يمكن رسم مخرجاته في تمثيلات كامنة ذات معنى.

4. النتائج التجريبية

قام المؤلفون بتقييم SSD عبر 5 عائلات من النماذج (Mistral, Llama-3, Qwen, Gemma, SmolLM) على مجموعة بيانات TriviaQA (للبحث عن المعرفة) و MMLU (للاستدلال المكثف).

• التنبؤ بالهلوسة (قبل التوليد):

  • تفوق SSD على تشتت المعلم (Teacher Dispersion - TD) (الانحراف المعياري لـ $S=32$ من العينات) في 4 من أصل 7 نماذج في مقياس AUROC، وفي جميع النماذج السبعة في مقياس AUPRC في TriviaQA.
  • حقق SSD نتائج تنافسية ضد الاعتلاج الدلالي (SE) و سبر الاعتلاج الدلالي (SEP) ولكن مع زمن استجابة أقل بكثير (مرور واحد مقابل $S$ من العينات).
  • الاستنتاج الرئيسي: يعمل SSD كآلية "تنعيم" (smoothing)، حيث يخصص عدم يقين غير صفري حتى عندما يولد المعلم نفس الإجابة باستمرار (والتي قد تكون خاطئة)، بينما يعطي TD قيمة صفر لعدم اليقين في هذه الحالات المتدهورة.

• قدرات ما بعد التوليد:

  • كشف الخروج عن النطاق (OOD Detection): حققت الاحتمالية اللوجاريتمية لـ SSD درجة AUROC > 0.95 لمعظم النماذج في التمييز بين أزواج (النص-الإجابة) الصحيحة وبين الأزواج العشوائية غير المتطابقة.
  • اختيار الإجابة من متعدد: عندما تم تدريبه فقط على البيانات المفتوحة، استطاع نموذج SSD اختيار الإجابة الصحيحة في أسئلة MMLU بدقة تقترب من أداء النموذج الأساسي في التوليد المفتوح (مثلاً: ~36% مقابل 40% لنموذج Ministral 8B)، متفوقاً بشكل كبير على خط الأساس العشوائي (25%).

• دراسات الاستئصال (Ablation Studies):

  • دقة التقطير: ترتبط الأداء بقوة بمدى قدرة الطالب على تعلم ترتيب عدم اليقين الخاص بالمعلم.
  • الأبعاد: أدى تقليل أبعاد التضمين عبر تحليل المكونات الرئيسية (PCA) إلى $d=16$ إلى تحسين التوازن بين الدقة الدلالية وصعوبة مهمة الانحدار (regression) للطالب.
  • السعة: أدت زيادة سعة الشبكة للطالب إلى عوائد متناقصة، مما يشير إلى أن العائق هو المعلومات المتاحة في تمثيل النص، وليس القدرة التعبيرية للطالب.

5. الأهمية والأثر المستقبلي

• النشر العملي: يحل SSD المقايضة بين "زمن الاستجابة مقابل الدقة" في قياس عدم اليقين (UQ). فهو يسمح للأنظمة بإجراء فحوصات صارمة لعدم اليقين (سواء قبل أو بعد التوليد) دون العبء الحوسبي لتوليد مخرجات متعددة.
• الأنظمة الوكيلية (Agentic Systems): من خلال توفير درجات مخاطر قبل التوليد وتحقق بعد التوليد، يتيح SSD مسارات عمل وكيلية أكثر أماناً حيث يمكن اكتشاف الخطوات غير الموثوقة والتخفيف من آثارها (مثل الامتناع عن الإجابة أو الاسترجاع) قبل أن تتراكم الأخطاء.
• ما وراء النماذج اللغوية: يسلط المؤلفون الضوء على إمكانية تطبيق SSD في السجلات الصحية الإلكترونية (EHR) و نماذج التأسيس للسلاسل الزمنية (Time-Series Foundation Models)، حيث يكون التنبؤ بتوزيع الحالات أو المسارات السريرية المستقبلية أكثر قيمة من مجرد تقدير نقطي واحد.
• التحول النظري: ينقل هذا العمل المجال من معاملة عدم اليقين كـ "درجة ثقة" عددية إلى معاملته كـ بنية هندسية صريحة في الفضاء الدلالي، مما يتيح اتخاذ قرارات أكثر ثراءً في المراحل اللاحقة.

باختاً، يقدم التقطير الدلالي الذاتي (SSD) نهجاً مبدئياً، فعالاً، ومتعدد الاستخدامات لقياس عدم اليقين، محولاً العملية المكلفة لتحليل التشتت القائم على أخذ العينات إلى مهمة تقدير كثافة سريعة بمرور واحد.