Entropy Sentinel: Continuous LLM Accuracy Monitoring from Decoding Entropy Traces in STEM

إليك ملخص تقني مفصل لورقة البحث بعنوان "Entropy Sentinel: Continuous LLM Accuracy Monitoring from Decoding Entropy Traces in STEM."

١. بيان المشكلة

يواجه نشر النماذج اللغوية الكبيرة (LLMs) في بيئات الإنتاج تحديين مترابطين:
١. المراقبة: تقدير المواضع التي يقل فيها أداء النموذج مع تغير أنماط حركة المرور (traffic) والمجالات بمرور الوقت.
٢. التحسين: تحديد أولويات عملية اكتساب البيانات لسد أكبر فجوات الأداء.

تعتمد الممارسات الحالية على اختبارات مرجعية (benchmarks) منسقة يدويًا وتقييمات دورية تعتمد على التسمية البشرية. هذه الطرق مكلفة، بطيئة، وتفشل في تقديم رؤى مستمرة ودقيقة لشرائح محددة من حركة المرور (مثل مواضيع معينة أو شرائح عملاء محددة). تقترح الورقة استخدام إشارات وقت الاستدلال (inference-time signals) التي تولدها النماذج بالفعل لتقدير الدقة دون الحاجة إلى تكرار عمليات التسمية أو الوصول إلى الحالات المخفية للنموذج.

٢. المنهجية

يقترح المؤلفون منهجية خفيفة الوزن ومكونة من مرحلتين لتقدير الدقة على مستوى المجال باستخدام فقط الاحتمالات اللوغاريتمية لعملية فك الترميز (decoding log-probabilities) لأعلى $k$ من العناصر (المتاحة عبر واجهات برمجة التطبيقات القياسية لخدمة النماذج).

أ. استخراج الإشارة: ملفات تعريف الإنتروبيا (Entropy Profiles)

بدلاً من الاعتماد على مقياس واحد لعدم اليقين، تنشئ الطريقة ملف تعريف إنتروبيا مدمجاً لكل استجابة مولدة:

• التقريب: بما أن واجهات برمجة التطبيقات غالباً ما تعرض فقط احتمالات أعلى $k$ من العناصر (مثلاً $k=20$)، يقوم المؤلفون بتقريب إنتروبيا شانون عند كل خطوة فك ترميز $t$ عن طريق الجمع فوق أعلى $k$ من العناصر: $\tilde{H}(t) = -\sum_{i \in \text{Top-}k} p_i^{(t)} \log p_i^{(t)}$.
• المسار (Trajectory): ينشئ هذا مسار إنتروبيا $\{\tilde{H}(t)\}_{t=1}^T$ لعملية التوليد بأكملها.
• متجه الميزات (Feature Vector): يتم تلخيص هذا المسار في متجه ميزات مكون من ١٧ بُعداً يحتوي على:
  • النزعة المركزية والانتشار (المتوسط، الانحراف المعياري، الحد الأقصى).
  • ذيول التوزيع (الربيعات من الـ ١٠ إلى الـ ٩٠).
  • مقاييس الشكل (الالتواء، التفرطح).
  • مقاييس التراكم (مجموع الإنتروبيا، مجموع NLL).
  • مقاييس عدم اليقين التقليدية للنماذج ذات الصندوق الأبيض (مثل Perplexity و NLL).

ب. التنبؤ والتجميع

١. التنبؤ على مستوى الحالة (Instance-Level): يتم تدريب مصنف احتمالي خفيف الوزن (مثل الغابة العشوائية Random Forest، أو الانحدار اللوجستي، أو MLP) على متجهات الميزات ذات الـ ١٧ بُعداً للتنبؤ باحتمالية الصحة ($\hat{P}(x) \in [0,1]$) لحالة واحدة.
٢. التقدير على مستوى المجال (Domain-Level): لتقدير دقة مجال معين أو شريحة حركة مرور $D$، يتم حساب متوسط احتمالات الصحة المتوقعة:
$$\hat{A}(D) = \frac{1}{|X_D|} \sum_{x \in X_D} \hat{P}(x)$$
وهذا يعطي تقديراً للدقة بوحدات قابلة للتفسير (٠-١٠٠٪)، مما يجعله مناسباً للمراقبة وتحديد الأولويات.

٣. الإعداد التجريبي

• الاختبارات المرجعية (Benchmarks): ١٠ اختبارات مرجعية في مجالات الاستدلال العلمي (STEM) تغطي الرياضيات الابتدائية، الرياضيات المتقدمة، والعلوم (مثل GSM8K، MATH، GPQA، OlympiadBench).
• النماذج: ٩ نماذج لغوية كبيرة من ٦ عائلات مختلفة، تتراوح أحجامها من ٣ إلى ٢٠ مليار معلمة (بما في ذلك Phi-3.5، Ministral، Qwen، Gemma، Llama، و GPT-OSS).
• بروتوكول المتانة (تغير المجال): لاختبار قدرة التعميم تحت الضغط، أجرى المؤلفون مسحاً شاملاً:
  • بالنسبة لـ $k \in \{1, 2, 3, 4\}$، قاموا بتدريب المقدر على جميع التشكيلات الممكنة من $k$ من الاختبارات المرجعية.
  • قاموا بتقييم تقدير الدقة على الـ $10-k$ المتبقية من الاختبارات المرجعية غير المرئية.
  • نتج عن ذلك ٣٨٥ مجموعة تدريب وأكثر من ١٦٠,٠٠٠ تكوين إجمالي (مع تغيير أنواع المصنفات، المعايرة، التوازن، ومجموعات الميزات).
• الحقيقة الأرضية (Ground Truth): تم توليد تسميات الصحة باستخدام نموذج تحقق خارجي (Grok-4.1) لمقارنة مخرجات النموذج مع الإجابات المرجعية.

٤. النتائج الرئيسية

أ. أداء تقدير الدقة

• ارتباط قوي: غالباً ما تتبع المقدرات القائمة على الإنتروبيا دقة الاختبارات المرجعية المحجوزة (held-out) بشكل وثيق. بالنسبة لأفضل نموذج أداءً (Phi-3.,5-Mini)، وصل معامل ارتباط سبيرمان ($\rho$) إلى ١.٠٠، مما يشير إلى ترتيب شبه مثالي للمجالات حسب الصعوبة.
• معدلات الخطأ: مع الإشراف من اختبارين مرجعيين فقط (مجموعة "الأطراف": واحد سهل وواحد صعب)، كان متوسط الخطأ المطلق (AEE) عبر النماذج منخفضاً (٠.٠٣–٠.١٢).
• الاعتماد على النموذج: تختلف الموثوقية بشكل كبير باختلاف النموذج. بينما أظهرت نماذج مثل Phi-3.5 و Ministral معايرة ممتازة، أظهرت نماذج مثل Qwen-8B و GPT-OSS توافقاً أضعف، مما يسلط الضوء على الحاجة إلى التحقق من كل نموذج قبل النشر.

ب. تأثير تكوين التدريب (نتيجة حاسمة)

كان العامل الأكثر تأثيراً في الأداء ليس بنية المصنف أو أبعاد الميزات، بل تنوع مجموعة الإشراف:

• توازن الصعوبة: مجموعات التدريب التي تغطي نطاقاً واسعاً من الصعوبة (خلط المهام السهلة والصعبة) تفوقت باستمرار على المجموعات المتجانسة.
• العلاقة على شكل حرف U: مجموعات الإشراف ذات الدقة الموزونة المتوسطة (حوالي ٠.٤–٠.٧) أعطت أدنى معدل خطأ. المجموعات التي كانت سهلة جداً أو صعبة جداً فشلت في التعميم لأنها لم تمثل أنماط الفشل ذات الإنتروبيا العالية أو أنماط النجاح ذات الإنتروبية المنخفضة بشكل كافٍ.
• كمية البيانات: زيادة عدد الاختبارات المرجعية للتدريب ($k$) من ١ إلى ٤ قللت بشكل كبير من الخطأ والتباين، لكن اختيار زوج جيد من الاختبارات المرجعية (مثل GSM8K + OlympiadBench) غالباً ما كان يضاهي أداء المجموعات الأكبر.

ج. حساسية الميزات والنموذج

• متانة الميزات: رغم استخدام ملف التعريف الكامل المكون من ١٧ بُعداً، إلا أن المجموعات الفرعية الأبسط (مثل الـ ١٠ إحصائيات لتوزيع الإنتروبيا فقط، أو حتى مقياس واحد مثل مجموع الإنتروبيا) قدمت أداءً مقارباً جداً. هذا يشير إلى أن مقاييس التراكم والقيم القصوى تلتقط الجزء الأكبر من الإشارة.
• اختيار المصنف: أدت المصنفات البسيطة (الغابة العشوائية، الانحدار اللوجستي) أداءً يضاهي أو يتفوق على الشبكات العصبية العميقة (MLPs)، مما يشير إلى أن الإشارة قابلة للفصل خطياً بدرجة تجعل التعلم العميق غير ضروري.

٥. المساهمات الرئيسية

١. أداة مراقبة عملية: إثبات أن سجلات الاستداء القياسية (top-$k$ logprobs) تحتوي على إشارة كافية لتقدير الدقة على مستوى المجال دون الحاجة للوصول إلى الحالات المخفية أو توزيعات المفردات الكاملة.
٢. دراسة متانة شاملة: تقديم أول تقييم واسع النطاق لتقدير الدقة تحت تغير المجال عبر ٩ نماذج و١٠ اختبارات مرجعية مع تشكيلات تدريب واختبار شاملة.
٣. رؤية حول الإشراف: تحديد أن تنوع الصعوبة في بيانات التدريب هو العامل المهيمن لنجاح التعميم عبر المجالات، وهو ما يفوق تعقيد المصنف أو هندسة الميزات.
٤. مقياس قابل للتنفيذ: اقتراح طريقة تخرج الدقة بوحدات مطلقة (٠-١)، مما يسمح بتحديد أولويات اكتساب البيانات للمقاطع ذات الأداء المنخفض مباشرة.

٦. الأهمية والقيود

الأهمية:
يقدم هذا العمل حلاً قابلاً للتوسع ومنخفض التكلفة للمراقبة المستمرة للنماذج اللغبية الكبيرة. من خلال الاستفادة من آثار الاستدناء الموجودة، يمكن للفرق تحديد تدهور الأداء في الوقت الفعلي وتوجيه جهود جمع البيانات بدقة، مما ينقلهم بعيداً عن دورات الاختبار المرجعي الثابتة والمكلفة.

القيود:

• نطاق المجال: تم التقييم حصرياً في مجالات الاستدلال العلمي (STEM) ذات الإجابات القابلة للتحقق. أما الأداء في المجالات مفتوحة النهايات (الكتابة الإبداعية، الحوار) حيث تكون "الصحة" موضوعية، فلا يزال غير مثبت.
• حساسية فك الترميز: تعتمد إشارة الإنتروبيا على معاملات فك الترميز (درجة الحرارة temperature، الطول الأقصى max length). قد تؤدي التغييرات في هذه الإعدادات إلى إزاحة التوزيع دون أن تعكس تغيراً حقيقياً في القدرة.
• المعايرة المطلقة: بينما يتفوق الأسلوب في ترتيب المجالات (تحديد أيها أصعب)، فإن تقديرات الدقة المطلقة (AEE) يمكن أن تظل ذات أخطاء غير ضئيلة لبعض النماذج، مما يشير إلى وجوب استخدامه لتحديد الأولويات وليس كمصدر وحيد للحقيقة للقرارات عالية الخطورة دون مزيد من التحقق.