🤖 AI

When Mean CE Fails: Median CE Can Better Track Language Model Quality

تُظهر هذه الورقة أن الوسيط للإنتروبيا المتقاطعة (median cross-entropy) غالباً ما يتفوق على المتوسط المعتاد للإنتروبيا المتقاطعة (mean cross-entropy) في تتبع جودة النماذج اللغوية عبر سيناريوهات مثل تعلم الحقائق الاصطناعية وتقطير الـ K-الأعلى (top-K distillation)، وذلك لأنه يرتبط بشكل أفضل بالأداء في المهام من خلال التركيز على كتلة التوزيع بدلاً من التأثر بالقيم المتطرفة في الذيول.

المؤلفون الأصليون: Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تقوم بتصحيح مقال طالب. عادةً، تقوم بحساب "متوسط" الدرجة لتقرر مدى تقدم الطالب. إذا ارتفع المتوسط، تفترض أن الطالب يتحسن.

تجادل هذه الورقة البحثية بأنه بالنسبة لنماذج لغة الذكاء الاصطناği، يمكن لـ "الدرجة المتوسطة" (التي تسمى متوسط الاعتلاج المتقاطع - Mean Cross-Entropy) أن تكون كاذبة بشكل فادح. أحياناً، يرتفع المتوسط (مما يوحي بأن الذكاء الاصطناعي يزداد سوءاً)، رغم أن الذكاء الاصطناعي في الواقع يكتب قصصاً أفضل أو يجيب على الأسئلة بدقة أكبر.

إليك تفصيل بسيط لسبب حدوث ذلك وما يقترحه المؤلفون بدلاً من ذلك، باستخدام بعض التشبيهات الإبداعية.

1. المشكلة: "المتوسط" يسهل خداعه

في عالم الذكاء الاصطناعي، نقيس جودة النموذج من خلال النظر إلى "الخسارة" (Loss) الخاصة به (وهي درجة يكون فيها الرقم الأقل هو الأفضل). الطريقة القياسية للقيام بذلك هي أخذ المتمن (Mean) لجميع الأخطاء التي يرتكبها النموذج.

التشبيه: تأثير "التفاحة الفاسدة الواحدة"
تخيل سلة تحتوي على 100 تفاحة.

99 تفاحة مثالية.
تفاحة واحدة فاسدة ورائحتها كريهة.

إذا قمت بحساب "متوسط النضارة" للسلة، فإن تلك التفاحة الفاسدة الواحدة ستخفض الدرجة الإجمالية. ستبدو السلة سيئة، رغم أن 99% منها مثالية.

وجدت الورقة أن نماذج الذكاء الاصطناعي غالباً ما تتصرف مثل هذه السلة. أثناء التدريب، يصبح النموذج جيداً جداً في التنبؤ بالكلمات "العادية" (الـ 99 تفاحة المثالية). لكنه يبدأ في ارتكاب أخطاء غريبة وعالية الخطأ في بعض الكلمات النادرة والصعبة (التفاحة الفاسدة الواحدة).

المتوسط (Mean) يرى التفاحة الفاسدة ويقول: "النموذج يزداد سوءاً!"
الواقع هو أن النموذج في الحقيقة يصبح أفضل في أداء المهمة المطلوبة منه.

2. الحل: "الوسيط" هو قائل الحقيقة

بدلاً من المتوسط، يقترح المؤلفون استخدام الوسيط (Median).

التشبيه: "الطفل الأوسط"
إذا قمت بصف جميع التفاحات من الأفضل إلى الأسوأ، فإن الوسيط هو التفاحة الموجودة في المنتصف تماماً.

في سلتنا المكونة من 100 تفاحة، التفاحة رقم 50 مثالية.
التفاحة الفاسدة موجودة في نهاية الصف.
الوسيط لا يهتم بتلك التفاحة الفاسدة الواحدة؛ فهو يخبرك أن "التفاحة النموذجية" في السلة طازجة.

تظهر الورقة أنه عندما ينظرون إلى درجة الوسيط بدلاً من المتوسط، فإنها تتطابق تماماً مع مدى جودة أداء الذكاء الاصطناعي في المهام (مثل سرد قصة أو استرجاع الحقائق).

3. مثالان من الواقع من الورقة البحثية

اختبر المؤلفون هذا في سيناريوهين مختلفين:

السيناريو (أ): الطالب "المفرط في التدريب" (نموذج Qwen)

ماذا حدث: قاموا بتعليم ذكاء اصطناعي قائمة من الحقائق المختلقة.
الفخ: بينما استمروا في التدريب، أصبح الذكاء الاصطناعي أفضل في معرفة الحقائق، لكنه بدأ يصاب بالارتباك تجاه بعض تراكيب الجمل المحددة والغريبة جداً.
النتيجة: ارتفع متوسط (Mean) الدرجات (مما بدا سيئاً)، لكن الوسيط (Median) ظل منخفضاً (مما بدا جيداً). درجات الاختبار الفعلية (مدى جودة تذكره للحقائق) اتبعت الوسيط، وليس المتوسط. كان المتوسط مجرد رد فعل لتلك الجمل المربكة القليلة.

السيناريو (ب): تقطير "Top-K" (نموذج TinyStories)

ماذا حدث: حاولوا تعليم ذكاء اصطناعي صغير تقليد ذكاء اصطناٍء كبير، لكنهم أخبروا الذكاء الاصطناعي الصغير أن ينتبه فقط إلى أفضل 5 كلمات (Top 5) كان سيختارها الذكاء الاصطناعي الكبير (متجاهلين البقية).
الفخ: جعل هذا الذكاء الاصطناعي الصغير واثقاً جداً في الكلمات الشائعة (وسيط رائع) ولكنه سيء جداً في الكلمات النادرة (متوسط سيء).
النتيجة: عندما قرأ البشر (أو نماذج ذكاء اصطناعي أخرى تعمل كحكام) القصص، أحبوا القصص التي كتبها طالب "Top-5". لقد كان أفضل راوٍ للقصص. ولكن إذا نظرت إلى درجة المتوسط (Mean)، فقد بدا وكأنه أسوأ طالب. أما درجة الوسيط (Median) فقد حددت بشكل صحيح أنه الأفضل.

4. فحص "التوافق" (Concordance): متى تثق في المتوسط

يقدم المؤلفون مفهوماً يسمى التوافق (Concordance). فكر في هذا كفحص "اتفاق الفريق".

توافق عالٍ: المتوسط، والوسيط، و"المئوية 95" (أسوأ حالة) يتفقون جميعاً على من هو النموذج الأفضل. في هذه الحالة، يكون المتوسط مناسباً للاستخدام.
توافق منخفض: المتوسط يقول "النموذج (أ) هو الأفضل"، لكن الوسيط يقول "النموذج (ب) هو الأفضل". هذه علامة خطر! هذا يعني أن توزيع الأخطاء قد تغير شكله (مثل سلة التفاح).

نصيحة الورقة البحثية:
لا تكتفِ بالإبلاغ عن الدرجة المتوسطة فقط. بل أبلغ عن مجموعة صغيرة من الدرجات:

المتوسط (Mean): (المعدل).
الوسيط (Median): (الحالة النموذجية).
المئوية 95 (95th Percentile): (أسوأ حالة في الطرف).

إذا كانت هذه الأرقام الثلاثة تحكي قصصاً مختلفة، فأنت تعلم أن "المتوسط" يخدعك. يجب عليك الوثوق بـ الوسيط لاختيار النموذج الذي سيؤدي بشكل أفضل في المهام الواقعية.

الملخص

متوسط الاعتلاج المتقاطع (Mean CE): يمكن خداعه ببعض الأخطاء السيئة. إنه يشبه الحكم على فصل دراسي كامل بناءً على طالب واحد رسب في اختبار صعب.
وسيط الاعتلاج المتقاطع (Median CE): يتجاهل القيم المتطرفة ويخبرك كيف حال "الرمز" (Token) النموذجي. إنه يتتبع الأداء الواقعي بشكل أفضل بكثير.
الحل: تحقق دائماً من درجة "المنتصف" جنباً إلى جنب مع درجة "المتوسط". إذا اختلفا، فإن درجة "المنتصف" هي التي يجب أن تثق بها لاختيار أفضل نموذج ذكاء اصطناعي.

ملخص تقني: عندما يفشل متوسط الإنتروبيا المتقاطعة (Mean CE): يمكن لمتوسط الوسيط (Median CE) تتبع جودة النماذج اللغوية بشكل أفضل

بيان المشكلة

يُعد متوسط الإنتروبيا المتقاطعة (Mean cross-entropy)، وهو ما يعادل "الارتباك" (perplexity)، هو المقياس القياسي للتحقق من صحة النماذج اللغوية. ومع ذلك، فإنه غالباً ما يفشل في تتبع أداء المهام اللاحقة، لا سيما عندما تخضع توزيعات الإنتروبيا المتقاطعة لكل رمز (per-token CE) لعملية "إعادة تشكيل" (reshaping). في مثل هذه السيناريوهات، تتحرك كتلة التوزيع (الرموز النموذجية) وذيل التوزيع (الرموز ذات الخسارة العالية) في اتجاهات متعاكسة. ولأن المتوسط هو إحصاء يعتمد على متوسط الكتلة، فقد يهيمن عليه ذيل ثقيل من الرموز ذات الخسارة العالية، مما يحجب التحسينات في الكتلة أو يسيء تمثيل الفائدة الفعلية للنموذج لمهام معينة. يبحث البحث في الحالات التي يفشل فيها متوسط الإنتروبيا المتقاطعة في التنبؤ بجودة النموذج، ويقترح استخدام ملخصات قائمة على المئويات (تحديداً الوسيط/المديان) كأداة تشخيصية أكثر قوة.

المنهجية

يحلل المؤلفون التفاعل بين متوسط الإنتروبيا المتقاطعة وملخصات مئويات الإنتروبيا المتقاطعة (الوسيط، p95) عبر سيناريوهين متميزين:

إعادة التشكيل الضمني (الضبط الدقيق تحت الإشراف - SFT):
- الإعداد: ضبط نموذج Qwen2.5-1.5B بدقة باستخدام تقنية LoRA على بيانات تعلم حقائق اصطناعية (120 حقيقة جديدة، 2,400 زوج تدريبي).
- التحليل: يتتبع المؤلفون متوسط الإنتروبيا المتقاطعة، ووسيط الإنتروبيا المتقاطعة، وp95 الإنتروبيا المتقاطعة مقابل دقة مطابقة السلسلة الفرعية الجشعة (greedy substring-match accuracy) ودقة pass@1 القائمة على أخذ العينات على مدار 12 حقبة (epoch).
- المقياس: يقدمون مفهوم "التوافق" ( $\pi(S)$ )، وهو مقياس لمدى اتساق مجموعة من ملخصات الإنتروبيا المتقاطعة ( $S$ ) في ترتيب نقاط فحص النموذج (checkpoints) بالنسبة لبعضها البعض.
إعادة التشكيل المتعمد (تقطير Top-K):
- الإعداد: تقطير المعرفة على مجموعة بيانات TinyStories باستخدام نموذج معلم (teacher) ثابت. يتم تدريب الطلاب على مطابقة احتمالات الـ $K$ الأعلى للمعلم (بعد إعادة التطبيع)، مع تغيير قيمة $K$ من كامل المفردات وصولاً إلى 5.
- التحليل: تقارن الدراسة النماذج المقطرة (بقيم $K$ متغيرة) مقابل عائلة تحكم من النماذج المدربة من الصفر بأحجام ومعدلات تعلم مختلفة.
- التقييم: يتم تقييم جودة النموذج عبر "LLM-as-a-judge" (استخدام Claude Sonnet 4) لتسجيل استمرارية التكملات، والقواعد، والإبداع، والجودة العامة.
- التحليل التوزيعي: يفحص المؤلفون كيفية تحول توزيع الإنتروبيا المتقاطعة لكل رمز (إعادة توزيع الكتلة) مع تناقص $K$ ، وتحديداً بالنظر إلى الكثافة في الكتلة مقابل الذيل.

المساهمات الرئيسية والنتائج

1. تحديد ثلاثة أنظمة (Regimes)

يصنف البحث ديناميكيات التدريب إلى ثلاثة أنظمة بناءً على توافق ملخصات الإنتروبيا المتقاطعة:

تحسن موحد الاتجاه: توافق عالٍ؛ حيث يتفق المتوسط والمئويات على اختيار النموذج.
إعادة التشكيل المتعمد: توافق منخفض ناتج عن أهداف التدريب (مثل تقطير Top-K).
إعادة التشكيل الضمني: توافق منخفض ناتج عن ديناميكيات التدريب (مثل SFT).

2. دراسة حالة ضبط Qwen (إعادة التشكيل الضمني)

التباعد: بعد مرحلة تعلم أولية (الحقب 1-5)، يرتفع متوسط الإنتروبيا المتقاطعة بشكل كبير (بنسبة ~60%) بينما تظل دقة استرجاع الحقائق في البيانات غير المرئية (held-out) قريبة من ذروتها.
الارتباط: يرتبط وسيط الإنتروبيا المتقاطعة بقوة مع معدلات فشل الدقة ( $r \ge +0.84$ )، بينما يظهر متوسط الإنتروبيا المتقاطعة ارتباطاً ضعيفاً ( $r \approx +0.12$ إلى $+0.27$ ).
الآلية: تشبع كتلة التوزيع بسرعة (ينخفض وسيط الإنتروبيا المتقاطعة إلى الحد الأدنى)، بينما يمتد الذيل العلوي (يرتفع p95). يتبع المتوسط هذا الذيل، مما يجعله يفشل في عكس الأداء المستقر للرموز النموذجية.

3. دراسة حالة تقطير Top-K (إعادة التشكيل المتعمد)

ظاهرة "التقاطع": مع تناقص $K$ $K$ ، يستقطب توزيع خسارة الطالب: تنتقل الكتلة إلى كل من الكتلة ذات الخسارة المنخفضة للغاية والذيل ذو الخسارة العالية للغاية.
- النتيجة: ينتج عن صغر قيمة $K$ وسيط إنتروبيا متقاطعة أقل (أداء أفضل في الكتلة) ولكن متوسط إنتروبيا متقاطعة أعلى (أداء أسوأ في الذيل).
- الأداء: حقق طالب Top-5 أعلى درجة من LLM-judge (2.06) رغم امتلاكه أسوأ متوسط إنتروبيا متقاطعة (1.708). بل إنه تقاطع تحت وسيط المعلم أثناء التدريب، رغم امتلاكه متوسط إنتروبيا متقاطعة أعلى من المعلم.
انهيار التوافق: ضمن عائلة النماذج المقطرة، يفقد متوسط الإنتروبيا المتقاطعة كل قدرته على التصنيف مقابل درجة القاضي (judge score) ( $\rho = -0.186$ )، بينما يحافظ وسيط الإنتروبيا المتقاطعة على ارتباط قوي ( $\rho = -0.911$ ). وعلى العكس من ذلك، في عائلة التحكم غير المقطرة، يتفق المتوسط والوسيط بشكل مثالي تقريباً ( $\pi \approx 0.96$ ).
المتانة: تكررت هذه النتائج نوعياً في بنيات الانتباه الخطي (linear attention architectures).

4. الفائدة التشخيصية

يوضح البحث أن التباعد بين متوسط ووسيط الإنتروبيا المتقاطعة يعمل كتشخيص منخفض التكلفة. عندما يكون التوافق منخفضاً، يصبح اختيار الإحصاء الملخص أمراً حاسماً لاختيار النموذج. في تجارب التقطير، يتوافق الـ LLM-judge (الذي يمثل جودة التوليد) مع مئويات الكتلة، وليس مع المتوسط.

الأهمية والادعاءات

يزعم البحث أن متوسط الإنتروبيا المتقاطعة هو وصف غير مكتمل لجودة النموذج في سيناريوهات التدريب الشائعة مثل SFT وتقطير المعرفة. تعتمد موثوقيته كبديل لأداء المهمة على تطور توزيع الخسارة التجريبي.

التوصية العملية: يوصي المؤلفون بالإبلاغ عن مجموعة صغيرة من ملخصات مئويات الإنتروبيا المتقاطعة (تحديداً المتوسط، والوسيط، وp95) جنباً إلى جنب مع المتوسط.
أداة تشخيصية: تتيح مراقبة التوافق بين هذه الملخصات للممارسين اكتشاف إعادة تشكيل التوزيع.
- توافق عالٍ: يكون متوسط الإنتروبيا المتقاطعة كافياً لاختيار النموذج.
- توافق منخفض: يشير إلى أن التقييم المستهدف (مثل جودة التوليد) قد يكون حساساً للكتلة بدلاً من الذيل (أو العكس)، مما يستوجب اختياراً أكثر دقة للمقياس.
القيود: تستند الادعاءات إلى اختيار النماذج النسبي ضمن مجموعات بيانات محددة (TinyStories، والحقائق الاصطناعية) وتصل إلى مقاييس 1.5 مليار معلمة. لا يدعي البحث أن متوسط الإنتروبيا المتقاطعة أصبح عتيقاً لتقدير الاحتمالية أو معايرة الرموز النادرة، بل يوضح أنه يمكن أن يكون مضللاً للأداء الخاص بالمهمة عندما يعاد تشكيل توزيع الخسارة.