💬 NLP

DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

تقدم هذه الورقة "فقدان الإنتروبيا الرقمية" (Digit Entropy Loss - DEL)، وهو هدف تدريب مبتكر يعيد صياغة تحسين الإنتروبيا غير الخاضع للإشراف إلى إطار عمل خاضع للإشراف وخالٍ من المسافة، وذلك لتحسين دقة النماذج اللغوية الكبيرة في التنبؤ بكل من الأعداد الصحيحة والأعداد العشرية عبر مهام الاستدلال الرياضي وتوليد الكود البرمجي.

المؤلفون الأصليون: Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً، ولكنه مرتبك قليلاً، كيف يقوم بالرياضيات. هذا الروبوت بارع في كتابة القصص والدردشة، ولكن عندما يتعلق الأمر بالأرقام، فإنه غالباً ما يخطئ في الأرقام. قد يقول "12" بينما الإجابة هي "13"، أو قد يخمن "14" بدلاً من "12".

هذه الورقة البحثية، الصادرة عن مختبر الحوسبة المرئية في جامعة هونغ كونغ المتعددة التقنيات، تقدم طريقة جديدة لتعليم هذا الروبوت كيفية التعامل مع الأرقام بشكل أفضل. إنهم يسمون طريقتهم الجديدة فقدان اعتلاج الرقم (Digit Entropy Loss - DEL).

إليك قصة كيف أصلحوا مهارات الروبوت في الرياضيات، باستخدام تشبيهات بسيطة:

1. المشكلة: عادة الروبوت في "التخمين الأفضل"

تقليدياً، عندما نقوم بتدريب هذه الروبوتات الذكية (التي تسمى النماذج اللغوية الكبيرة)، نستخدم طريقة تسمى تقدير الاحتمال الأقصى (Maximum Likelihood Estimation - MLE).

التشبيه: تخيل أن الروبوت يخوض اختباراً من نوع الاختيار من متعدد. تخبره طريقة MLE: "فقط اختر الإجابة التي تعتقد أنها الأكثر احتمالاً".
العيب: الروبوت مهذب للغاية. يفكر قائلاً: "حسناً، '12' هي أفضل إجابة، لكن '13' و'11' قريبتان نوعاً ما، لذا سأعطيهما نسبة احتمالية ضئيلة أيضاً".
النتيجة: يصبح الروبوت متردداً. إنه يحوم بين الأرقام، مما يؤدي إلى أخطاء مثل قول "12.4" بينما يجب أن تكون الإجابة رقماً صحيحاً، أو ببساطة اختيار الرقم الخطأ لأنه لم يكن واثقاً بما يكفي.

2. الحلول القديمة: "فخ المسافة"

حاول الباحثون إصلاح ذلك بإضافة نظام "جزاءات".

التشبيه: أخبروا الروبوت: "إذا كانت الإجابة هي 5، وخمنت أنت 4، فلا بأس، هذا قريب. لكن إذا خمنت 9، فهذا سيء جداً!". لقد أنشأوا خريطة حيث تترتب الأرقام في خط، ويُعاقب الروبوت بناءً على مدى بعد تخمينه عن الحقيقة.
المشكلة: تجادل الورقة البحثية بأن "خريطة المسافة" هذه اصطناعية. في العالم الحقيقي، الأرقام ليست مجرد نقاط على خط؛ بل هي رموز لها معانيها الخاصة. أحياناً، يتعلم الروبوت أن الرقم "2" يشبه حرف "Z" أكثر مما يشبه الرقم "3". إجبار الروبوت على اتباع قاعدة مسافة صارمة يربكه ويجعل تخميناته إما شديدة الصلابة (حادة) أو غامضة جداً (مسطحة).

3. الحل الجديد: "مدرب الثقة" (DEL)

يقترح المؤلفون فقدان اعتلاج الرقم (Digit Entropy Loss - DEL). بدلاً من قياس مدى بعد الروبوت عن الإجابة، هم يركزون على مدى تأكده.

التشبيه: تخيل مدرباً لا يهتم بالمسافة بين تخمينك والهدف. بدلاً من ذلك، يقول المدرب: "لا يهمني إذا كنت قريباً أو بعيداً. أنا فقط أريدك أن تكون متأكداً بنسبة 100% من إجابتك. إذا كنت متأكداً بنسبة 90% من '5' و10% من '6'، فأنت متردد. أريدك أن تكون متأكداً بنسبة 100% من '5' و0% من أي شيء آخر".
كيف يعمل:
1. اليقين الخاضع للإشراف: يعلمون الروبوت أن يعامل كل رقم كأنه سؤال بسيط من نوع "نعم/لا". "هل هذا الرقم هو 5؟ نعم أم لا؟" هذا يجبر الروبوت على اتخاذ قرار حاد وواضح بدلاً من التخمين الضبابي.
2. لا قواعد للمسافة: يتخلصون من "خريطة المسافة". يتركون الروبوت يتعلم العلاقة الطبيعية بين الأرقام بناءً على البيانات التي رآها، بدلاً من فرض قاعدة بشرية الصنع عليه.
3. التعامل مع الكسور العشرية: الطرق السابقة كانت تعامل الأعداد الصحيحة (مثل 10) والأجزاء العشرية (مثل 10.5) بشكل مختلف، مما يسبب "منحدراً" حيث يتعثر الروبوت. تعامل طريقة DEL مع العدد الصحيح والجزء العشري كتدفق واحد مستمر وسلس، مثل خط أرقام طويل واحد بدلاً من جزيرتين منفصلتين.

4. النتائج: رياضيات أكثر حدة

اختبر الباحثون هذا "المدرب الواثق" الجديد على أربعة أنواع مختلفة من الروبوتات الذكية (CodeLlama, Mistral, DeepSeek, Qwen-2.5) باستخدام سبعة معايسات رياضية مختلفة.

النتيجة: الروبوتات التي تدربت باستخدام DEL ارتكبت أخطاء أقل. لم تكن تحصل على الإجابة الصحيحة بشكل متكرر فحسب؛ بل عندما كانت تخطئ، كانت الإجابة الخاطئة أقرب بكثير إلى الإجابة الصحيحة (على سبيل المثال، تخمين 12 بدلاً من 13، بدلاً من 50).
الدليل البصري: في أمثلة الورقة البحثية، يمكنك أن ترى أن الطرق القديمة غالباً ما كانت تصيب المنطق ولكن تخطئ في الرقم النهائي (مثل حساب التكلفة الإجمالية لرحلة تسوق ولكن الحصول على المبلغ النهائي بالدولار بشكل خاطئ). طريقة DEL حصلت على كل من المنطق والرقم النهائي بشكل صحيح.

الملخص

باخت_صار، تقول هذه الورقة البحثية: توقفوا عن تعليم الروبوتات الذكية كيفية تخمين مدى "قرب" الرقم. بدلاً من ذلك، علموهم أن يكونوا متأكدين تماماً من الرقم الدقيق الذي يتوقعونه. من خلال إزالة قواعد المسافة الاصطناعية والتركيز على بناء توقعات حادة وواثقة، أصبح الروبوتات أفضل بكثير في الرياضيات وتوليد الأكواد البرمجية.

ملخص تقني: فقدان الإنتروبيا الرقمي للتعلم العددي في النماذج اللغوية الكبيرة

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات كبيرة في الاستدلال الرياضي وتوليد الكود، ومع ذلك، لا يزال التنبؤ العددي الدقيق يمثل تحديًا جوهريًا. إن هدف التدريب القياسي للنماذج اللغوية الكبيرة، وهو تقدير الاحتمال الأقصى (MLE)، يعد غير مثالي للتنبؤ بالأرقام. فخاصية تجنب الصفر في الـ MLE تجبر النماذج على تخصيص احتمالات غير ضئيلة للرموز المرصودة، مما يؤدي إلى مشكلات مثل تدهور النصوص والمبالغة في تقدير الفراغات في البيانات.

تحاول الأساليب الحديثة القائمة على العقوبات، وتحديدًا فقدان رمز الرقم (NTL) وفقدان المسافة المنفصلة (DIST2Loss)، معالجة ذلك من خلال إدخال انحياز استقرائي للمسافة العددية. ومع ذلك، تعاني هذه الأساليب من قيود حرجة:

الإفراط في الحدة والإفراط في التسطيح: يعمل NTL على قمع احتمالات الرموز غير المستهدفة بقوة لتصل إلى ما يقرب من الصفر، مما يخلق توزيعات مفرطة الحدة، بينما يفرض DIST2Loss توزيعًا سلسًا يؤدي إلى تنبؤات رقمية مفرطة التسطيح وغير مؤكدة.
الاعتماد على المسافة التجريبية: تعتمد كلتا الطريقتين على مصطلحات مسافة محددة يدويًا (مثل مسافة $L_1$ بين الأرقام). ويكشف التحليل أن النماذج اللغوية الكبيرة تتعلم تمثيلات متشابكة حيث تعمل الأرقام كقيم عددية وسلاسل رمزية في آن واحد (مثل التواريخ والمعرفات/IDs). وبناءً على ذلك، فإن الأولويات الهندسية المفروضة يدويًا غالبًا ما تتعارض مع التمثيلات الدلالية التي تتعلمها النماذج من المجموعات الضخمة من النصوص.
الافتقار إلى الوعي الشمولي: غالبًا ما تعمل الأساليب الحالية ضمن نموذج تحسين الرقم الواحد أو تعامل الأعداد العشرية كأعداد صحيحة منفصلة، مما يفشل في التقاط الطبيعة المستمرة للأعداد العائمة (floating-point numbers) والهياكل العددية العالمية.

2. المنهجية: فقدان الإنتروبيا الرقمي (DEL)

يقترح المؤلفون فقدان الإنتروبيا الرقمي (DEL)، وهو إعادة صياغة لتحسين الإنتروبيا غير الخاضع للإشراف التقليدي المصمم خصيصًا للتعلم العددي ذاتي الانحدار. تعتمد المنهجية على ثلاثة مبادئ تصميم رئيسية تنقل النموذج من "معيار-المسافة" إلى "تحسين إنتروبيا الرقم".

أ. من معيار-المسافة إلى تحسين الإنتروبيا

تتبع أساليب التعلم العددي الحالية صيغة معيار-المسافة (المعادلة 4 في الورقة):
$\mathcal{L}_N = \mathcal{H}(p, g) + \alpha \sum \mathcal{C}(\hat{p}) \cdot \mathcal{D}(V_d, g_t)$
حيث $\mathcal{C}$ هو مصطلح المعيار و $\mathcal{D}$ هو مصطلح المسافة. يجادل المؤلفون بأن مصطلح المسافة $\mathcal{D}$ غير مثالي لأنه يفرض أولوية هندسية قد لا تتوافق مع البنية الدلالية للأرقام التي تعلمتها النماذج اللغوية الكبيرة.

ب. التصميمات الثلاثة الرئيسية لـ DEL

الإنتروبيا الخاضعة للإشراف عبر الاحتمال الشرطي للرقم وBCE:
بدلاً من تقليل الإنتروبيا بطريقة غير خاضعة للإشراف (والتي تسمح بحلول "one-hot" تافهة)، يقدم DEL معيارًا خاضعًا للإشراف. فهو يستفيد من حاصل ضرب الاحتمال الشرطي للرقم ( $\hat{p}$ ) والإنتروبيا التقاطعية الثنائية (BCE).
$\mathcal{L}_{DEL} = \mathcal{H}(p, g) + \alpha \sum_{g_t \in V_d} \hat{p}(\cdot|x_{<t}) \cdot \text{BCE}(\bar{p}(\cdot|x_{<t}), y_t)$
هنا، $\bar{p}$ هو احتمال التصنيف الثنائي القائم على دالة السيجمويد (sigmoid)، و $y_t$ هو الملصق (label) من نوع one-hot. تضمن هذه الصيغة توجيه تحسين الإنتروبيا بطريقة خاضعة للإشراف، مما يضمن تركيز الكتلة الاحتمالية على الأرقام المستهدفة دون "الحدة المفرطة" الناتجة عن عقوبة NTL الثابتة.
إلغاء مصطلح المسافة:
يقوم المؤلفون صراحةً بإزالة مصطلح المسافة ( $\mathcal{D}$ ) من دالة الفقدان. يظهر التحليل التجريبي لتمثيلات (embeddings) رموز الأرقام (عبر t-SNE) أن بنية التشابه المتعلمة للأرقام في النماذج اللغوية الكبيرة لا تتبع بدقة المسافات العددية المثالية (على سبيل المثال، قد يكون الرقم '0' أقرب إلى '8' من '1' في مساحة التمثيل). ومن خلال إزالة مصطلح المسافة، يتجنب DEL حقن أولويات هندسية متناقضة، مما يسمح للنموذج بالاعتماد على تمثيلاته الدلالية المتعلمة.
التعميم إلى تحسين الأعداد العائمة:
للتعامل مع الأعداد الصحيحة والأعداد العشرية بشكل شمولي، يقدم DEL استراتيجية تحسين الأعداد العائمة (floating-point optimization). وخلافًا للأساليب السابقة التي تعامل الأعداد العشرية كأعداد صحيحة منفصلة (مما يسبب عقوبات غير مستمرة)، يطبق DEL دالة عقوبة مستمرة $u(t)$ :

عقوبة خطية للمواقع الصحيحة ( $i \ge 0$ ).
اضمحلال أسي للمواقع العشرية ( $i < 0$ ).
يضمن هذا انتقالًا سلسًا بين المكونات الصحيحة والعشرية، مما يمكن من التنبؤ الدقيق بالأعداد العائمة.

3. المساهمات الرئيسية

التحليل النظري: تقدم الورقة تحليلًا متعمقًا يكشف أن طرق التعلم العددي المتطورة (NTL, DIST2Loss) تشترك في نموذج "معيار-المسافة" الذي يعتمد على مصطلحات مسافة تجريبية، والتي غالبًا ما تكون غير متوافقة مع التمثيلات الدلالية للنماذج اللغوية الكبيرة.
دالة فقدان مبتكرة: اقتراح فقدان الإنتروبيا الرقمي (DEL)، الذي يعيد صياغة التعلم العددي من خلال الجمع بين الاحتمال الشرطي للرقم والإنتروبيا التقاطعية الثنائية، مما يوجه تقليل الإنتروبيا بفعالية بطريقة خاضعة للإشراف.
الوعي العددي الشمولي: توسيع نطاق التعلم العددي من تحسين الرقم الواحد إلى تحسين الأعداد العائمة، مما يعالج مشكلات عدم الاستمرارية في التنبؤ بالأعداد العشرية الموجودة في الأعمال السابقة.
التحقق التجريبي: تجارب شاملة تثبت تفوق DEL على MLE وMixCE وEMO وNTL وDIST2Loss عبر بنيات معمارية ومعايير اختبار متعددة.

4. النتائج التجريبية

قام المؤلفون بتقييم DEL على سبعة معايير للاستدلال الرياضي (GSM8K, MATH, SVAMP, SimulEq, AQuA, SAT, MMLU) باستخدام أربعة نماذج لغوية كبيرة ممثلة: CodeLlama, Mistral, DeepSeek-Math, Qwen-2.5.

الدقة الإجمالية: حقق DEL باستمرار أعلى متوسط دقة (mACC) عبر جميع بنيات النماذج والمعايير. على سبيل المثال، في نموذج Qwen-2.5-7B، حقق DEL متوسط دقة قدره 70.6، متفوقًا على خط الأساس MLE (68.3) وعلى أفضل طريقة تالية وهي DIST2Loss (69.2).
المسافة العددية: قلل DEL بشكل كبير من المسافة العددية (متوسط الخطأ المطلق) بين الأرقام المتنبأ بها والحقيقية، مما أظهر توليدًا عدديًا أكثر دقة حتى بدون مصطلحات مسافة صريحة.
تحليل الإنتروبيا: على عكس DIST2Loss، الذي زاد من الإنتروبيا الرقمية (عدم اليقين)، وNTL، الذي جعل التوزيعات مفرطة الحدة، حافظ DEL على تحسين "خفيف" لعدم اليقين العددي، موازنًا بين الحسم والمرونة.
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن إزالة مصطلح المسافة ودمج تحسين الأعداد العائمة كانا حاسمين لتحقيق مكاسب الأداء. وتحديدًا، أدى إضافة مصطلح المسافة إلى DEL إلى تراجع الأداء، مما يؤكد صحة قرار إلغائه.

5. الأهمية والادعاءات

تدعي الورقة أن فقدان الإنتروبيا الرقمي (DEL) يمثل خطوة هامة للأمام في التعلم العددي للنماذج اللغبية الكبيرة من خلال معالجة قيود الأساليب القائمة على المسافة التجريبية.

التحول في النموذج: تجادل الورقة بأن التعلم العددي يجب أن ينتقل بعيدًا عن الأولويات الهندسية المعرفة يدويًا (مصطلحات المسافة) نحو تحسين قائم على الإنتروبيا يحترم التمثيلات الدلالية التي تعلمها النموذج.
الموثوقية: من خلال تحقيق توليد عالي الحسم للرموز العددية، يعمل DEL كمتطلب سابق للانتشار الموثوق للنماذج اللغوية الكبيرة في المهام النهائية التي تتطلب تحليلًا كميًا واستنتاجًا منطقيًا.
النطاق المحدود: يقر المؤلفون بأنه بينما يحسن DEL دقة توليد الأرقام، فإنه يعمل على مستوى الرمز (token) ولا ينمذج بعد العمليات الرياضية المعقدة (مثل الجمع أو الضرب) أو الدلالات العددية العالمية بشكل مشترك. وهم يضعون DEL كتحسين تأسيسي لتوليد الأرقام وليس كحل كامل لجميع جوانب الاستدلال الرياضي.

باختصار، تقدم الورقة DEL كبديل قوي ومؤسس نظريًا لوظائف الفقدان العددي الحالية، موضحين أن إزالة قيود المسافة الاصطناعية وتحسين الإنتروبيا الخاضعة للإشراف يؤدي إلى أداء متفوق في مهام الاستدلال الرياضي وتوليد الكود.