LLMs Know More About Numbers than They Can Say

إليك ملخص تقني مفصل لورقة البحث بعنوان: "النماذج اللغوية الكبيرة تعرف عن الأرقام أكثر مما تستطيع قوله".

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في المجالات التي تتطلب مهارات حسابية عالية (الرياضيات، العلوم، التمويل). وبينما يمكن لهذه النماذج إجراء عمليات حسابية (مثل: "ما هو حاصل ضرب $5.7 \times 10^2$؟") ومقارنة الأرقام في نفس الصيغة (مثل: "أيهما أكبر، 570 أم 580؟")، إلا أنها تظهر معدل فشل كبير عند مطالبتها بمقارنة الأرقام في صيغ مختلطة (مثل: "أيهما أكبر، $5.7 \times 10^2$ أم 580؟").

السؤال البحثي الجوهري هو: هل تمتلك النماذج اللغوية الكبيرة حقاً فهماً داخلياً للمقدار العددي، أم أنها تكتفي فقط بمعالجة التمثيلات النصية للأرقام؟ يفترض المؤلفون أن النماذج قد تقوم بتشفير معلومات عددية دقيقة في حالاتها الخفية (hidden states)، لكنها تفشل في الوصول إليها أو التعبير عنها لفظياً أثناء عملية التوليد.

2. المنهجية

استخدم المؤلفون نهجاً متعدد الأوجه يتضمن الاستقصاء (تحليل الحالات الداخلية) والتدخل (الضبط الدقيق) على مجموعة من النماذج مفتوحة الأوزان (مثل Llama-2، Mistral، Qwen، DeepSeek) ونماذج رائدة (GPT-4.1) تتراوح أحجامها بين 7 إلى 8 مليارات معلمة.

أ. بناء البيانات

• مجموعة بيانات الصيغ المختلطة الاصطناعية: تم إنشاء أزواج من الأرقام حيث يكون أحدها بالصيغة العلمية والآخر بالصيغة العشرية القياسية (مثل: $5.7 \times 10^2$ مقابل 560). تتضمن مجموعة البيانات 11,200 مسألة مقارنة.
• مجموعة البيانات الواقعية: مستمدة من مجموعة بيانات peS2o (arXiv) لاختبار الأداء على النصوص العلمية حيث تظهر الأرقام في سياقات دلالية متنوعة.

ب. تجارب الاستقصاء (Probing)

قام المؤلفون بتدريب مستقصيات خطية (linear probes) على الحالات الخفية لطبقات المحولات (transformer layers) لاستخراج المعلومات العددية دون تغيير أوزان النموذج.

1. مستقصيات الانحدار (Regression Probes): تم تدريبها للتنبؤ بـ المقدار اللوغاريتمي ($\log_2$) للرقم من حالته الخفية.
   • الهدف: تحديد ما إذا كان النموذج يشفر القيمة المطلقة للأرقام.
2. مستقصيات التصنيف (Classification Probes): تم تدريبها كمصنفات ثنائية للتنبؤ بما إذا كان الرقم الأول في الزوج أكبر من الثاني ($a > b$).
   • الهدف: تحديد ما إذا كان النموذج يشفر العلاقة بين الأرقام.
3. مستقصيات النسبة اللوغاريتمية (Log-Ratio Probes): تم تدريبها للتنبؤ بـ $\log_2(a/b)$ مباشرة من الحالة الخفية النهائية للمطالبة (prompt).

ج. تقييم التعبير اللفظي

تمت مطالبة النماذج بعرض توضيحي من نوع "التعلم من مثال واحد" (one-shot) للإجابة على سؤال "أيهما أكبر، $a$ أم $b$؟". وتمت مقارنة دقة هذه الاستجابات اللفظية مقابل دقة المستقصيات.

د. التدخل (الضبط الدقيق - Fine-tuning)

لاختبار السببية، قام المؤلفون بضبط النماذج بدقة باستخدام دالة خسارة مساعدة. تم تعريف إجمالي الخسارة كالتالي:
$$L_{total} = L_{LM} + \beta L_{cls}$$
حيث $L_{LM}$ هي خسارة نمذجة اللغة القياسية، و $L_{cls}$ هي خسارة الإنتروبيا المتقاطعة من مستقصي التصنيف. وهذا يجبر التمثيلات الداخلية للنموذج على دعم مهمة المقارنة بشكل أفضل أثناء التوليد.

3. النتائج الرئيسية

أ. التمثيلات الداخلية دقيقة

• التشفير الخطي: تشفر الحالات الخفية المقادير اللوغاريتمية للأرقام خطياً.
  • في البيانات الاصطناعية، حققت مستقصيات الانحدار متوسط خطأ نسبي قدره ~2.3%.
  • في بيانات arXiv الواقعية، كان الخطأ أعلى (~19.06%) ولكنه لا يزال كبيراً، مع معامل ارتباط $\rho = 71\%$.
• تشفير المقارنة: حققت المصنفات الخطية المدربة على الحالات الخفية دقة تزيد عن 90% (غالباً >95% في الطبقات الأعمق) في تحديد أي من الرقمين أكبر، حتى عندما كانت الأرقام متقاربة جداً في القيمة.
• التفاوت: رغم الدقة الداخلية العالية، كانت الدقة اللفظية للنماذج في نفس المهام تتراوح بين 50-70% (وغالباً ما تكون قريبة من التخمين العشوائي في النماذج الأصغر).

ب. الارتباط بين الحالة الداخلية والمخرجات

• يوجد ارتباط إيجابي قوي بين أداء المستقصيات في الطبقات الثلاث الأولى ودقة التعبير اللفظي النهائي للنموذج.
• النماذج ذات التمثيلات الأفضل للمقدار (كما يتم قياسها بواسطة مستقصيات الطبقات المبكرة) كانت تؤدي بشكل أفضل في التعبير اللفظي عن الإجابة، مما يشير إلى أن "المعرفة" موجودة ولكن لا يتم استخدامها بفعالية من قبل رأس التوليد (generation head).

ج. تأثير الضبط الدقيق

• أدى الضبط الدقيق القياسي على المهمة إلى تحسين الدقة اللفظية بشكل كبير (على سبيل المثال، من ~50% إلى ~90% لبعض النماذج).
• الأهم من ذلك، أن إضافة خسارة تصنيف المستقصي ($\beta > 0$) كهدف مساعد وفر تحسناً إضافياً بنسبة 3.22% في الدقة اللفظية مقارنة بالضبط الدقيق القياسي وحده.
• بالنسبة لنماذج محددة (مثل Mistral-7B، Qwen3-8B)، دفع هذا النهج الدقة إلى أكثر من 99%، مما أدى فعلياً إلى "إطلاق سراح" المعرفة الداخلية.

4. المساهمات الرئيسية

1. الدليل على "الحساب الصامت": تثبت الورقة أن النماذج اللغوية الكبيرة تمتلك تمثيلات متطورة ومشفرة خطياً للمقدار العددي ومنطق المقارنة، وهي تمثيلات لا يمكن الوصول إليها عبر توليد النصوص القياسي.
2. فجوة التعبير اللفظي: تحدد فجوة محددة حيث تفشل النماذج في ترجمة الاستدلال العددي الداخلي إلى لغة طبيعية، خاصة في سيناريوهات الصيغ المختلطة.
3. الارتباط السببي عبر الخسارة المساعدة: يقدم المؤلفون دليلاً تجريبياً على أن تحسين التمثيلات الداخلية صراحةً (عبر خسارة المستقصي) يحسن بشكل سببي قدرة النموذج على التعبير اللفظي عن الاستدلال العددي.
4. وضع معايير التقييم: قدموا إطار تقييم صارم باستخدام بيانات علمية اصطناعية وواقعية لاختبار المهارات الحسابية بما يتجاوز العمليات الحسابية البسيطة.

5. الأهمية والآثار المترتبة

• ما وراء تقييم "الصندوق الأسود": تشير الدراسة إلى أن تقييم النماذج اللغوية الكبيرة بناءً على دقة المخرجات فقط يقلل من قدراتها الحقيقية. يكشف استقصاء الحالات الداخلية عن "كفاءة" مخفية خلف إخفاقات "الأداء".
• استراتيجية التدريب: تشير النتائج إلى أن تحسين الاستدلال العددي في النماذج اللغوية الكبيرة لا يتطلب بالضرورة المزيد من البيانات أو نماذج أكبر، بل يتطلب ضبطاً دقيقاً مستهدفاً يعمل على مواءمة التمثيلات الداخلية مع هدف التوليد.
• القيود: يشير المؤلفون إلى أن النتائج الحالية تقتصر على نماذج 7B–8B (حيث يمكن الوصول إلى الحالات الخفية) وأن البيانات الاصطناعية قد لا تستوعب تماماً تعقيد النصوص العلمية الواقعية. بالإضافة إلى ذلك، تكشف المستقصيات عن التمثيل ولكن ليس بالضر_ة عن الآلية لكيفية استخدام هذا التمثيل أثناء الاستدلال.

في الختام، تجادل الورقة بأن النماذج اللغوية الكبيرة تعرف عن الأرقام أكثر مما تستطيع قوله، وأن سد هذه الفجوة يتطلب مواءمة تحسين الحالة الداخلية للنموذج مع أهدافه التوليدية.