Language Models Learn Universal Representations of Numbers and Here's Why You Should Care

إليك ملخص تقني مفصل للورقة البحثية بعنوان "النماذج اللغوية تتعلم تمثيلات عالمية للأرقام، وإليك سبب أهمية ذلك".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) صعوبة في التفكير الرياضي الدقيق والحساب، وغالبًا ما تنتج نتائج هلوسة أو غير دقيقة. وبينما حددت الأبحاث السابقة أن النماذج اللغوية تمثل الأرقام باستخدام هياكل جيبية (أنماط مثلثية) في تضميناتها الداخلية، إلا أن الدراسات الحالية تعاني من ثلاث فجوات حرجة:

1. محدودية النطاق: كانت النتائج السابقة مقيدة إلى حد كبير بالتضمينات المدخلة (input embeddings) أو السياقات الرياضية الاصطناعية، وتفتقر إلى التحقق في سياقات اللغة الطبيعية.
2. الافتقار إلى التكميم: رغم ملاحظة وجود تشابهات، لم يكن هناك تكميم صارم لمدى "عالمية" هذه التمثيلات عبر عائلات النماذج المختلفة، وأحجامها، وطبقاتها.
3. الأدوات غير الكافية: تفشل أدوات التفسير العامة (مثل المسبارات الخطية، وTunedLens) في التقاط الطبيعة الجيبية المحددة للبيانات الرقمية، مما يؤدي إلى تقديرات منخفضة لدقة النموذج واستنتاجات ميكانيكية خاطئة.

تهدف الورقة إلى تكميم عالمية هذه التمثيلات الجيبية، وتطوير أدوات متخصصة لفك تشفيرها، وتوضيح كيف يساهم الاستفادة من هذا الهيكل في تحسين فهم وتصحيح الأخطاء الحسابية.

2. المنهجية

يستخدم المؤلفون نهجًا متعدد الأوجه يجمع بين تحليل التشابه التمثيلي (RSA)، وتفكيك فوريه (Fourier decomposition)، وتصميم مسبارات جيبية متخصصة.

أ. تكميم العالمية (القسم 3)

• المحاذاة عبر النماذج: أجرى المؤلفون تحليل RSA على تضمينات الأرقام عبر ثمانية نماذج لغوية كبيرة (OLMo, Llama 3, Phi 4) ذات أحجام متفاوتة. وقارنوا رموز الأرقام بقطع الكلمات العشوائية لقياس درجة المحاذاة.
• تحليل التردد: طبقوا تحليل المكونات الرئيسية (PCA) متبوعًا بتحويلات فوريه لتحديد الترددات المهيمنة في تمثيلات الأرقام. وحسبوا "الاتحاد على التقاطع" (IoU) لأعلى $k$ من الترددات عبر أزواج النماذج.
• تبادل الطبقات: اختبروا ما إذا كانت التمثيلات التي تعلمتها طبقة معينة يمكنها فك تشفير الأرق_في طبقات أخرى (التعميم عبر الطبقات) لتحديد ما إذا كان الهيكل الجيبي يتم الحفاظ عليه طوال مسار المتبقي (residual stream).

ب. تطوير مسبارات متخصصة (القسم 3.2)

لتحقيق فك تشفير دقيق للحالات الداخلية، صمم المؤلفون بنية مسبار جديدة، وهي param-sin، والتي تفرض انحيازًا استقرائيًا جيبيًا صارمًا. وعلى عكس المسبارات الخطية أو العامة السابقة، يقوم هذا النموذج بتعيين موجة جيبية واحدة لكل ميزة كامنة ويقوم بتحسين:

• التردد ($w_f$)
• السعة ($w_a$)
• إزاحة الطور ($w_\phi$)

وتُعرف الدالة كالتالي:
$$f_{param-sin}(x) = S^T (W_{in}x)$$
حيث أن $S$ هي مصفوفة من الموجات الجيبية التي تم أخذ عينات منها عند نقاط متباعدة بانتظام.

ج. الإعداد التجريبي

• السياقات: على عكس العمل السابق الذي استخدم أوامر رياضية اصطناعية، تستخدم هذه الدراسة سياقات لغة طبيعية (زمنية، حسابية، طبية، وطهوية) لضمان القدرة على التعميم. المسبارات الاصطناعية تفشل في التعميم إلى التوزيعات الواقعية.
• الخطوط المرجعية: قارنوا param-sin بالمسبارات الخطية القياسية، والمسبارات اللوغاريتمية، وطريقة TunedLens.
• التدخل: قاموا بإجراء توجيه التنشيط (activation steering) على التنبؤات الحسابية الخاطئة. ومن خلال استيفاء تنشيطات النموذج نحو "الرقعة" (embedding) التي تزيد من تنبؤ المسبار الجيبي بالعدد الصحيح الصحيح، حاولوا تصحيح الأخطاء ميكانيكيًا.

3. المساهمات الرئيسية

1. التمثيلات الجيبية العالمية: تثبت الورقة أن النماذج اللغوية من عائلات وأحجام مختلفة تتقارب نحو تمثيلات جيبية عالمية بشكل شبه مثالي للأرقام. تستخدم النماذج المختلفة نفس الترددات المهيمنة والهياكل الطوبولوجية.
2. المسبار المدرك للسياق: أظهر المؤلفون أن المسبارات المدربة على بيانات اللغة الطبيعية تتعمم بشكل أفضل بكثير عبر السياقات مقارنة بتلك المدربة على بيانات رياضية اصطناعية.
3. الاتساق عبر الطبقات: أظهروا أن هذه التمثيلات الجيبية لا تقتصر على التضمينات المدخلة فحسب، بل يتم الحفاظ عليها وتبادلها عبر الطبقات المتوسطة للشبكة، مما يسمح لمسبار واحد مدرب على طبقة واحدة بفك تشفير الأرق في طبقات أخرى.
4. التصحيح الميكانيكي للأخطاء: قدموا دليلًا ميكانيكيًا على أن دقة الجيبية ترتبط مباشرة بالدقة الحسابية. ومن خلال توجيه التنشيطات لتتماشى مع النمط الجيبي، نجحوا في تقليل الأخطاء الحسابية.
5. التمديد للبيانات الترتيبية: أظهر أن الآلية الجيبية تتعمم بما يتجاوز الأعداد الصحيحة إلى أنواع البيانات الترتيبية الأخرى (مثل أيام الأسبوع، والشهور)، مما يؤكد فرضية الترميز الدائري للمفاهيم الزمنية.

4. النتائج الرئيسية

• العالمية:
  • درجات RSA: تحقق رموز الأرقام درجات RSA أعلى باستمرار عبر مختلف عائلات النماذج مقارنة بالرموز العشوائية.
  • محاذاة التردد: بالنسبة لأعلى $k=63$ من ترددات فوريه، يوجد اتفاق تام عبر جميع النماذج لتمثيلات الأرقام، بينما لا تظهر الرموز العشوائية مثل هذا الاتفاق.
• دقة المسبار:
  • يحقق مسبار param-sin دقة تتجاوز 90% في فك تشفير القيم الرقمية من التنشيطات الداخلية عبر معظم الطبقات والنماذج.
  • تؤدي المسبارات الخطية القياسية وTunedLens أداءً أقل بكثير، حيث تفشل غالبًا في استعادة معلومات الأرق متعددة الرموز (multi-token) بعد خطوتين أو ثلاث خطوات زمنية، بينما يستعيد المسبار الجيبي المعلومات بدقة 99% للقيم السابقة المباشرة.
• تقليل الخطأ عبر التوجيه:
  • من خلال توجيه التنشيطات نحو النمط الجيبي المتوقع للتنبؤات الخاطئة، خفض المؤلفون أخطاء الضرب بنسبة تصل إلى 30% وأخطاء القسمة بنسبة تصل إلى 42% في طبقات محددة.
  • تفوق مسبار param-sin باستمرار على مسبار sin السابق (Kadlčík et al., 2025) في هذه التدخلات.
• البيانات الترتيبية:
  • نجح المسبار في فك تشفير أيام الأسبوع والشهور بدقة عالية حتى مع مجموعات تدريب صغيرة جدًا (مثل $n=6$ أو $n=7$)، مما يؤكد الترميز الدائري للبيانات الزمنية.

5. الأهمية والآثار المترتبة

• إعادة التفكير في التفسير: تجادل الورقة بأن أدوات التفسير العامة غير كافية للبيانات الرقمية والترتيبية. استخدام الأدوات الخطية على البيانات الجيبية يؤدي إلى نتائج سلبية كاذبة فيما يتعلق بقدرات النموذج (مثل التقليل من قدرة النموذج على تتبع الأرق متعددة الرموز).
• الفهم الميكانيكي: تثبت أن "الصندوق الأسود" للحساب في النماذج اللغوية ليس عشوائيًا، بل يعتمد على آلية مثلثية نظامية وعالمية للغاية. وهذا يسمح للباحثين بتتبع المعالجة الرقمية عبر كامل عمق النموذج.
• التطبيق العملي: تشير النتائج إلى أن التدخلات الميكانيكية (مثل توجيه التنشيط) يمكن أن تحسن فعليًا موثوقية النماذج اللغوية في المهام الرياضية إذا كان التدخل يحترم الهيكل الجيبي الأساسي.
• الاتجاهات المستقبلية: تسلط الورقة الضوء على الحاجة إلى أدوات تفسير متخصصة في المجال. كما تشير إلى القيود في النماذج الحالية فيما يتعلق بالأرقام الكبيرة جدًا (حدود التراكب متعدد الرموز) والحاجة إلى استقصاء أنظمة الأرقام غير الإنجليزية (مثل الأنظمة الصينية/اليابانية القائمة على الميرياد/الآلاف).

في الختام، تقدم الورقة توصيفًا رياضيًا صارمًا لكيفية تعامل النماذج اللغوية الكبيرة مع الأرقام، مثبتة أنها تتعلم "لغة" جيبية عالمية للحساب تتميز بالمتانة عبر النماذج والسياقات، بشرما توفرت الأدوات الصحيحة لمراقبتها.