ملخص تقني: التمثيلات الرقمية الواعية بالقيمة لنماذج المحولات اللغوية (Transformer)

بيان المشكلة

تُظهر نماذج اللغة الضخمة (LLMs) القائمة على بنية المحولات (Transformer) أداءً قويًا في كثير من الأحيان في اختبارات الاستدلال الرياضي المعقدة، ومع ذلك تظل هشة عند التعامل مع الفهم الرقمي الأساسي والعمليات الحسابية. وتتمثل الفجوة الجوهرية المحددة في أن نماذج المحولات القياسية تعالج الأرقام كرموز (tokens) رمزية (سلاسل من الحروف أو الكلمات الفرعية) تُتعلم تمثيلاتها (embeddings) فقط من خلال إحصائيات التواجد المشترك للرموز. وبناءً على ذلك، تفتقر النماذج إلى تمثيل مستمر وصريح للمقدار الرقمي. يؤدي هذا إلى أخطاء منهجية في المهام التي تتطلب مقارنة المقادير، والترتيب، والحساب، لا سيما مع زيادة طول المدخلات الرقمية. وتجادل الورقة بأن النهج الحالي "المكثف للاستدلال" (مثل سلسلة الأفك "Chain-of-Thought") غالبًا ما يخفي هذه نقاط الضعف الأساسية عبر توليد خطوات وسيطة طويلة، لكنها لا تعالج المشكلة الجوهرية المتمثلة في أن النماذج لا "تعرف" جوهريًا ما يمثله الرقم.

المنهجية

يقترح المؤلفون تمثيلًا رقميًا واعيًا بالقيمة يعمل على تعزيز المدخلات المقطعة (tokenized) القياسية برمز بادئ مخصص، يُرمز له بـ <num>، يتم إدراجه مباشرة قبل رموز الأرقام ذات الصيغة السطحية.

البنية والآلية

1. التمثيل المشروط بالقيمة (Value-Conditioned Embedding): على عكس الرموز القياسية، فإن تمثيل رمز <num> ليس ثابتًا. بدلاً من ذلك، يتم حسابه كدالة $f(x)$ للقيمة الرقمية الأساسية $x$.

   • مرحلة التدريب: تكون القيمة الرقمية الحقيقية $x$ متاحة. يقوم وحدة تمثيل قابلة للتعلم (إما مشفر نقطة ثابتة يعتمد على MLP أو مشفر متكرر يعتمد على RNN) بحساب $f(x)$. يتم حقن هذا التمثيل في تسلسل مدخلات النموذج جنبًا إلى جنب مع تمثيلات الرموز القياسية.
   • مرحلة الاستدلال: تكون القيمة الحقيقية $x$ غير متاحة. يقوم رأس إسقاط (projection head) برسم الحالة الخفية $h$ التي تسبق رمز <num> إلى مساحة تمثيل، مما يقرب التمثيل القائم على القيمة ($proj(h) \approx f(x)$). هذا التمثيل المُسقط يشترط عملية توليد الرموز الرقمية اللاحقة.

2. متغيرات وحدة التمثيل:

   • المعتمدة على MLP: تمثل الأجز الأعداد الصحيحة والكسرية كمتجهات عشرية ثابتة الطول، مدمجة مع ميزات مساعدة (الإشارة، عدد الأرقام، الخانات العشرية)، ويتم إسقاطها عبر طبقة تغذية أمامية.
   • المعتمدة على RNN: تعالج الأجز الأعداد الصحيحة والكسرية بشكل مستقل باستخدام وحدات GRU، مما يسمح بتسلسلات متغيرة الطول ودقة اختيارية، متبوعة بالدمج مع ميزات مساعدة وإسقاط خطي.

3. هدف التدريب: لمعالجة عدم التطابق بين التدريب والاختبار (حيث "يغش" النموذج برؤية القيمة الحقيقية أثناء التدريب بينما يجب عليه التنبؤ بها أثناء الاستدلال)، يستخدم المؤلفون دالة خسارة مركبة:

   • خسارة نمذجة اللغة القياسية ($L_{LM}^{emb}$): تدريب النموذج باستخدام التمثيل القائم على القيمة الحقيقية $f(x)$.
   • خسارة نمذجة اللغة المسقطة ($L_{LM}^{proj}$): تدريب النموذج باستخدام الحالة الخفية المسقطة $proj(h)$ لمحاكاة ظروف الاستدلال.
   • خسارة إعادة البناء ($L_{rec}$): تقليل المسافة الجيبية تمامًا (cosine distance) بين الحالة الخفية المسقطة والتمثيل القائم على القيمة الحقيقي لفرض التوافق.
   • الخسارة الإجمالية هي مجموع موزون: $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$.

المساهمات الرئيسية

1. آلية ترميز مبتكرة: اقتراح رمز بادئ واعي بالقيمة يكون تمثيله مشروطًا صراحة بالقيمة الرقمية، مما يفصل تمثيل المقدار عن التقطيع السطحي (tokenization).
2. التحقق التجريبي: إثبات أن هذا النهج يحسن الأداء باستمرار في معيار مصمم لعزل الكفاءة الحسابية، متفوقًا على النماذج المرجعية القوية تحت ظروف تدريب واستدلال متطابقة.
   ចំនួន.
3. التوافق الهيكلي: يتطلب الأسلوب تعديلات طفيفة وهو قابل للتطبيق مباشرة على أي بنية Transformer من نوع decoder-only دون تغيير أدوات التقطيع (tokenizers) أو آليات التوليد الحالية.
4. المصدر المفتوح: تم إصدار التنفيذ الكامل، بما في ذلك التغييرات الهيكلية، وكود التدريب، وسكريبتات التقييم، لدعم قابلية التكرار.

النتائج التجريبية

تم تقييم النهج باستخدام معيار NUPA (Yang et al., 2024)، الذي يعزل المهارات الرقمية الأساسية عبر الأعداد الصحيحة، والأعداد العشرية، والكسور، والتدوين العلمي.

• النماذج المرجعية: تمت المقارنة ضد نموذج Transformer قياسي (توليدي تلقائي، يعتمد على الرموز فقط) ونموذج Numerologic (Schwartz et al., 2024)، وهو أسلوب يستخدم الأوصاف اللغوية الطبيعية للمقدار (مثل عدد الأرقام) كمدخل مساعد.
• الأداء:
  • حققت نماذج NumValue-RNN و NumValue-MLP المقترحة دقة مطابقة تامة (Exact Match) بلغت 0.724 و 0.720 على التوالي، مقارنة بـ 0.687 للنموذج القياسي و 0.633 لنموذج Numerologic.
  • لوحظ تحسن في جميع التنسيقات الرقمية، وأنواع المهام (الحساب، المقارنة، التحويل)، وأطوال المعاملات (حتى 7 أرقام).
  • أظهر متغير RNN تفوقًا طفيفًا في درجات المطابقة التامة، ويُعزى ذلك إلى قدرته على التعامل مع التسلسلات متغيرة الطول، بينما أظهر متغير MLP أداءً أفضل قليلاً في محاذاة مستوى الأرقام وتقدير الطول.
• المتانة: ظل الفارق في الأداء بين النهج المقترح والنماذج المرجعية ثابتًا أو اتسع مع زيادة عدد الأرقام، مما يشير إلى متانة محسنة تجاه مقياس المدخلات.

الأهمية والادعاءات

تدعي الورقة أن الترميز الصريح للقيمة الرقمية هو وسيلة فعالة وكفؤة لتحسين المتانة الرقمية الأساسية في نماذج اللغة. ومن خلال حقن معلومات المقدار مباشرة في مساحة المدخلات، يعالج هذا النهج السبب الجذري للأخطاء الرقمية الأساسية بدلاً من التعويض عنها عبر سلاسل استدلال ممتدة.

يؤكد المؤلفون أن طريقتهم توفر بديلًا خفيف الوزن للاستراتيجيات المكثفة للاستدلال. ويجادلون بأن الكفاءة الرقمية هي قدرة متميزة تتطلب تمثيلًا صريحًا، وليست مجرد نتاج ثانوي لتحسين الاستدلال. وتشير النتائج إلى أن معاملة الأرقام كقياسات مستمرة بدلاً من رموز رمزية منفصلة يعزز بشكل كبير قدرة النموذج على الاستدلال على الكميات الرقمية.

القيود التي لاحظها المؤلفون:

• يتم إجراء التقييم على مستوى نموذج أولي تم تدريبه من الصفر على معيار محدود؛ قد لا تعكس النتائج بالكامل أداء النماذج الضخمة المدربة مسبقًا في سيناريوهات اتباع التعليمات المعقدة.
• تتضمن الطريقة تكلفة تدريب أعلى بسبب الحاجة إلى مرورين أماميين لكل مثال (واحد للإسقاط، وآخر لفك التشفير)، وإن كان ذلك لا يؤثر على زمن الاستدلال.
• لم يتم إجراء ضبط مخصص للمعلمات الفائقة (hyperparameter tuning)، مما قد يؤثر على مقاييس الأداء المطلقة ولكنه لا يغير المقارنات النسبية.