ملخص تقني: SSA: تحسين الأداء باستخدام دالة تسجيل أفضل

بيان المشكلة

بينما تُظهر نماذج المحولات (Transformer) قدرات قوية في التعلم داخل السياق (ICL)، إلا أنها تظهر إخفاقات منهجية عند التعميم على تحولات التوزيع (distribution shifts)—وهي السيناريوهات التي تختلف فيها مدخلات وقت الاختبار أو الهياكل الخوارزمية عن توزيع التدريب. وقد حددت الأدبيات الحديثة أن النماذج اللغوية الكبيرة (LLMs) تعاني في "إعدادات الاحتمالية المنخفضة"، حيث تفشل في التعميم حتى عندما تظل القواعد الأساسية دون تغيير.

يتقصى المؤلفون الأصول المعمارية لهذه الإخفاقات باستخدام مهام تعلم داخل السياق (ICL) محكومة. وقد حددوا دالة التسجيل Softmax داخل آلية الانتباه كعامل مساهم رئيسي في إخفاقات التعميم هذه. وتحديداً، يلاحظون أنه عندما تحتوي تسلسلات المدخلات على قيم ذات مقادير أكبر بكثير مما شوهد أثناء التدريب، تتسبب دالة Softmax في تشبع الانتباه (attention saturation). هذه الظاهرة تجبر أوزان الانتباه على الانهيار بالكامل تقريباً نحو الرمز (token) الذي يمتلك القيمة القصوى، مما يؤدي فعلياً إلى تجاهل جميع رموز السياق الأخرى الضرورية للمهمة. هذا "الانهيار في الانتباه" يمنع النموذج من دمج المعلومات عبر التسلسل، مما يؤدي إلى أخطاء منهجية في المهام التي تتطلب تجميعاً منطقياً أو استدلالاً وظيفياً.

المنهجية

الإعداد التجريبي المحكوم

لعزل التأثيرات المعمارية عن نواتج ما قبل التدريب، قام المؤلفون بتدريب نماذج Transformer من الصفر على مهمتين اصطناعيتين للتعلم داخل السياق (ICL):

1. مهمة التكميم (Quantification Task): تقييم قدرة النموذج على تفسير المكممات المنطقية ("كل" و"بعض") عبر تسلسلات من الأرقام.
2. مهمة الدالة الخطية (Linear Function Task): تقييم قدرة النموذج على استنتاج دالة خطية $f(x) = ax + b$ من أمثلة داخل السياق.

تم تدريب النماذج على بيانات مستمدة من التوزيع الطبيعي القياسي $N(0, 1)$ واختبارها تحت تحولات التوزيع، بما في ذلك أطوال التسلسل الأطول ومدخلات مستمدة من توزيعات ذات تباين أعلى ($N(0, \sigma)$ حيث $\sigma \ge 1$).

الحل المقترح: المتوسط الموقّع والمدرج (SSA)

يقترح المؤلفون المتوسط الموقّع والمدرج (Scaled Signed Averaging - SSA) كبديل قابل للتدريب لـ Softmax. يستبدل SSA دالة التسجيل الأسية بدالة معلمية (parameterized) تُطبق على مستوى العناصر:
$$x \mapsto (1 + b|x|)^{\text{sgn}(x)n}$$
حيث $b > 0$ و $n \ge 1$ هما معلمان قياسيان قابلان للتدريب.

الخصائص النظرية الرئيسية:

• النمو متعدد الحدود مقابل النمو الأسي: على عكس Softmax، التي تنمو أسياً وتتشبع بسرعة لتصبح توزيع "Hardmax" عندما تزداد فروق اللوجيت (logit differences)، ينمو SSA بشكل متعدد الحدود.
• الضمانات النظرية: يثبت المؤلفون عبر المبرهنة 1 والمبرهنة 2 أنه في ظل تضخم اللوجيت العالمي أو عدم التناسب الداخلي (حيث يتجاوز سجل أحد الرموز بقية السجلات بشكل هائل)، تتقارب أوزان Softmax إلى 1 للفائز و0 للآخرين بسرعة أسية. في المقابل، يتقارب SSA فقط بشكل متعدد الحدود، مما يحافظ على "كتلة سياقية" غير صفرية للرموز الثانوية. وهذا يسمح للنموذج بالحفاظ على رؤية متوازنة للسياق حتى في وجود قيم متطرفة.

نطاق التقييم

تقيم الدراسة SSA عبر ثلاث إعدادات متميزة:

1. مهام ICL المحكومة: نماذج Transformer صغيرة (12 طبقة، 8 رؤوس) تم تدريبها من الصفر.
2. نماذج فك التشفير فقط (Decoder-Only): نموذج بـ 114 مليون معلمة من طراز Nemotron تم تدريبه من الصفر على مجموعة بيانات FineWeb.
3. بنى الترميز فقط (Encoder-Only): متغيرات من BabyBERTa تم تدريبها على الكلام الموجه للأطفال (مجموعة بيانات AO-CHILDES) وتقييمها باستخدام مجموعة فحص قواعدي.

كما اختبر المؤلفون بشكل منهجي بدائل موجودة لـ Softmax، بما في ذلك Sparsemax، وEntmax، وSoftmax الموزون بدرجة الحرارة (Temperature-scaled Softmax)، وCosFormer، وSA-Softmax، ووجدوا أن أي منها لم يقدم تحسينات متسقة فوق Softmax القياسية في مهامهم المحددة.

النتائج الرئيسية

1. مهام ICL المحكومة

• التعميم تحت التحول: يتفوق SSA بشكل كبير على Softmax في كل من مهمة التكميم ومهمة الدالة الخطية عند اختبارهما على بيانات خارج التوزيع (OOD).
• المتانة تجاه المقدار: في مهمة التكميم، تفشل نماذج Softmax عندما يظهر قيمة كبيرة واحدة في التسلسل، حيث تتنبأ بناءً على تلك القيمة وحدها. أما نماذج SSA فتجمع المعلومات بشكل صحيح عبر التسلسل بأكمله، وتحافظ على معدلات خطأ منخفضة حتى مع القيم المتطرفة.
• استنتاج الدالة الخطية: تحقق نماذج SSA خطأً متوسط المربعات (MSE) أقل بكثير عند استنتاج دوال ذات معاملات مستمدة من توزيعات مزاحة مقارنة بنماذج Softmax المرجعية.

2. نماذج فك التشفار فقط (Decoder-Only)

• أداء معالجة اللغات الطبيعية (NLP): حقق نموذج فك التشفار بـ 114 مليون معلمة تم تدريبه باستخدام SSA تشتتاً (perplexity) أقل من نظيره القائم على Softmax في كل من النصوص داخل التوزيع (FineWeb) وخارج التوزيع (Wikipedia).
• مكاسب الاختبارات المعيارية: في اختبارات NLP القياسية (مثل ARC، BoolQ، HellaSwag)، تفوق النموذج القائم على SSA باستمرار على نموذج Softmax المرجعي عبر تقييمات الصفر-لقطة (zero-shot)، مع تحسينات ملحوسة في مهام مثل arc_easy و boolq.

3. نماذج الترميز فقط (Encoder-Only)

• الفحص القواعدي: أظهرت نماذج BabyBERTa القائمة على SSA أداءً محسناً في مهام الفحص القواعدي المتعددة (مثل توافق الفاعل والفعل، وبنية الحجج) مقارنة بالنماذج القائمة على Softmax، مما يثبت أن الفوائد تمتد إلى بنيات نمذجة اللغة المقنعة (masked language modeling).

الأهمية والادعاءات

يزعم البحث أن تشبع Softmax هو عائق معماري جوهري يتسبب في انهيار آليات الانتباه على رموز مفردة عند مواجهة مدخلات ذات مقادير كبيرة، بغض النظر عما إذا كانت تلك الرموز ذات صلة بالمهمة أم لا. ويُحدد هذا النمط من الفشل كسبب جذري لضعف التعميم في التعلم داخل السياق (ICL) تحت تحولات التوزيع.

تكمن أهمية العمل في:

1. تحديد آلية ملموسة: تحديد دالة تسجيل Softmax، وليس حجم النموذج أو تعقيد البيانات، كمحرك رئيسي لفشل التعميم في سيناريوهات محددة من ICL.
2. بديل بسيط وفعال: تقديم SSA كبديل "جاهز للاستبدال" (drop-in replacement) لـ Softmax يتطلب معلمتين قياسيتين إضافيتين فقط لكل رأس انتباه.
3. قابلية التطبيق الواسعة: إثبات أن SSA يحسن الأداء عبر كل من بنيات فك التشفار والترميز، وكذلك في مهام معالجة اللغات الطبيعية الاصطناعية والواقعية.

يحافظ المؤلفون على موقف متواضع، معترفين بأنه بينما يخفف SSA من الإخفاقات الناتجة عن عدم مرونة Softmax، فإنه لا يحل جميع تحديات التعميم، خاصة في السيناريوهات التي تشمل تحولات توزيع قصوى حيث تختلف كل من المدخلات والدوال عن التدريب بشكل كبير. وقد خلصوا إلى أن البنية الرياضية الأساسية للانتباه، والتي تخلط بين مقدار الرمز وبين ملاءمته، تظل مجالاً مفتوحاً للبحث المستقبلي.