ملخص تقني: Cubit – خلط الرموز باستخدام انحدار كيرنل ريدج (Kernel Ridge Regression)

بيان المشكلة

منذ تقديم بنية المحولات (Transformer) في عام 2017، أصبحت هي النموذج المهيمن في التعلم العميق لمعالجة اللغات الطبيعية، والرؤية الحاسوبية، والمهام متعددة الوسائط. ومع ذلك، فإن آلية خلط الرموز (token-mixing) الجوهرية في المحولات تعتمد على الانتباه الذاتي (self-attention)، والذي يمكن تفسيره نظرياً بأنه يؤدي عملية انحدار نادارايا-واتسون (Nadaraya–Watson - NW) باستخدام نواة أسية (عبر دالة softmax) وتطبيع L1.

رغم فعاليتها، إلا أن نهج NW هذا ينطوي على قيود متأصلة:

1. التعقيد الحسابي: يترتب على الانتباه القياسي تكاليف حسابية تربيعية ($O(N^2)$) بالنسبة لطول التسلسل، مما يحد من القدرة على التوسع في التسلسلات الطويلة.
2. القيود النظرية: يفتقر انحدار NW إلى التنظيم الصريح لموازنة التحيز والتباين (bias-variance trade-off)، وقد يكون حساساً للضوضاء وآثار الحدود (boundary effects).
3. قابلية توسع التحسينات: بينما تم اقتراح تعديلات عديدة (الانتباه المتناثر، الانتباه الخطي، خليط الخبراء)، إلا أن النموذج الحسابي الأساسي يظل متجذراً في انحدار NW.

يفترض المؤلفون أن استبدال أساس انحدار NW بإطار عمل إحصائي أكثر قوة يمكن أن يؤدي إلى بنيات ذات أسس رياضية أقوى وقدرات محسنة في نمذجة التسلسلات الطويلة.

المنهجية: بنية Cubit

تقترح الورقة البحثية Cubit، وهي بنية مبتكرة تستبدل وحدة الانتباه بـ انحدار كيرنل ريدج (KRR) بدلاً من انحدار NW.

1. الأساس النظري: من NW إلى KRR

• نادارايا-واتسون (المحول/Transformer): في الانتباه القياسي، يكون الرمز المخرج $z_i$ عبارة عن مجموع مرجح لمتجهات القيم $v_j$، حيث يتم تحديد الأوزان عبر تشابهات مُطبعة بـ softmax بين الاستعلامات (queries) والمفاتيح (keys). وهذا يتوافق مع انحدار NW، الذي يقدر قيمة دالة بناءً على متوسط مرجح محلي دون حل نظام عالمي.
• انحدار كيرنل ريدج (Cubit): يقوم KRR بحل مشكلة تقليل المخاطر التجريبية المنظمة. يتضمن التنبؤ لمدخل جديد مقلوب مصفوفة النواة بالإضافة إلى حد تنظيم: $(K + \lambda I)^{-1}$.
  • الاختلاف الجوهري: على عكس NW، يقدم KRR معلمة تنظيم صريحة $\lambda$ للتحكم في موازنة التحيز والتباين، ويستخدم مقلوب مصفوفة غرام (Gram matrix) لربط المعلومات عبر جميع عينات البيانات، مما يوفر قدرة أكبر على مقاومة الضوضاء وآثار الحدود.

2. التصميم المعماري

تعدل Cubit حساب الانتباه الكلاسيكي من خلال دمج الحل المغلق لـ KRR:

• بناء النواة (Kernel Construction): يتم بناء مصفوفة النواة باستخدام خرائط الميزات المستمدة من تضمينات المفاتيح (key embeddings). يقوم المؤلفون بتمثيل خريطة الميزة $\psi(x)$ باستخدام مصفوفة إسقاط قابلة للتدريب $W_K$ ودالة تنشيط محددة $\phi$.
• التطبيع عبر المقلوب: بدلاً من تطبيع softmax لكل صف، تحسب Cubit مصفوفة تطبيع $\Sigma^{(h)} = (K^{(h)}K^{(h)\top} + \lambda I)^{-1}$. تعمل هذه المصفوفة كعامل ربط عالمي.
• صيغة المخرج: يتم حساب المخرج كـ $Z^{(h)} = A^{(h)} \Sigma^{(h)} V^{(h)}$، حيث تمثل $A^{(h)}$ مصفوفة تشابه النواة (تفاعلات الاستعلام-المفتاح) و $\Sigma^{(h)}$ هي مصفوفة التطبيع المستوحاة من KRR.
• القيد السببي (Causal Constraint): للتعامل مع التوليد الذاتي التراجعي (autoregressive generation)، يتم تكييف بناء النواة بحيث لا ينتبه الرمز $i$ إلا لنفسه وللرموز السابقة، مما يضمن إجراء الانحدار على السياق المتاح.

3. إعادة القياس محدودة النطاق (Limited-Range Rescale - LRR)

لمعالجة مشكلات استقرار التدريب المتأصلة في قلب المصفوفات الكبيرة، قدم المؤلفون إعادة القياس محدودة النطاق (LRR):

• يتم تطبيق متجه قياس قابل للتعلم $s^{(h)}$ لتعديل دقة النواة تكيفياً.
• يتم حصر عوامل القياس ضمن نطاق محصور $(\beta, \alpha + \beta)$ باستخدام دالة sigmoid.
• يضمن ذلك قابلية انعكاس مصفوفة القياس ويحد من عناصر المقلوب، مما يمنع عدم الاستقرار العددي أثناء حل النظام الخطي.

4. التمييز عن الأعمال ذات الصلة

تميز الورقة بحثياً بين Cubit و DeltaFormer (الذي يستخدم أيضاً المصفوفات المقلوبة):

• الدوافع: يجمع DeltaFormer بين DeltaNet والمحولات؛ أما Cubit فيستند دافعه إلى التحول النظري من NW إلى KRR.
• التنفيذ: يستخدم DeltaFormer تضمينات مختلفة لبناء المقلوب ويفرض قيم قطرية تساوي 1. بينما تستخدم Cubit تضميناً واحداً محدداً (على سبيل المثال، $K$ فقط) لضمان قابلية الانعكاس بشكل طبيعي، دون فرض قيم قطرية تساوي 1.
• الاستقرار: تقترح Cubit آلية LRR لتحسين الاستقرار، وهو مكون غائب في DeltaFormer.

المساهمات الرئيسية

1. إطار عمل نظري موحد: أقام المؤلفون صلة بين آليات خلط الرموز وطرق الانحدار الكلاسيكية، مع تحليل منهجي لانحدار NW و KRR لتوفير منظور جديد لتطوير بنيات النماذج.
2. بنية Cubit: اقتراح خلط للرموز يعتمد على KRR يستبدل مُقدر NW في المحولات، ويتميز بآلية إعادة القياس محدودة النطاق (LRR) لتعزيز استقرار التدريب.
3. التحقق التجريبي: تجارب شاملة تثبت أن Cubit تظهر قدرات أقوى في نمذجة التسلسلات الطويلة مقارنة بالمحولات القياسية و DeltaFormer، مع زيادة المكاسب في الأداء مع نمو طول التسلسل.

النتائج التجريبية

قيم المؤلفون Cubit مقابل المحولات (Transformers) و DeltaFormer عبر مجموعات بيانات متنوعة (Arxiv, Books3, FinWeb-Edu)، وأطوال تسلسل (من 512 إلى 8192)، وأحجام نماذج (من 125 مليون إلى 1.3 مليار معلمة).

• الأداء في نمذجة اللغة: حققت Cubit باستمرار تشتتاً (perplexity) أقل (خسارة التحقق) مقارنة بالنماذج المرجعية. على سبيل المثال، في مجموعة بيانات Arxiv (نموذج 125 مليون، 512 رمز)، حققت Cubit خسارة قدرها 1.8802 مقارنة بـ 1.9003 للمحول.
• نمذجة التسلسلات الطويلة: اتسعت الفجوة في الأداء بين Cubit والمحول مع زيادة طول تسلسل التدريب. عند 8192 رمزاً، استقرت فجوة الخسارة عند 0.05–0.06، مما يشير إلى أن آلية النواة في Cubit تلتقط التبعيات طويلة المدى بشكل أكثر فعالية.
• خصائص التوسع (Scaling Properties): أظهرت Cubit سلوك توسع ملائماً. فبينما تضاءلت ميزة DeltaFormer على المحول مع زيادة حجم النموذج (من 350 مليون إلى 1.3 مليار)، استمرت مكاسب أداء Cubit وتحسنت.
• المهام النهائية (Downstream Tasks): في التقييمات صفرية التوجيه (zero-shot) (مثل ARC, HellaSwag, PIQA، إلخ)، تفوقت Cubit باستمرار على كل من المحول و DeltaFormer عبر أحجام بيانات مختلفة (من 10 مليار إلى 50 مليار رمز) وأحجام نماذج مختلفة.
• دراسات الاستئصال (Ablation Studies):
  • التصميم المعماري: عُزيت مكاسب الأداء إلى التصميم الهيكلي (صيغة KRR) وليس إلى توسيع المعلمات.
  • فعالية LRR: وفر إدراج LRR تحسينات ملموسة، حيث لا تزال "Cubit-NoLRR" تتفوق على المحول القياسي، لكن "Cubit" (مع LRR) حققت أفضل النتائج.

الأهمية والادعاءات

تدعي الورقة أن Cubit توفر أسساً رياضية أقوى من المحول التقليدي عبر الاستفادة من المزايا النظرية لانحدار كيرنل ريدج، بما في ذلك التنظيم الصريح، ومعدلات التقارب الأسرع في فضاءات كيرنل ريبوديسينغ هيلبرت (RKHS)، والمقاومة للضوضاء.

يشير المؤلفون إلى أن Cubit قد تمثل جيلًا جديدًا من بنيات النماذج التأسيسية، خاصة للمهام التي تتطلب فهم السياق الطويل. كما يلاحظون أن مكاسب الأداء ليست مجرد نتيجة لزيادة رموز التدريب، بل تنبع من الفعالية المعمارية في التسلسلات الطويلة. وبينما تقر الورقة باحتمالية إساءة استخدام النماذج الأكثر قوة، إلا أنها تؤكد على الفوائد المجتمعية المحتملة لتحسين قدرات النمذجة.

كما تلمح الدراسة إلى اتجاهات مستقبلية، مثل استكشاف الانحدار الخطي المحلي (الذي يعالج تحيز الحدود ولكنه أبطأ حسابياً) وأطر عمل أخرى قائمة على الانحدار لخلط الرموز، مما يشير إلى أن المنظور القائم على الانحدار تجاه الانتباه هو أرض خصبة لمزيد من الابتكار المعماري.