ملخص تقني: ليفياثان (Leviathan) – فك الارتباط بين تمثيلات المدخلات والمخرجات في النماذج اللغوية

1. بيان المشكلة

تستخدم النماذج اللغوية الكبيرة (LLMs) الحديثة عادةً بنية الأوزان المترابطة (tied-weight)، حيث تعمل مصفوفة تضمين واحدة $E \in \mathbb{R}^{V \times D}$ كدور مزدوج: رسم الخرائط من الرموز المدخلة إلى التمثيلات المستمرة، وإسقاط الحالات الخفية مرة أخرى إلى فضاء المفردات للتنبؤ بالمخرجات. هذا الربط يجبر مصفوفة واحدة على تلبية هدفين متمايزين في آن واحد:

1. تمثيل المدخلات (Input Representation): يتطلب السلاسة (smoothness)، حيث تشغل الرموز ذات الصلة دلاليًا مناطق متقاربة في فضاء التمثيل.
2. تصنيف المخرجات (Output Classification): يتطلب التمييز (discrimination)، مما يؤدي فعليًا إلى فصل جميع الرموز عبر المفردات.

يفترض المؤلفون أن هذا الربط يفرض قيدًا معماريًا. وبينما تثبت النماذج غير المترابطة (untied) بالكامل (التي تتعلم مصفوفات مدخلات ومخرجات منفصلة) نظريًا قدرتها على فك هذين الهدفين، إلا أنها أثبتت عدم فعاليتها في الممارسة العملية. تُظهر التجارب أن النماذج غير المترابطة بالكامل تتفوق في الأداء على النماذج المترابطة (tied) رغم زيادة عدد المعلمات بنسبة ~50%، مما يشير إلى أن المعلمات الإضافية لا تُستغل بفعالية بسبب صعوبات التحسين وعدم كفاية إشارة التدريب للتمثيلات المنفصلة (discrete embeddings)، لا سيما للرموز النادرة.

2. المنهجية: بنية ليفياثان (Leviathan)

يقدم "ليفياثان" بنية "ترانسفورمر" تفك الارتباط بين تمثيل المدخلات وتنبؤ المخرجات دون تكبد التكلفة الباهظة للمعلمات التي تفرضها نماذج التضمين غير المترابطة بالكامل.

2.1 متجهية التضمين المتعلم (LEV)

الابتكار الجوهري هو طبقة LEV، التي تستبدل مصفوفة تضمين المدخلات الكثيفة بدالة مستمرة متعلمة $G: \{0, \dots, V-1\} \to \mathbb{R}^D$. تقوم هذه الدالة برسم خرائط لمؤشرات الرموز إلى تضمينات من خلال آلية مشاركة معلمات مدمجة:

• الفهرسة التركيبية (Compositional Indexing): يتم تحليل المفردات إلى $k$ من المكونات باستخدام تفكيك أساسه $b$، مما يحول مؤشر الرمز $i$ إلى زوج مرتب $(i_1, \dots, i_k)$.
• كتب الأكواد المشتركة (Shared Codebooks): ترتبط هذه المؤشرات بكتب أكواد مشتركة $C_1, \dots, C_k$، مما ينتج تمثيلًا بذريًا $z(i)$. يسمح هذا للرموز النادرة بالاستفيد من إشارات التدرج (gradient signals) الممررة عبر المدخلات المشتركة المستخدمة من قبل الرموز المتشابهة هيكليًا.
• الإسقاط المستمر (Continuous Projection): يتم إسقاط البذرة وتطبيعها لتصبح إحداثيًا كامنًا محدودًا $\tilde{z}_\ell \in [0, 1]^{d_{seed}}$.
• توسيع أساس B-spline: يتم نمذجة كل بُعد بواسطة توسيع أساس B-spline أحادي المتغير من الدرجة الثانية مع $\kappa$ من العقد (knots).
• الضرب التنسوري (Tensor Product): يتم دمج الأبعاد عبر ضرب تنسوري من الرتبة $r$.
• جمع الرؤوس (Head Summation): التضمين النهائي هو مجموع مخرجات $h$ من الرؤوس المتوازية بعد إسقاط خطي.

2.2 البنية وفك الارتباط

• رأس مخرجات غير مترابط (Untied Output Head): تسمح طبقة LEV لرأس إسقاط المخرجات بأن يظل غير مترابط بالكامل (مصفوفة كثيفة مستقلة عن المدخلات).
• كفاءة المعلمات: نظرًا لأن طبقة LEV أصغر بكثير من جدول التضمين الكثيف، فإن العبء الإضافي لرأس إسقاط المخرجات غير المترابط ضئيل للغاية. عند مقياس 1.2 مليار معلمة، تبلغ الزيادة الإجمالية في المعلمات 0.2% فقط.
• التحيز الاستقرائي (Inductive Bias): تفرض البنية تحيزًا استقرائيًا نحو السلاسة على فضاء الرموز، مما يتناقض مع الهندسة المنفصلة (discrete) التي قد تكون متباينة الخواص (anisotropic) لجداول البحث القياسية.

3. الإعداد التجريبي

• النماذج: أُجريت التجارب على نماذج "ترانسفورمر" من نوع (decoder-only) عند ثلاثة مقاييس: 200 مليون، 400 مليون، و1.2 مليار معلمة.
• النماذج المرجعية (Baselines):
  • TIED: النموذج المرجعي القياسي للأوزان المترابطة.
  • UNTIED: نموذج غير مترابط بالكامل (611 مليون معلمة عند مقياس 400 مليون).
  • ALBERT: التجزئة المطابقة لمعلمات المدخلات (الضغط الخطي) مع رأس مخرجات غير مترابط.
  • الدراسات الاستقصائية (Ablations): استخدام MLP مسطح (Flat MLP) وMLP مُجزأ (Factored MLP) لمطابقة المعلمات لعزل مساهمات اللاخطية والهيكل التركيبي.
• التدريب: تم تدريب جميع النماذج على مجموعة بيانات The Pile (غير المحمية بحقوق الطبع والنشر) مع استخدام نفس المعاملات الفائقة (hyperparameters)، والبذور (seeds)، وميزانيات الرموز (حتى 24.1 مليار رمز للنماذج بمقياس 1.2 مليار).
• التقييم: قياس أداء النمذجة اللغوية على مجموعة تحقق محجوزة من The Pile، والتعميم صفري المحتوى (zero-shot generalization) على Wikitext-103، والاختبارات النهائية (HellaSwag, ARC, PIQA, WinoGrande, LAMBADA).

4. النتائج الرئيسية

4.1 أداء النمذجة اللغوية

يتفوق "ليفياثان" باستمرار على النموذج المرجعي المترابط (tied-weight) عبر جميع المقاييس، وتتسع فجوة الأداء مع تقدم التدريب وزيادة مقياس النموذج.

• مقياس 1.2 مليار: خفض "ليفياثان" التباين (perplexity) في التحقق بنسبة 9.2% (0.087 نات) مقارنة بالنموذج المترابط الأساسي.
• كفاءة العينات: عند مقياس 1.2 مليار، احتاج "ليفياثان" إلى 2.1 ضعف أقل من رموز التدريب للوصول إلى خسارة (loss) النموذج المترابط النهائية.
• ديناميكيات التدريب: في المقايسات الأصغر (200 مليون)، كان "ليفياثان" يتخلف مؤقتًا عن الأداء الأساسي قبل أن يتجاوزه؛ أما عند 1.2 مليار، فقد تفوق على النموذج الأساسي طوال فترة التدريب.

4.2 المقارنة مع البدائل

• مقابل UNTIED (غير المترابط بالكامل): ظل نموذج UNTIED (غير المترابط بالكامل) يتخلف عن أداء النموذج المترابط (tied) طوال التدريب، مما يؤكد أن فك الارتباط الساذج دون بارامترية فعالة هو أمر غير مثالي.
• مقابل ALBERT (التجزئة الخطية): تفوق نموذج ALBERT أيضًا على النموذج المترابط، مما يشير إلى أن الضغط الخطي وحده لا يمكنه استعادة الفوائد التمثيلية للهندسة المترابطة.
• مقابل Leviathan: تفوق "ليفياثان" على كل من UNTIED وALBERT، مما يثبت أن التوليد المستمر غير الخطي يتفوق على كل من فك الارتباط الساذج والتجزئة الخطية ضمن ميزانيات الحوسبة المثلى لـ Chinchilla.

4.3 المهام النهائية والتعميم

• المهام النهائية: عند مقياس 1.2 مليار، حسن "ليفياثان" الأداء في جميع الاختبارات الستة المقيمة. ومن الملاحظ أنه حقق انخفاضًا بنسبة 30% في التباين (perplexity) في اختبار LAMBADA.
• النقل صفري المحتوى (Zero-Shot Transfer): على Wikitext-103 (توزيع مختلف)، أظهر "ليفياثان" تحسنًا متزايدًا في التباين مع زيادة المقياس (2.4% عند 200 مليون، و12.3% عند 1.2 مليار)، مما يشير إلى أن تمثيلاته المستمرة تنتقل بفعالية أكبر عبر توزيعات البيانات.

4.4 التحليل الطبقي حسب التكرار

تتركز مكاسب الأداء بشكل كبير في الذيل الطويل لتوزيع الرموز (long tail):

• الرموز النادرة: بالنسبة للرموز التي تظهر أقل من مرة واحدة لكل 10 ملايين مرة، قلل "ليفياثان" التباين بنسبة 81% عند مقياس 1.2 مليار.
• الرموز المتكررة: بالنسبة للرموز التي تظهر أكثر من مرة واحدة لكل 10 آلاف مرة، انخفض التحسن إلى ما يقرب من الصفر (وحتى أصبح سالبًا قليًا لأكثر الرموز تكرارًا)، حيث تكون التضمينات المنفصلة كافية عندما تكون إشارات التدريب قوية.
• الآلية: توفر البارامترية المستمرة مسارات مشتركة للدرجات عبر الرموز المتشابهة هيكليًا، مما يوفر إشارة قوية حيث تفشل عمليات البحث المنفصلة بسبب ندرة البيانات.

4.5 المتانة (Robustness)

• حجم المفردات: ظلت النتائج ثابتة عبر أحجام المفردات 50 ألف، 100 ألف، و200 ألف، مع تحسينات نسبية بنحو 2% عبر جميع الحالات.
• الدراسات الاستقصائية (Ablations): تم تقسيم المكاسب إلى: التمثيل المستمر (+1.13%)، الهيكل التركيبي (+0.37%)، وسلاسة الـ spline القابلة للفصل (+0.62%).

5. الأهمية والادعاءات

يزعم البحث أن الممارسة القياسية لربط الأوزان (weight-tying) تفرض قيدًا معماريًا لا يُحل بمجرد فك ارتباط الأوزان. بدلاً من ذلك، يتمثل الحل الأمثل في فك الارتباط بين تمثيلات المدخلات والمخرجات مع فرض السلاسة عبر البارامترية المستمرة.

• الرؤية المعمارية: هندسة التمثيل (representational geometry) لتضمينات المدخلات أمر بالغ الأهمية. البارامترية المستمرة هي وسيلة فعالة من حيث البيانات والحوسبة لتحسين هذه الهندسة، خاصة للرموز النادرة التي تعاني فيها التضمينات المنفصلة.
• الكفاءة: يحقق "ليفياثان" هذه المكاسب مع عبء ضئيل جدًا في عدد المعلمات (0.2% عند مقياس 1.2 مليار)، مما يجعله ترقية عملية للنماذج اللغوية الحديثة.
• القابلية للتوسع: تتراكم فوائد طبقة LEV مع المقياس والبيانات، مما يشير إلى أنه مع نمو النماذج، تصبح ميزة التمثيلات المستمرة والسلسة على عمليات البحث المنفصلة أكثر وضوحًا.

يخلص المؤلفون إلى أنه بينما قد يكون نمط التحسن المعتمد على التكرار مجرد ارتباط، فإن الاتساق عبر المقاييس والمفردات والمتغيرات المعمارية يوفر دليلًا قويًا على أن البارامترية المستمرة تعالج بفعالية صعوبات التحسين المرتبطة بتعلم التضمينات المنفصلة للرموز النادرة.