Structured Multidimensional Representation Learning for Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تعلم التمثيل متعدد الأبعاد المهيكل للنماذج اللغوية الكبيرة" (Structured Multidimensional Representation Learning for Large Language Models).

1. بيان المشكلة

حققت بنى "ترانسفورمر" (Transformer) أداءً هو الأفضل في مجال معالجة اللغات الطبيعية والتعرف على الأنماط، إلا أن قابليتها للتوسع تعوقها الزيادة الهائلة في عدد المعلمات (Parameters)، لا سيما في أبعاد التضمين (Embedding dimension) وطبقات التغذية الأمامية (Feed-forward layers). يؤدي هذا إلى:

• التكرار (Redundancy): وجود فرط في التخصيص (Overparameterization) مع زيادة عرض النموذج.
• عدم الكفاءة: استهلاك عالٍ للذاكرة وتكاليف حسابية مرتفلة أثناء التدريب والاستدلال.
• قصور الحلول الحالية: طرق الضغط الحالية (مثل التقليم/Pruning، أو التكيف منخفض الرتبة مثل LoRA، أو التفكيك البعدي/Post-hoc factorization) تعمل عادةً على تقريب أوزان مدربة مسبقاً أو تعديلها بعد التدريب. هي لا تغير بشكل جذري هندسة فضاء التضمين أو تفرض بنية جبرية قبل عملية التدريب.

2. المنهجية: ترانسفورمر-L (The Tensor Transformer $L$-Transformer)

يقترح المؤلفون بنية مبتكرة تعيد صياغة أبعاد التضمين باستخدام التفكيك الطيفي المهيكل بناءً على نتاج $L$ ($L$-product) للموترات من الدرجة الثالثة.

المفاهيم الجوارية

• تنسير التضمينات (Tensorization of Embeddings): بدلاً من معاملة تضمينات الرموز (Tokens) كمصفوفة $X \in \mathbb{R}^{T \times d}$، يتم إعادة تشكيل المدخلات إلى موتر من الدرجة الثالثة $X \in \mathbb{R}^{T \times d_s \times p}$، حيث $d = p \times d_s$. هنا، $p$ هو عامل التفكيك (عدد الشرائح)، و $d_s$ هو عرض الشريحة.
• نتاج $L$ ($L$-Product): هو ضرب موتر يتم عبر تحويل خطي قابل للعكس $Z$ (مثل تحويل جيب التمام المتقطع - DCT) يُطبق على النمط الثالث (بعد الأنبوب/Tube dimension).
  • نطاق التحويل: يتم تحويل الموتر عبر $\hat{X} = X \times_3 Z$. في هذا النطاق، يتكون الموتر من $p$ من الشرائح الأمامية $\hat{X}^{(k)}$.
  • الضرب لكل شريحة (Facewise Multiplication): تُجرى العمليات في نطاق التحويل على مستوى الشرائح (بشكل مستقل لكل شريحة من الـ $p$ شريحة) باستخدام ضرب المصفوفات القياسي.
  • التحويل العكسي: يتم رسم النتائج مرة أخرى في النطاق الأصلي عبر $L^{-1}$، مما يربط الشرائح عالمياً.

مكونات البنية

1. انتباه متعدد الرؤوس من نوع $L$ ($L$-Multi-Head Attention): تتم إعادة صياغة آليات الانتباه (إسقاطات Q و K و V، والضرب النقطي، وإسقاط المخرجات) لتعمل على شرائح الموتر في نطاق التحويل.
2. شبكة التغذية الأمامية من نوع $L$ ($L$-FFN): يتم تفكيك طبقات FFN بشكل مماثل، حيث تُطبق عمليات FFN القياسية بشكل مستقل على كل شريحة طيفية.
3. الترميز الموضعي (Positional Encoding): تم تقديم ترميز جيبي (Sinusoidal encoding) مدرك للشرائح، مما يسمح بإدخال عامل قياس التردد ($\alpha_k$) لكل شريحة لإدخال انحياز استقرائي (Inductive bias).
4. التطبيع (Normalization): يتم تطبيق LayerNorm على مستوى الشريحة داخل نطاق الموتر.

التكافؤ النظري

تثبت الورقة أن ترانسفورمر-$L$ المقترح متكافئ طيفياً مع $p$ من نماذج الترانسفورمر القياسية المتوازية والمستقلة التي تعمل على تضمينات ذات أبعاد مخفضة بعرض $d_s = d/p$.

• تقليل المعلمات: ينتج عن هذا التكافؤ تقليل تقريبي بنسبة $1/p$ في معلمات المشفر (باستثناء الانحيازات (Biases) وبنود التطبيع) مع الحفاظ على القدرة التعبيرية للانتباه الذاتي القياسي داخل كل شريحة.
• الربط العالمي (Global Coupling): على عكس تقسيم الميزات البسيط، يقوم التحويل العكسي ($L^{-1}$) بخلط القنوات الطيفية بعد كل كتلة، مما يسمح للمعلومات بالانتشار عبر الشرائح من خلال عمق الشبكة.

3. المساهمات الرئيسية

1. تعلم التمثيل المهيكل: يقدم إطار عمل يفرض بنية جبرية على فضاء التضمين قبل التدريب، بدلاً من تقريب الأوزان بعد التدريب.
2. الضمان النظري: يثبت أن المشفر الموتر متكافئ طيفياً مع $p$ من نماذج الترانسفورمر المدمجة والمتوازية، مما يوفر أساساً صارماً لتقليص المعلمات بنسبة $\approx 1/p$.
3. الانحياز الاستقرائي (Inductive Bias): يضيف التفكيك الطيفي انحيازاً استقرائياً في نطاق التردد. من خلال ضبط عوامل القياس المعتمدة على الشريحة (مثل: خطي، توافقي، أسي)، يمكن للنموذج التركيز على مكونات ترددية محددة، مما قد يحسن التعميم.
4. التوافق: عند استخدامه مع تحويل جيب التمام المتقطع (DCT)، يظل الأسلوب حقيقياً بالكامل (Fully real-valued)، وقابلاً للاشتقاق، ومتوافقاً مع مسارات التحسين القياسية (مثل AdamW) والبنى التحتية للتدريب الحالية.

4. النتائج التجريبية

قيم المؤلفون النموذج على مجموعة بيانات IMDB (تحليل المشاعر) و AG News (تصنيف المواضيع) عبر أبعاد تضمين مختلفة ($d=128, 256, 768$).

• كفاءة المعلمات:

  • عند $p=4$، يحقق النموذج تقليلاً قدره 4 أضعاف في معلمات المشفر.
  • IMDB ($d=128$): حقق النموذج التوتري (T4-linear) دقة 82.02%، متفوقاً على النموذج المرجعي القياسي (80.77%) بينما استخدم فقط 25.6% من معلمات المشفر.
  • AG News ($d=256$): حقق النموذج دقة 90.76% (مقابل 91.40% للمرجع) مع تقليل المعلمات بمقدار 4 أضعاف.
  • AG News ($d=768$, عرض BERT-base): وصل النموذج التوتري إلى التكافؤ الإحصائي (91.52% مقابل 91.47% للمرجع) مع ضغط المشفر من 28.4 مليون إلى 7.1 مليون معلمة.

• سلوك القياس (Scaling Behavior):

  • يظهر الأسلوب أنه كلما زاد عرض النموذج ($d$)، أصبح النهج التوتري أكثر فعالية. عند $d=768$، يهيمن المشفر على ميزانية المعلمات، مما يجعل ضغط الـ 4 أضعاف يترجم إلى تقليص بنسبة 41% في إجمالي النموذج و تقليص بنسبة 15% في ذروة ذاكرة الـ GPU.

• الوزن الطيفي (Spectral Weighting):

  • تم اختبار استراتيجيات قياس ترددية مختلفة (خطي، توافقي، أسي، قابل للتعلم). أظهرت النتائج أنه بينما يعد التنسير (Tensorization) هو المحرك الأساسي للأداء، فإن استراتيجية الوزن المثلى تعتمد على مجموعة البيانات (على سبيل المثال، كان وزن الهوية "Identity" هو الأفضل في IMDB، والوزن الخطي في AG News).

• الكفاءة:

  • عمليات الفاصلة العائمة (FLOPs): تنخفض عمليات الـ FLOPs النظرية لطبقات الإسقاط و FFN بنسبة $\approx 1/p$.
  • وقت التنفيذ (Wall-Clock Time): عند العروض المتوسطة، تسبب التنفيذ المتسلسل للشرائح في حدوث عبء إضافي. ومع ذلك، عند العروض الكبيرة ($d=768$)، سيطر تقليل الحساب على الأمر، مما أدى إلى تسريع دورات التدريب (241 ثانية مقابل 260 ثانية) وانخفاض في استخدام الذاكرة.

5. الأهمية والخاتمة

يوفر هذا العمل بديلاً مبدئياً لتمثيلات التضمين المسطحة في النماذج القائمة على الانتباه.

• ما وراء الضغط: يثبت أن التفكيك الطيفي المهيكل ليس مجرد تقنية ضغط، بل هو نموذج معماري صالح يمكنه مضاهاة أو تجاوز أداء الترانسفورمر القياسي بمعلمات أقل بكثير.
• القابلية للتوسع: هذا الأسلوب فعال بشكل خاص للنماذج واسعة النطاق (مثل عرض BERT-base وما فوقه)، حيث تشكل معلمات المشفر الجزء الأكبر من حجم النموذج.
• الاتجاهات المستقبلية: يقترح المؤلفون دمج هذا النهج مع تقريبات الانتباه الفعالة لمعالجة اختناق الانتباه $O(T^2)$ واستكشاف التنفيذ المتوازي للشرائح (Batched slice execution) لتعظيم سرعة التنفيذ الفعلي.

باختصار، نجح ترانسفورمر-$L$ في استغلال جبر الموترات لتفكيك فضاء التضمين، مقدماً بنية مهندسة رياضياً، فعالة في المعلمات، وعالية الأداء للنماذج اللغوية الكبيرة.