ملخص تقني: LAMP (الاستدلال مختلط الدقة الاستباقي للنماذج اللغوية الكبيرة)

بيان المشكلة

تعتمد استراتيجيات الاستدلال الحالية مختلطة الدقة للنماذج اللغوية الكبيرة (LLMs) القائمة على المحولات (Transformers) بشكل أساسي على التكميم الموحد للمدخلات وتجميع المخرجات بدقة عالية. وعلى الرغم من فعالية هذه الأساليب في عمليات ضرب المصفوفات، إلا أنها تعامل نتائج الخطوات الوسيطة بشكل موحد وتتجاهل الطبيعة التركيبية للشبكات العصبية العميقة.

من منظور التحليل العددي، يؤدي التقييم بصيغة الفاصلة العائمة (FP) في كل مرحلة إلى إدخال أخطاء تقريب. وفي التركيبات العميقة $f(g(x))$، يمكن أن تنتشر أخطاء التقريب المحلية وتتضخم بواسطة العمليات اللاحقة. تنمو حدود الخطأ في أسوأ الحالات للشبكات العصبية العميقة (DNNs) بشكل أسي مع العمق، ومع ذلك لا تأخذ طرق الدقة المختلطة القياسية في الاعتبار أي المكونات المحددة من النتيجة الوسيطة هي الأكثر عرضة للتضخم بواسطة الطبقة التالية. يحدد هذا العمل فجوة في استراتيجيات "التجميع مختلط الدقة" التي تنظر صراحةً في التأثيرات التركيبية وتهدف إلى التحكم في دقة الحسابات، بدلاً من مجرد تقليل متطلبات الذاكرة من خلال التكميم.

المنهجية: الدقة المختلطة الاستباقية (LAMP)

المساهمة الجوهرية هي إطار عمل LAMP، وهو استراتيجية تكيفية تختار مجموعة فرعية متفرقة من المكونات داخل الدالة الوسيطة $g(x)$ ليتم إعادة حسابها بدقة أعلى، بينما يتم حساب البقية بدقة أقل. يعتمد هذا الاختيار على تحليل "استباقي" (Look-ahead) لكيفية انتشار أخطاء التقريب في $g(x)$ عبر المعامل اللاحق $f$.

الأساس النظري

تعتمد الطريقة على تحليل دقيق لخطأ التقريب في التركيب $f(g(x))$.

1. اشتقاق حد الخطأ: يشتق المؤلفون حداً للخطأ النسبي للتركيب. يعتمد الخطأ على رقم الحالة (condition number) للدالة الخارجية $f$ وأخطاء التقريب الناتجة عن الدالة الداخلية $g$.
2. صياغة التحسين: الهدف هو تقليل عدد عمليات إعادة الحساب بالدقة العالية (التناثر/Sparsity) مع ضمان بقاء الخطأ المنتشر دون عتبة $\tau$. يتم صياغة ذلك كمسألة تحسين:
   $$\min \|q\|_0 \quad \text{s.t.} \quad \kappa(q) \leq \tau$$
   حيث أن $q \in \{0, 1\}^n$ هو متجه ثنائي يشير إلى المكونات التي تتطلب دقة أعلى في $g(x)$، ويمثل $\kappa(q)$ رقم الحالة لكل مكون أو حسب المعيار للتركيب.
3. الحلول ذات الصيغة المغلقة للمحولات (Transformers): الرؤية النظرية المركزية هي أن مسألة التحسين لمكونات غير خطية محددة في المحولات تقبل حلولاً ذات صيغة مغلقة، مما يتغلب على الصعوبة التوافقية للحالة العامة:
   • دوال التنشيط (Activation Functions): مصفوفة جاكوبي (Jacobian) تكون قطرية، مما يسمح بالتعرف الفوري على المكونات الحساسة.
   • تطبيع الطبقة (Layer Normalization): يثبت المؤلفون أنه يمكن إيجاد حل شبه متناثر عن طريق الفرز الجشع بناءً على قيم المدخلات.
   • Softmax (الانتباه/Attention): بالنسبة لآلية الانتباه، فإن النهج القائم على المكونات يكون غير مستقر للمدخلات سالبة القيمة بشدة. لذا ينتقل المؤلفون إلى هدف $\ell_1$ حسب المعيار للحد من إزاحة الكتلة الاحتمالية بأكملها. تم اشتقاق الشرط الأمثل لإعادة حساب حاصل الضرب الداخلي لـ Key-Query (KQ) وهو $y_j$ كالتالي:
     $$2z_j(1 - z_j)|y_j| > \tau$$
     حيث $z_j$ هو احتمال softmax الناتج. وهذا يعني أن الحاصل الداخلي الذي يؤدي إلى نتائج "مرتبكة" (متساوية الاحتمال) أو يظهر أنماط حساسية معينة يتطلب دقة أعلى.

استراتيجية التنفيذ

تعمل خوارزمية LAMP في مرحلتين:

1. التقييم الأساسي: حساب $g(x)$ بدقة منخفضة.
2. الاختيار الاستباقي: تقدير رقم الحالة $\kappa$ بناءً على النتيجة الأساسية. حل مسألة التحسين لتحديد المجموعة المتفرقة من المؤشرات $q$ التي تتطلب إعادة حساب.
3. إعادة الحساب التكيفي: يتم فقط إعادة حساب المكونات المختارة من $g(x)$ بدقة أعلى (على سبيل المثال FP33) قبل تمريرها إلى $f$.

المساهمات الرئيسية

1. إطار عمل حسابي جديد: يقدم هذا العمل LAMP، وهو نهج قائم على أسس رياضية للاستدلال مختلط الدقة الذي يعالج تراكم نواتج ضرب المصفوفات بناءً على انتشار أخطاء التركيب، ليكمل استراتيجيات تكميم المعاملات الموجودة.
2. الجدوى النظرية للمحولات: يوضح المؤلفون أن المسألة التوافقية المعقدة لاختيار المكونات لإعادة الحساب للمكونات القياسية في المحولات (التنشيط، تطبيع الطبقة، Softmax) تتبسط إلى حلول ذات صيغة مغلقة.
3. إثبات المفهوم: تم التحقق من صحة الطريقة عددياً على نماذج GPT-2، وتحديداً معالجة حاصل الضرب الداخلي لـ KQ في آلية الانتباه.

النتائج التجريبية

قام المؤلفون بتقييم LAMP على نموذج GPT-2 XL باستخدام مجموعة بيانات OpenWebText وصيغ فاصلة عائمة مخصصة (PS($\mu$)) مع عرض مختلف للمانتيسا (mantissa) $\mu$.

• مكاسب الدقة: تحقق الطريقة تحسينات تصل إلى رتبتين من حيث الدقة (مقاسة بتباعد كولباك - ليبلر تجاه مرجع FP32 موحد) عند معدلات إعادة حساب منخفضة جداً.
  • على سبيل المثال، عند $\mu=4$ (دقة منخفضة جداً)، أدى معدل إعادة حساب قدره 0.3% فقط إلى تقليل تباعد KL بعامل قدره 12.
  • عند معدل إعادة حساب قدره 1.6%، كان الانخفاض في التباعد بمقدار عامل قدره 83.
  • عند معدل إعادة حساب قدره 7.6%، كان الانخفاض بمقدار عامل قدره 385.
• الانتقائية: تؤكد النتائج أن الاختيار التكيفي أمر بالغ الأهمية؛ حيث أن إعادة الحساب العشوائي لنفس عدد المكونات لا يحقق أي تحسن ملحوظ في الدقة.
• LAMP المخفف (Relaxed LAMP): لضمان التوافق مع نوى الاستدلال الفعالة مثل FlashAttention (التي تتطلب softmax بمسار واحد)، يقترح المؤلفون نسخة "العتبة النسبية المخففة" من LAMP. هذا المتغير يزيل الاعتماد على ثابت التطبيع ويظهر خسارة طفيفة فقط في الأداء مقارنة بالحل الأمثل "الصارم".

الأهمية والادعاءات

يضع هذا العمل LAMP كـ إثبات مفهوم و أساس نظري، وليس كنواة منتجة كاملة النشر.

• مكمل للتكميم: يصرح المؤلفون صراحة أن LAMP لا يحل محل التكميم (فهو لا يقلل من متطلبات الذاكرة أو يعدل المعاملات) ولكنه يتحكم في دقة الحسابات. وهو مصمم للعمل جنباً إلى جنب مع تقنيات التكميم.
• الآثار على الأجهزة: تكتفي التجارب الحالية بمحاكاة التجميع منخفض الدقة لمنتجات المصفوفات. ويشير المؤلفون إلى أن الأجهزة الحالية لا تدعم فطرياً التجميع المعبأ (packed accumulation) لمنتجات المصفوفات بدقة منخفضة. لذلك، يعمل LAMP كـ "مخطط" لمسرعات الذكاء الاصطناعي من الجيل القادم التي يمكنها دعم مثل هذه العمليات أصلياً.
• القيود:
  • خوارزمية LAMP "الصارمة" لـ Softmax غير متوافقة مع FlashAttention المعياري في الصناعة، لأنها تتطلب تجسيد متجه احتمالات softmax كاملاً.
  • تم التحقق من الطريقة حالياً على نماذج GPT-2؛ ورغم أن المؤلفين يجادلون بأن التأثيرات العددية تتوسع مع عمق النموذج وتركيز الاحتمالات، فإن التحقق من النماذج الأكبر يظل توجهاً مستقبلياً.
  • ينصب التركيز حصرياً على الاستدلال؛ وقد تم تحديد تطبيق LAMP على المسار العكسي (التدريب) كعمل مستقبلي.

باختصار، يجادل هذا العمل من خلال التحليل الرياضي لكيفية انتشار أخطاء التقريب عبر تركيبات المحولات، أنه يمكن تحقيق دقة تقارب FP32 باستخدام دقة أقل بكثير لمعظم الحسابات، بشرما إذا تم إعادة حساب مجموعة فرعية صغيرة مختارة تكيفياً.