ملخص تقني: الاستدلال في الفضاء الجزئي المبوب لتسريع نماذج المحولات (Transformer)

1. بيان المشكلة

تتمثل العقبة الرئيسية في استدلال النماذج اللغوية الكبيرة (LLM)، لا سيما عند حجم دفعة واحد (batch size one)، في عرض نطاق الذاكرة (memory bandwidth) بدلاً من القدرة الحسابية (computational throughput). وكما يوضح نموذج "السطح المرتفع" (roofline model)، فإن التمرير الأمامي للمحول يعتمد كلياً على عرض نطاق الذاكرة لأن الكثافة الحسابية لعمليات الطبقة الخطية ($y = Wx$) تبلغ تقريباً 1 FLOP/byte. إن قراءة مصفوفات الأوزان من ذاكرة النطاق العالي (HBM) هو ما يهيمن على زمن التأخير (latency).

تواجه استراتيجيات التسريع الحالية قيوداً كبيرة:

• الكمية (Quantization): تقلل من حجم عناصر الأوزان ولكنها لا تقلل من عدد العناصر التي يتم قراءتها.
• التقليم (Pruning): يقلل من عدد العناصر ولكنه يتطلب عادةً إعادة تدريب أو ضبط دقيق.
• التفكيك منخفض الرتبة الثابت (Static Low-Rank Factorization): (مثل LoRA أو SVD-LLM) يقوم بتفكيك الأوزان خارج وقت التشغيل، لكنه يفشل في التكيف مع توزيع المدخلات المحدد أثناء وقت الاستدلال.
• تشتت التنشيط (Activation Sparsity): طرق مثل (CATS و PowerInfer) تستغل مجموعات فرعية من الخلايا العصبية أو التشتت على مستوى العنصر، لكنها لا تستفيد من البنية المستمرة منخفضة الأبعاد لفضاء التنشيط.

تفترض الورقة أن متجهات التنشيط في أي طبقة معينة تقع تقريباً في فضاء جزئي منخفض الأبعاد ($k \ll d$). وبناءً على ذلك، فإن التفاعل بين الأوزان والتنشيطات له رتبة فعالة منخفضة. لذا، فإن قراءة مصفوفة الأوزان الكاملة لكل رمز (token) يعد هدراً، لأن توزيع المدخلات لا يزور جميع الاتجاهات في فضاء التنشيط.

2. المنهجية: الاستدلال في الفضاء الجزئي المبوب (GSI)

إن GSI هي طريقة تسريع غير خاسرة (lossless) تستغل الرتبة الفعالة المنخفضة للتفاعل بين الأوزان والتنشيط دون الحاجة لإعادة التدريب، أو تعديل البنية، أو تقريب آلية الانتباه (attention approximation). وهي توسع إطار عمل "استدلال الفضاء الجزئي السماوي" (Skyline Subspace Inference - SSI) من طبقات MLP إلى المحول بأكمله (بما في ذلك إسقاطات QKV والإخراج).

2.1. التفكيك الجوهري

بالنسبة لطبقة خطية ذات مصفوفة أوزان $W \in \mathbb{R}^{d_{out} \times d}$ وتنشيط $x \in \mathbb{R}^d$، يتم تفكيك التنشيط بدقة إلى مكون فضاء جزئي ومتبقٍ (residual):
$$x = V_k V_k^\top x + r$$
حيث $V_k \in \mathbb{R}^{d \times k}$ هو أساس متعامد من الرتبة $k$ يمثل الفضاء الجزئي للتنشيط، و $r$ هو المتبقي. يتم حساب المخرج $y = Wx$ كالتالي:
$$y = (W V_k)(V_k^\top x) + Wr = Mg + Wr$$
حيث $M = W V_k$ هو "صورة الوزن منخفضة الرتبة" المحسوبة مسبقاً والمخزنة مؤقتاً، و $g = V_k^\top x$ هو إسقاط التنشيط على الفضاء الجزئي.

2.2. تمرير المتبقي المبوب (Gated Residual Passthrough)

الابتكار الحاسم هو وجود بوابة لكل رمز (per-token gate) تحدد ما إذا كان سيتم حساب تصحيح المتبقي $Wr$.

• المسار السريع (Fast Path): إذا كانت نسبة المتبقي $\rho_t = \|r\| / \|x\|$ أقل من عتبة $\epsilon$، يتم تقريب المخرج كـ $y \approx Mg$. يتطلب هذا قراءة $k$ فقط من أعمدة مصفوفة الأوزان (أو الصورة المخزنة $M$) بدلاً من $d$ من الأعمدة.
• المسار البطيء (Slow Path): إذا كان $\rho_t \ge \epsilon$، يتم إجراء الحساب الكامل $y = Wx$ لضمان الدقة.

تضمن هذه البوابة الحفاظ على توزيع المخرجات ضمن نطاق تحكم يمكن ضبطه. يضع التحليل النظري (النظرية 4) حداً للخطأ لكل رمز في المسار السريع بـ $\|W\|_2 \cdot \epsilon \cdot \|x\|$. ومن الأهمية بمكان أن الورقة تثبت أن التخلص من المتبقي تماماً (الاسقاط الثابت) يؤدي إلى تدهور كارثي في المخرجات، بينما يحافظ التمرير المبوب على جودة غير خاسرة.

2.3. التتابع العمقي والمعايرة (Depth Cascade and Calibration)

تستفيد الطريقة من "التماسك العمقي" (depth coherence)، حيث لوحظ أن الفضاءات الجزئية للتنشيط في الطبقات المتتالية مترابطة للغاية (متوسط تشابه جيب التمام $> 0.90$ في الطبقات العميقة).

• تهيئة التتابع: يتم تهيئة الأساس $V_k$ للطبقة $l+1$ من أساس الطبقة $l$، مما يتطلب فقط تصحيحات طفيفة من الرتبة-1 (تحديثات DGKS) بدلاً من إجراء تحليل القيمة المفردة (SVD) كامل لكل طبقة.
• المعايرة: يتم حساب الأساس مرة واحدة عبر تمريرة أمامية واحدة على تسلسل معايرة ممثل. بالنسبة لنموذج بحجم 6B، يستغرق هذا حوالي 30 ثانية.
• تكلفة التخزين الإضافية: تضيف الصور المخزنة $M$ والأسس $V_k$ أقل من 4% إلى بصمة ذاكرة النموذج (حوالي 469 ميجابايت لنموذج بحجم 13 جيجابايت).

3. المساهمات الرئيسية

1. الاستدلال في الفضاء الجزئي المبوب (GSI): طريقة لتسريع جميع الخرائط الخطية في المحول (QKV، الإخراج، وإسقاطات MLP) عن طريق إسقاط التنشيطات على فضاء جزئي منخفض الرتبة وتجاوز تصحيحات المتبقي بشكل مشروط.
2. الجودة غير الخاسرة عبر التبوب (Lossless Quality via Gating): تثبت الورقة أن تمرير المتبقي المبوب ضروري. بدون ذلك، يسبب الإسقاط الثابت انهياراً في عملية التوليد. ومع وجوده، تحقق الطريقة مخرجات مطابقة تماماً للنموذج الأساسي عند نقاط تشغيل محددة.
3. التتابع العمقي (Depth Cascade): آلية تستغل التماسك في الفضاء الجزئي عبر الطبقات لتقليل تكاليف المعايرة بنسبة 96%، مما يكشف أن الشبكة تعمل على فضاء منخفض الأبعاد متماسك ينتقل عبر العمق.
4. التسريع المتعامد (Orthogonal Acceleration): تعمل GSI على البعد الخفي ($d$-axis)، مكملة لطرق تسريع الانتباه الموجودة مثل ADA (التي تعمل على محور الرموز $T$-axis). معاً، يغطيان عملية التمرير الأمامي بالكامل.

4. النتائج التجريبية

أُجريت التجارب على وحدات معالجة الرسوميات AMD MI300X لنماذج GPT-2 (124M)، وGPT-J (6B)، وOPT (6.7B).

• التسريع: تحقق الطريقة تسريعاً فعلياً يتراوح بين 3.0× و 10.5× في عمليات قراءة أوزان الطبقات الخطية.
  • GPT-J 6B عند نقطة التشغيل $k=256, \epsilon=0.10$: تسريع بمقدار 15.6× في قراءة الأوزان مع اتخاذ 99.8% من الرموز للمسار السريع.
  • OPT 6.7B عند $k=256, \epsilon=0.10$: تسريع بمقدار 10.5×.
  • GPT-2 124M عند $k=256, \epsilon=0.10$: تسريع بمقدار 3.0×.
• الحفاظ على الجودة:
  • الارتباك (Perplexity): النسب منخفضة باستمرار تحت 1.00 (مثلاً 0.991 لـ GPT-J)، مما يشير إلى أن النموذج المتسارع لا يمكن تمييزه إحصائياً عن النموذج الأساسي أو أنه أفضل قليلاً منه.
  • اتفاق الرموز (Token Agreement): يتجاوز اتفاق الرمز الأعلى (Top-1) نسبة 98% عبر جميع التكوينات.
  • دقة التوليد: عند نقطة التشغيل المستهدفة ($k=256, \epsilon=0.05$ أو $0.10$)، تنتج نماذج GPT-J و GPT-2 مخرجات مطابقة تماماً من حيث الحرف (character-for-character) للنموذج الأساسي عبر 50 رمزاً من التوليد الجشع (greedy tokens).
• عدد المعلمات الفعال: تكلفة الاستدلال تتناسب مع "عدد المعلمات الفعال" (المعلمات المقابلة للاتجاهات التي تمت زيارتها في فضاء التنشيط). بالنسبة لـ GPT-J 6B، ينخفض العدد الفعال من 6 مليار إلى حوالي 375 مليون (انخفاض بمقدار 16×) عند نقطة التشغيل المثلى.
• المجموعة الضابطة السلبية (Negative Control): أدى الإسقاط الثابت (بدون متبقي) عند $k=128$ إلى زيادة الارتباك بنسبة 52% وتسبب في انهيار التوليد، مما يؤكد ضرورة البوابة.

5. الأهمية والادعاءات

تدعي الورقة أن GSI توفر تسريعاً غير خاسر لاستدلال المحولات، مما يغير نموذج التكلفة بشكل جذري من إجمالي عدد المعلمات إلى عدد المعلمات الفعال.

• لا إعادة تدريب: تعمل الطريقة على النماذج المدربة مسبقاً دون الحاجة لأي ضبط دقيق أو تغييرات هيكلية.
• لا تقريب للانتباه: لا تغير الطريقة آلية الانتباه، مما يجعلها متوافقة مع تقنيات التسريع الأخرى مثل FlashAttention أو ADA.
• رؤية هيكلية: تؤكد النتائج أن الرتبة الفعلة المنخفضة للتفاعل بين الأوزان والتنشيط هي خاصية هيكلية للمحولات المدربة، وهي ثابتة عبر مختلف البنى والأحجام.
• الأثر العملي: من خلال تقليل متطلبات عرض نطاق الذاكرة للطبقات الخطية بمعامل $d/k$ (على سبيل المثال، 16×)، تعالج GSI العقبة الرئيسية في الاستدلال عند حجم دفعة واحد، مما يتيح أوقات فك تشفير (decoding) أسرع بكثير (على سبيل المثال، تقليل التمرير الأمامي من 1.3 مللي ثانية إلى 0.22 مللي ثانية عند الجمع مع تسريع الانتباه).

يخلص المؤلفون إلى أن تمرير المتبقي المبوب هو العامل المميز الذي يسمح بنسب ضغط عالية دون التضحية بالصحة الرياضية للمخرجات، مما يجعلها مساراً قابلاً للتطبيق لتسريع الاستدلال غير الخاسر.