🤖 machine learning

GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

تقترح الورقة البحثية آلية "انتباه الكوامن لمجموعات الاستعلام" (GQLA)، وهي تعديل متكيف مع الأجهزة لآلية "الانتباه الكامن متعدد الرؤوس" (MLA) الخاصة بـ DeepSeek، تتيح لمجموعة واحدة من الأوزان التبديل ديناميكيًا بين مسار امتصاص (MQA-absorb) لوحدات معالجة الرسوميات من فئة H100 ومسار (GQA) لوحدات معالجة الرسوميات السلعية مثل H20، مما يؤدي إلى تحسين كفاءة الاستدلال ودعم التنبؤ متعدد الرموز دون الحاجة إلى إعادة تدريب أو نوى مخصصة.

المؤلفون الأصليون: Fanxu Meng

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fanxu Meng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مكتبة ضخمة (نموذج لغوي كبير) حيث في كل مرة يكتب فيها أمين المكتبة جملة جديدة، يتعين عليه العودة للوراء ومراجعة كل كتاب قرأه على الإطلاق للتأكد من أن الجملة الجديدة منطقية. عملية "العودة للوراء" هذه هي الجزء الأكثر تكلفة، وهي تتطلب الكثير من حركة البيانات في الذاكرة.

لفترة طويلة، كانت الطريقة الأفضل للتعامل مع هذا الأمر هي طريقة تسمى MLA (الانتباه الكامن متعدد الرؤوس - Multi-head Latent Attention). فكر في MLA كـ "نظام ملاحظات ملخصة" فائق الكفاءة. بدلاً من الاحتفاظ بكل تفصيل من كل كتاب، يقوم أمين المكتبة بضغط كل المعلومات المهمة في "ورقة غش" صغيرة ومنخفضة الرتبة (متجه كامن).

المشكلة في النظام القديم (MLA):
تجادل الورقة البحثية بأنه بينما يعتبر نظام "ورقة الغش" هذا عبقرياً، إلا أنه بُني خصيصاً لجهاز كمبيوتر واحد باهظ الثمن وعالي القدرة (NVIDIA H100).

ملاءمة H100: على هذا الكمبيوتر الغالي، يعمل النظام بشكل مثالي لأن الكمبيوتر سريع في العمليات الحسابية ولكن سرعة الذاكرة لديه محدودة. نظام ورقة الغش يحافظ على انخفاض استخدام الذاكرة، مما يتناسب مع نقاط قوة هذا الكمبيوتر.
عدم التوافق مع H20: ومع ذلك، هناك كمبيوتر أرخص ومقيد التصدير (H20) يتميز بسرعة كبيرة في نقل البيانات ولكن قدرته الحسابية أبطأ بكثير. بالنسبة لهذا الجهاز، يعتبر نظام ورقة الغش القديم كارثياً؛ فهو يجبر الكمبيوتر على القيام بالكثير من العمليات الحسابية مقابل كمية البيانات التي ينقلها، مما يؤدي إلى توقفه عن العمل (Stall).
الجمود: النظام القديم يشبه بدلة مصممة خصيصاً لشخص واحد. لا يمكنك ارتداؤها إذا تغير شكل جسمك. كما أنه يمنع المكتبة من استخدام عمال متعددين (التوازي التنسوري - Tensor Parallelism) بكفاءة، ويمنعهم من تخمين الكلمات القليلة التالية دفعة واحدة (توقع متعدد الرموز - Multi-Token Prediction) دون إبطاء العملية.

الحل الجديد: GQLA (الانتباه الكِنّي المجموع - Group-Query Latent Attention)
يقترح المؤلفون نظاماً جديداً يسمى GQLA. فكر في هذا ليس كنظام جديد، بل كـ "بدلة قابلة للتحول" تناسب تماماً نوعين مختلفين من الأجسام باستخدام نفس القماش (نفس الأوزان المدربة).

إليك كيف يعمل هذا النظام عبر التشبيه:

المساران:
- المسار أ (وضع "الفائق الضغط"): هو أسلوب MLA الأصلي. يحافظ على ورقة الغش الصغيرة جداً. هذا مثالي لكمبيوتر H100 الغالي والثقيل حسابياً، حيث يقلل من حركة الذاكرة إلى أدنى حد.
- المسار ب (الوضع "المجموع"): هذه هي الخدعة الجديدة. بدلاً من ضغط كل شيء في ملاحظة واحدة صغيرة، يتم تقسيم الملاحظات إلى 8 "مجلدات" منفصلة. هذا ينشئ ذاكرة مؤقتة (Cache) أكبر قليلاً، ولكنه يسمح للكمبيوتر بالقيام بعمليات حسابية أقل لكل خطوة. هذا مثالي لكمبيوتر H20 الأرخص، الذي يكون بطيئاً في الحسابات ولكنه سريع في نقل البيانات.
المفتاح السحري:
الأمر الأفضل هو أن المكتبة لا تحتاج إلى إعادة بناء. "البدلة" (أوزان النموذج) هي نفسها. عندما تقوم بتشغيل النموذج:
- إذا كنت تستخدم H100، فتقوم بتبديل المفتاح لاستخدام المسار أ.
- إذا كنت تستخدم H20، فتقوم بتبديل المفتاح لاستخدام المسار ب.
- لا حاجة لإعادة التدريب: لست بحاجة لتعليم أمين المكتبة أي شيء جديد. أنت فقط تغير طريقة قراءته لملاحظاته.
- لا أدوات مخصصة: هو يستخدم أدوات قياسية موجودة بالفعل في صندوق أدوات الكمبيوتر.
لماذا هو أفضل:
- متكيف مع الأجهزة: يجد "النقطة المثالية" لكل من الكمبيوترات الغالية والرخيصة، مما يعظم السرعة في كليهما.
- العمل الجماعي: على عكس النظام القديم، يسمح المسار "المجموع" الجديد لعدة عمال بالتعاون بكفاءة (التوازي التنسوري)، وهو ما كان محظوراً سابقاً.
- جاهز للمستقبل: يدعم أيضاً "تخمين عدة كلمات في وقت واحد" (توقع متعدد الرموز) على الأجهزة الأرخص، وهو ما لم يستطع النظام القديم فعله دون التسبب في انهيار.

خدعة "TransGQLA":
توضح الورقة أيضاً كيف يمكنك أخذ مكتبة موجودة (نموذج تم تدريبه بالفعل باستخدام النظام المجموع القديم) وتحويلها فوراً إلى هذا "اللباس القابل للتحول" دون البدء من الصفر. الأمر يشبه أخذ سترة عادية وإضافة سحاب مخفي يسمح لها بالتحول إلى النسخة فائقة الضغط فوراً.

النتائج:

على H100، يعمل بنفس كفاءة النظام الأصلي.
على H20، هو أسرع بمقدار 3.4 مرة من النظام الأصلي لأنه يمنع الكمبيوتر من إضاعة الوقت في عمليات حسابية غير ضرورية.
اختبروا ذلك على نموذج قياسي (LLaMA-3-8B) ووجدوا أن تحويله إلى هذا التنسيق الجديد لم يغير ذكاءه تقريباً، حيث فقد القليل جداً من القدرة مقابل اكتساب سرعة هائلة على الأجهزة الأرخص.

باختملص:
تقدم الورقة آلية انتباه مرنة تعمل كـ "محول عالمي". فهي تسمح لنموذج ذكاء اصطناعي واحد بالعمل بأقصى كفاءة على كل من الرقائق عالية المستوى والغالية، والرقائق الأرخص والمقيدة، ببساطة عن طريق تغيير كيفية تنظيم ذاكرته، دون الحاجة لإعادة تدريب النموذج أو بناء برمجيات جديدة.

ملخص تقني: GQLA – انتباه الاستعلام المجموعاتي الكامن (Group-Query Latent Attention) لفك تشفير النماذج اللغوية الكبيرة المتكيف مع الأجهزة

1. بيان المشكلة

يعاني فك التشفير في النماذج اللغوية الكبيرة (LLM) ذات التوليد الذاتي (Autoregressive) حالياً من اختناق جوهري ناتج عن حركة مرور ذاكرة المفاتيح والقيم (KV cache)، حيث يتطلب كل رمز (token) يتم توليده قراءة كامل تاريخ المفاتيح والقيم المخزنة في الذاكرة خارج الرقاقة (off-chip memory). وبينما تحقق البنى الحديثة مثل "الانتباه الكامن متعدد الرؤوس" (MLA)، المستخدم في DeepSeek-V2/V3، ضغطاً متطوراً لذاكرة KV عبر دمج المفاتيح والقيم في "كمون منخفض الرتبة" (low-rank latent)، إلا أنها تعاني من ثلاثة عيوب تقنية مرتبطة بالأجهزة عند نشرها على أجهزة متنوعة:

الاقتران بالأجهزة (Hardware Coupling): تكشف أوزان MLA المدربة مسار فك تشفير واحداً فقط (شكل "ممتص" من Multi-Query Attention أو MQA). هذا المسار مضبوط بدقة لتناسب نسبة الحساب إلى النطاق الترددي (compute-to-bandwidth ratio) في وحدات معالجة الرسوميات عالية الأداء مثل NVIDIA H100 (حيث القمة $\approx$ 295 FLOPs/byte). ومع ذلك، في وحدات معالجة الرسوميات المتاحة تجارياً أو المقيدة بالتصدير مثل H20 (التي تحتفظ بالنطاق الترددي ولكنها تقلل الحوسبة بنحو 7 أضعاف، مما يخفض القمة إلى $\approx$ 37 FLOPs/byte)، يصبح هذا المسار مقيداً بالحوسبة بشكل حاد، مما يؤدي إلى ضعف الإنتاجية (throughput).
فقدان التوازي التنسوري (Loss of Tensor Parallelism - TP): يقوم شكل MQA الممتص بتوجيه جميع رؤوس الاستعلام (query heads) عبر كمون KV مشترك واحد. هذا الهيكل يمنع التوازي التنسوري على طول محور الرؤوس، حيث يجب على كل جهاز تكرار الكمون بالكامل، مما يحد من القدرة على التوسع.
انعدام مكاسب التنبؤ متعدد الرموز (Zero Multi-Token Prediction Gain): تقنية MTP، التي تولد رموزاً متعددة في كل خطوة لزيادة الكثافة الحسابية، تدفع عملية فك التشفير في H20 (المقيدة بالحوسبة أصلاً) إلى ما وراء كفاءتها، مما يؤدي إلى صفر مكاسب في الإنتاجية. وعلى العكس من ذلك، في H100، تتجاوز MTP منطقة القمة، مما يقلل من كفاءة المكسب.

2. المنهجية: الانتباه الكامن المجموعاتي (GQLA)

يقترح المؤلفون الانتباه الكامن المجموعاتي (GQLA)، وهو تعديل بنيوي بسيط لـ MLA يحافظ على ضغط الكمون منخفض الرتبة المشترك مع إتاحة مسارين لفك التشفيد متكافئين جبرياً عبر نفس المعلمات المدربة.

البنية

يقوم GQLA بفهرسة مصفوفات الإسقاط العلوي ( $W_{UK}, W_{UV}$ ) عبر $g$ من المجموعات بدلاً من تكرارها عبر جميع رؤوس الاستعلام $h_q$ . يتيح هذا التصميم مسارين تنفيذيين متميزين:

مسار امتصاص MQA (صديق للذاكرة - Memory-Friendly):
- الآلية: مطابق لـ MLA. يتم امتصاص عمليات الإسقاط العلوي في إسقاطات الاستعلام والمخرجات. تقوم جميع رؤوس $h_q$ بالانتباه مباشرة إلى مخزن الكمون المدمج ( $cKV$ ).
- المخزن (Cache): يخزن فقط الكمون ( $r_{kv}$ ) ومفتاح RoPE مشترك ( $d^R_h$ ).
- الأجهزة المستهدفة: مُحسّن لأجهزة من فئة H100 حيث تقع الكثافة الحسابية ( $\approx$ 242 FLOPs/byte لـ $s_q=1$ ) تحت قمة الحوسبة والذاكرة مباشرة.
مسار GQA (صديق للحوسبة - Compute-Friendly):
- الآلية: يتم توسيع الكمون إلى $g$ من مجموعات المفاتيح/القيم. يعمل فك التشفير بنظام Grouped-Query Attention (GQA) التقليدي دون توسيع الكمون في كل خطوة.
- المخزن (Cache): يخزن المفاتيح والقيم الموسعة لكل مجموعة ( $2gd_h$ ) بالإضافة إلى مفتاح RoP المشترك.
- الأجهزة المستهدفة: مُحسّن لأجهزة من فئة H20. من خلال ضبط عدد المجموعات ( $g$ ) وعدد رموز الاستعلام لكل خطوة ( $s_q$ )، يمكن تثبيت الكثافة الحسابية عند قمة H20 ( $\approx$ 37 FLOPs/byte).
- القابلية للتوسع: يدعم التوازي التنسوري (Tensor Parallelism) يصل إلى 8 اتجاهات بدون تكرار (zero-redundancy) على طول محور المجموعة.

اختيار المسار

يختار وقت التشغيل (runtime) المسار بناءً على الجهاز المستهدف دون الحاجة لإعادة تدريب أو نوى (kernels) مخصصة:

H100: يستخدم مسار امتصاص MQA ( $s_q=1$ ).
H20: يستخدم مسار GQA (مثلاً $g=8, s_q=2$ أو $g=4, s_q=1$ ).
MTP: في H20، يستعيد مسار GQA مع $s_q=2$ مكاسب الإنتاجية المثالية تقريباً، بينما لا تحقق MLA أي مكاسب.

TransGQLA: التحويل من النماذج المدربة مسبقاً

لتجنب التدريب من الصفر، قدم المؤلفون TransGQLA، وهو امتداد لخط عمل TransMLA. يقوم بتحويل نموذج GQA مدرب مسبقاً إلى نموذج GQLA عبر تعديل واحد مستهدف:

دمج الرؤوس (Head Merging): بدلاً من دمج الرؤوس المجمعة في كمون واحد وتكرار الإسقاطات عبر جميع رؤوس الاستعلام (كما في TransMLA)، يحتفظ TransGQLA بالإسقاطات العليا المفهرسة حسب المجموعة.
النتيجة: يحتفظ النموذج بمسار تنفيذ GQA بنيوياً مع تمكين مسار امتصاص MQA عبر عملية الامتصاص القياسية. هذا يحافظ على التوازي التنسوري على طول محور المجموعة.

GQLA المتناثر (Sparse GQLA)

يمتد التصميم إلى الانتباه المتناثر دقيق الحبيبات (fine-grained sparse attention). نظرًا لأن تكوين GQLA القياسي ( $h_q/g = 16$ ) يتوافق مع أبعاد بلاطة (tile) Tensor-Core MMA ( $m=16$ )، يمكن لـ Sparse GQLA الحفاظ على مسار GQA على أجهزة فئة H20. في المقابل، تظل Sparse MLA مقيدة هيكلياً بمسار MQA الممتص بسبب قيود البلاطة، مما يرث نفس مشكلات عبء الحوسبة.

3. المساهمات الرئيسية

تحديد عيوب MLA: حددت الورقة أن تصميم MLA ذو المسار الواحد يربطه بنسب فئة H100، ويحرمه من التوازي التنسوري لمحور الرؤوس، ولا يحقق مكاسب MTP على وحدات معالجة الرسوميات التجارية.
بنية GQLA: متغير بسيط لـ MLA يكشف عن مسارين متكافيين جبرياً (MQA-absorb و GQA) عبر نفس الأوزان. تكوين واحد ( $h_q=128, g=8$ ) مع رأس MTP واحد يضبط سقف الأداء (rooflines) لكل من H100 و H20 في آن واحد.
خط عمل TransGQLA: طريقة تحويل تحول نماذج GQA المدربة مسبقاً إلى نماذج GQLA مع تغييرات بنيوية طفيفة، مما يحافظ على التوازي التنسوري ويمكّن الانتقال السلس إلى الشكل الكمون (latent form).
تحليل السقف (Roofline Analysis): تحقق نظري يظهر أن أوزان GQLA يمكن أن تحقق إنتاجية قريبة من الذروة على كل من H100 و H20 عبر تبديل المسارات، بينما تكون MLA غير فعالة على H20.

4. النتائج

قيم المؤلفون TransGQLA على نموذج LLaMA-3-8B:

الحفاظ على القدرة: أدى تحويل أوزان GQA إلى شكل GQLA الكمون (دون تدريب إضافي) إلى فقدان قدره $\sim$ 9.7 نقطة متوسطة في اختبارات الاستدلال المنطقي (MMLU، ARC، إلخ) مقارنة بالنموذج الأصلي المدرب على 15 تريليون رمز.
ضغط الذاكرة (Cache Compression): في مسار امتصاص MQA، تم ضغط ذاكرة KV لكل رمز إلى 28.125% من خط الأساس لـ GQA الأصلي (أي تقليل بنسبة 71.875%).
توقعات الإنتاجية (Throughput):
- H100: يحقق مسار امتصاص MQA حوالي 354 ألف رمز/ثانية.
- H20: يحقق مسار GQA (مع $g=8, s_q=2$ ) حوالي 221 ألف رمز/ثانية، وهو تحسن بمقدار 3.4 ضعف مقارنة بـ MLA على نفس الجهاز (التي عالقة عند 65 ألف رمز/ثانية بسبب كونها مقيدة بالحوسبة).
التدريب المسبق المستمر: يتوقع المؤلفون أن التدريب المسبق المستمر (باتباع مسار TransMLA) سيستعيد القدرة المفقودة لتصل إلى ضمن 0.5 نقطة من النموذج الأصلي بعد 30 مليار رمز، مع الحفاظ على ضغط ذاكرة KV.

5. الأهمية والادعاءات

تزعم الورقة أن GQLA يقدم مبدأ تصميم عملي وغير مرتبط بجهاز محدد (hardware-agnostic). من خلال إتاحة مسارين لفك التشفير متكافيين جبرياً عبر نفس مجموعة الأوزان المدربة، يسمح GQLA للنموذج بالتكيف مع قيود الأجهزة المختلفة (الغنية بالحوسبة مقابل الغنية بالذاكرة) عند وقت النشر دون إعادة تدريب أو نوى مخصصة.

يضع المؤلفون GQLA كحل لمشكلة "الاقتران بالأجهزة"، مما يتيح النشر الفعال على كل من المسرعات الرائدة (H100) والأجهزة التجارية/المقيدة بالتصدير (H20). ويؤكدون أن هذا النهج يدعم التنبؤ متعدد الرموز (MTP) والتوازي التنسوري في الأماكن التي تفشل فيها MLA في القيام بذلك بكفاءة.

القيود المعترف بها:

تعتمد ادعاءات الأجهزة على نمذجة Roofline؛ لا تزال الاختبارات الكاملة على مستوى النواة (kernel-level) على أجهزة H20/H100 الفعلية قيد الانتظار.
نتائج التدريب المسبق المستمر لـ TransGQLA لا تزال قيد التنفيذ ولم تكتمل نهائياً في الورقة.
التقييم الحالي محدود بنموذج LLaMA-3-8B واختبارات الاستدلال المنطقي.
وصف Sparse GQLA هو وصف بنيوي ولم يتم اختباره بعد مقابل طرق الانتباه المتناثر الموجودة.