🤖 machine learning

Beyond KV Reconstruction: Functional Reconstruction for MLA Draft Models in Speculative Decoding

تقترح هذه الورقة طريقة "إعادة البناء الوظيفي" لفك التشفير التخميني، والتي تعمل على تحسين نماذج مسودة انتباه متعدد الرؤوس كامن (MLA) المحولة لتكرار سلوك ما بعد إسقاط المخرجات لنظائرها الأصلية من نماذج الانتباه متعدد الرؤوس (MHA) أو الانتباه متعدد الرؤوس المتقارب (GQA)، مما يؤدي إلى تحسين معدلات قبول الرموز بشكل كبير دون الحاجة إلى إعادة تدريب أو إشراف من جهة التحقق.

المؤلفون الأصليون: Weiye Shi, Fanxu Meng, Muhan Zhang

نُشر 2026-07-31

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Weiye Shi, Fanxu Meng, Muhan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال رسالة سرية عبر غرفة مزدحمة. في عالم الذكاء الاصطناعي، تشبه النماذج اللغوية الكبيرة عمالقة أذكياء ولكنهم ثقلو الخطى. عندما يكتبون قصة أو يحلون مسألة رياضية، يتعين عليهم تذكر كل ما قالوه حتى الآن. تُسمى هذه الذاكرة "ذاكرة المفتاح والقيمة (KV cache)". فكر فيها كحقيبة ظهر ضخمة ومتنامية يحملها العملاق. ومع طول القصة، تصبح الحقيبة أثقل فأثقل، مما يبطئ حركة العملاق لأنه يستهلك الكثير من الطاقة لمجرد حملها.

ولإصلاح ذلك، اخترع العلماء حيلة جديدة تسمى "الانتباه الكامن متعدد الرؤوس" (Multi-head Latent Attention - MLA). فبدلاً من حمل حقيبة ظهر كاملة وثقيلة، يحمل العملاق الآن "مذكرة ملخصة" صغيرة ومضغوطة (حالة كامنة) تحتوي على نفس المعلومات ولكنها تشغل مساحة أقل بكثير. الأمر يشبه استبدال حقيبة سفر مليئة بالملابس ببطاقة بريدية ذكية واحدة تخبرك بالضبط بما يجب أن ترتديه. هذا يجعل العملاق أسرع وأخف وزناً.

ومع ذلك، هناك عقبة. معظم العمالقة الأذكياء الذين نمتلكهم اليوم تم تدريبهم على حمل الحقائب الثقيلة. ولجعلهم يستخدمون البطاقات البريدية الجديدة، يتعين علينا "تحويلهم". ولكن أحياناً، يكون هذا التحويل أشبه بترجمة كتاب إلى لغة مختلفة وتغيير معنى بعض الكلمات الرئيسية عن طريق الخطأ. لا يزال بإمكان العملاق المشي، ولكن إذا سألته أن يخمن الكلمة التالية في جملة، فقد يخمن الكلمة الخاطئة. تستكشف هذه الورقة مشكلة محددة: عندما نحاول استخدام هؤلاء العمالقة "المحولين" لتسريع الكتابة من خلال التخمين المسبق (تقنية تسمى "التوليد الاستدلالي" أو speculative decoding)، فإن أخطاء التحويل تتسبب في فشل التخمينات، مما يؤدي إلى إبطاء العملية مرة أخرى. وقد وجد الباحثون طريقة لـ "إعادة ضبط" التحويل لكي يخمن العملاق بشكل صحيح مرة أخرى، دون الحاجة إلى إعادة تدريب النموذج بالكامل من الصفر.

المشكلة: الترجمة "الجيدة بما يكفي"

لنفترض أن لديك طباخاً ماهراً (نموذج الذكاء الاصطناعي الأصلي) يعرف تماماً كيفية طهي طبق مثالي. تريد توظيف طباخ مساعد (النموذج "المسودة") ليخمن المكون التالي حتى يتمكن الطباخ الماهر من الطبخ بشكل أسرع. إذا خمن المساعد بشكل صحيح، يكتفي الطباخ الماهر بالإيماء برأسه ويستمر في العمل. أما إذا أخطأ المساعد في تخمينه، فيضطر الطها الماهر إلى التوقف، وتصحيح خطئه، والبدء من جديد، مما يهدر الوقت.

الآن، تخيل أنك أخذت طباخاً ماهراً كان يعرف فقط كيف يطبخ باستخدام "ووك" (مقلاة عميقة) ضخمة وثقيلة (طريقة KV cache القديمة) وأجبرته على استخدام مقلاة صغيرة وخفيفة الوزن (طريقة MLA الجديدة). يمكنك القيام بهذا التحويل دون شراء طباخ جديد، لكن المقلاة الجديدة تغير طريقة وصول الحرارة إلى الطعام. قد يظل الطباخ قادراً على الطبخ، لكن "ذوقه" في اختيار المكون التالي قد ينحرف قليلاً.

وجد الباحثون أنه عندما استخدموا هؤلاء الطها "المحولين" كطها مساعدين للتخمين المسبق، كانوا يخطئون في التخمين كثيراً جداً. عملية التحويل أدخلت أخطاءً ضئيلة في كيفية معالجة الطاه للمعلومات. وفي سيناريو طبخ عادي، قد تكون هذه الأخطاء غير مرئية. ولكن في لعبة السرعة العالية لـ "تخمين الكلمة التالية"، حتى الاختلاف الضئيل في المذاق يتسبب في رفض الطباخ الماهر للتخمين، مما يحول ميزة السرعة إلى تباطؤ.

الحل: إعادة البناء الوظيفي (Functional Reconstruction)

تقترح الورقة حلاً ذكياً يسمى "إعادة البناء الوظيفي". بدلاً من محاولة إعادة بناء الطباخ من الصفر (وهو أمر سيستغرق وقتاً طويلاً وسيكلف ثروة)، يعامل الباحثون الطباح المحول كآلة موسيقية خارجة عن النغمة قليلاً.

إليكم كيف يفعلون ذلك:

الإعداد: يأخذون الطباخ المحول (نموذج MLA) والطباخ الماهر الأصلي (نموذج GQA المجمد).
الاختبار: يقدمون لكلا الطباخين نفس المكونات (بيانات المعايرة) ويطلبون منهما طهي نفس الطبق.
الضبط: ينظرون إلى الطبق النهائي (المخرج) من كلا الطباخين. إذا كان طبق الطباخ المحول مختلفاً ولو بنسبة ضئيلة في المذاق، يقومون بتعديل مقابض معينة في مقلاة الطباخ المحول (إسقاطات الاستعلام والمفتاح - query and key projections) حتى يتطابق المذاق مع طبق الطباخ الماهر تماماً.

الأمر الجوهل هو أنهم يفعلون ذلك دون أن يطلبوا من الطباخ الماهر تقييم الطبق النهائي مقابل كتاب وصفات. هم يريدون فقط من الطباخ المحول أن يحاكي عملية الطباخ الماهر بدقة. وهذا ما يسمى "إعادة البناء الوظيفي" لأنهم يصلحون الوظيفة (سلوك المخرجات) بدلاً من مجرد البنية (حجم المقلاة).

ما وجدوه

اختبر الباحثون هذا على 192 سيناريو مختلفاً، حيث مزجوا بين أنواع مختلفة من الطها (نماذج Llama و Qwen)، وأدوات تحويل مختلفة، ومهام متنوعة مثل كتابة الكود، الإجابة على الأسئلة، أو تلخيص الأخبار.

الأخبار الجيدة: في 37 من أصل 64 حالة متطابقة، أحدث هذا "الضبط" فرقاً كبيراً. بدأ الطها المحولون يخمنون الكلمة التالية بشكل صحيح في كثير من الأحيان، مما يعني أن النظام بأكمله يمكنه الكتابة بشكل أسرع. وفي بعض الحالات، كان تسريع الأداء ملحوظاً، حيث ارتفعت معدلات القبول بأكثر من 4 نقاط مئوية.
الأخبار المحايدة: في 26 حالة، لم يغير الضبط الكثير. كان الطها يؤدون عملهم بشكل جيد بالفعل، أو كانت الأخطاء صغيرة جداً بحيث لا تؤثر.
الأخبار السيئة: في حالة واحدة فقط، جعل الضبط الأمور أسوأ قليلاً. وهذا يوضح أنه بينما تعد هذه الطريقة قوية، إلا أنها ليست سحرية؛ فهي لا تستطيع إصلاح كل مشكلة، خاصة إذا كان التحويل الأولي كارثياً.

لماذا يهم هذا؟

الدرس الأهم المستفاد من هذه الورقة هو أن تحويل النموذج وجعله نموذج "تخمين" جيد هما وظيفتان مختلفتان. مجرد كون النموذج قابلاً للتحويل لتوفير الذاكرة لا يعني أنه سيكون جيداً في مساعدة النماذج الأخرى على العمل بشكل أسرع.

أظهر الباحثون أنك لست بحاجة لإعادة تدريب النموذج بالكامل أو استخدام نظام تحقق معقد للغاية لإصلاح ذلك. أنت فقط بحاجة إلى "إعادة ضبط" النموذج المحول ليتطابق مع سلوك النموذج الأصلي باستخدام مجموعة صغيرة من بيانات الاختبار. هذه طريقة سريعة وفعالة للحصول على أفضل ما في العالمين: توفير الذاكرة الذي توفره التقنية الجديدة، ودقة النماذج القدة والمثبتة.

ومع ذلك، يلاحظ المؤلفون بحذر أن هذا ليس عصا سحرية تحل كل شيء. إذا كان التحويل الأولي معطلاً للغاية، أو إذا كان نظام الكمبيوتر الذي يشغل النموذج (الـ "backend") غير متوافق، فإن هذا الضبط لا يمكنه الإصلاح. ولكن بالنسبة للعديد من الحالات الشائعة، فهي أداة بسيطة وفعالة لجعل الذكاء الاصطناعي أسرع وأذكى.

ملخص تقني: ما وراء إعادة بناء KV – إعادة البناء الوظيفي لنماذج مسودة MLA في فك التشفير الاستباقي

بيان المشكلة

برزت آلية الانتباه الكامن متعدد الرؤوس (MLA) كبنية حاسمة لاستنتاج النماذج اللغوية الكبيرة (LLM) ذات السياق الطويل، حيث استبدلت ذاكرة (KV) المتنامية بحالات كامنة مدمجة لتقليل حركة البيانات في الذاكرة. وبينما تتيح الطرق الحالية (مثل TransMLA و MHA2MLA) تحويل نماذج الانتباه متعدد الرؤوس (MHA) أو انتباه الاستعلام المجموع (GQA) سابقة التدريب إلى MLA دون الحاجة لإعادة تدريب مكلفة، إلا أن عمليات التحويل الهيكلي هذه غالبًا ما تفشل عندما يُستخدم النموذج المحول كـ نموذج مسودة (Draft Model) في عملية فك التشفير الاستباقي (Speculative Decoding).

تكمن المشكلة الجوهرية في أن فك التشفير الاستباقي يعتمد على توافق عالٍ بين مقترحات الرموز (Tokens) التي يقدمها نموذج المسودة وعملية التحقق من قبل النموذج المستهدف. يؤدي التحويل المباشر من MHA/GQA إلى MLA إلى مصدرين رئيسيين للخطأ يقللان من هذا التوافق:

أخطاء التفكك منخفض الرتبة (Low-rank factorization errors): لا يمكن لضغط إسقاطات KV إلى فضاء كامن ذي أبعاد أقل أن يعيد إنتاج خرائط K/V المكدسة الأصلية بدقة عندما تتجاوز الرتبة الأصلية الرتبة الكامنة.
أخطاء معالجة RoPE: يؤدي تفكيك تضمينات الموضع الدوارة (RoPE) أثناء التحويل إلى بقايا (Residuals) في المسارات الموضعية المحتفظ بها.

بينما قد تكون هذه الأخطاء مقبولة في عملية التوليد المستقلة، إلا أنها تسبب انخفاضًا كبيرًا في معدلات قبول الرموز أثناء فك التشفير الاستباقي، مما يحول نموذج المسودة إلى عبء حسابي بدلاً من أن يكون مسرعًا. تركز طرق التحويل الحالية على الصلاحية الهيكلية (كفاءة التخزين المؤقت) بدلاً من الدقة الوظيفية (توافق المقترحات).

المنهجية

تقترح الورقة البحثية إعادة البناء الوظيفي (Functional Reconstruction)، وهي إجراء ما بعد التحويل شامل (E2E) ومستقل عن نوع المحول، مصمم لتحسين جودة المسودة دون تغيير بنية التخزين المؤقت المحولة أو طلب إشراف من النموذج الموثق (Verifier).

الآلية الجوهرية

تعامل هذه الطريقة بناء مسودة MLA كـ مشكلة إعادة بناء وظيفية وليس كمشكلة ضغط ذاكرة تخزين مؤقت. وهي تعمل عبر ثلاث مراحل:

التهيئة: يوفر محول قياسي (TransMLA أو MHA2MLA) نقطة تفتيش (Checkpoint) أولية لـ MLA قادرة على التخزين المؤقت.
هدف التدريب: تقوم الطريقة بتدريب إسقاطات الاستعلام (Query) و KV التي استحدثها المحول فقط. تظل إسقاطات المخرجات ( $W_O$ $W_{O}$ ) وكتل MHA/GQA الأصلية مجمدة.
- بالنسبة لحالة كامنة معيرة $h_\ell$ ، يقوم النظام بحساب مخرجات كتلة GQA الأصلية المجمدة ( $A^{orig}_\ell(h_\ell)$ ) و كتلة MLA المحولة القابلة للتدريب ( $A^{MLA}_\ell(h_\ell)$ ).
- تعمل دالة الخسارة على تقليل متوسط الخطأ التربيعي (MSE) المقنع بين استجابات الكتل بعد إسقاط المخرجات:
  $\mathcal{L}^{(\ell)}_{E2E} = \mathbb{E}_b \left[ \frac{\| M_b \odot (A^{MLA}_\ell(H^b_\ell) - \text{sg}[A^{orig}_\ell(H^b_\ell)]) \|_F^2}{\sum_t M_{b,t}} \right]$
  حيث $M_b$ هي قناع (Mask) للرموز الصالحة، و $\text{sg}$ تعني إيقاف التدرج (Stop-gradient).
النطاق: يغطي الهدف دالة الانتباه بأكملها من مدخل الطبقة إلى مخرج ما بعد إسقاط المخرجات، مما يعالج بشكل مشترك أخطاء تحويل KV منخفض الرتبة وأخطاء معالجة RoPE.

الخصائص الرئيسية

مستقل عن المحول (Converter-Agnostic): تعمل نفس الطريقة على تحسين نقاط التفتيش من محولات مختلفة (TransMLA, MHA2MLA) مع الحفاظ على طبولوجيا التخزين المؤقت الخاصة بكل منها.
لا يتطلب إشرافًا من الموثق: لا يتطلب أي لوجيتات (Logits)، أو تنشيطات (Activations)، أو تسميات مرجعية من النموذج المستهدف، بل يعتمد فقط على الحالات الكامنة المعيرة من النموذج الأصلي.
خالٍ من تكاليف الاستنتاج: لا يضيف أي بارامترات جديدة، أو فروع، أو حالات تخزين مؤقت أثناء الاستنتاج.

المساهمات الرئيسية

التمييز بين الأهداف: توضح الورقة أن التحويل الهيكلي (ضمان بارامترات صالحة لـ MLA) وبناء المسودة (ضمان توافق المقترحات لفك التشفير الاستباقي) هما هدفان متمايزان. يمكن للنموذج أن يكون صالحًا هيكليًا ولكنه ضعيف وظيفيًا كمسودة.
التحسين وقت التدريب: تثبت أن جودة المسودة يمكن تحسينها بالكامل في وقت التدريب باستخدام هدف وظيفي يطابق سلوك الانتباه للنموذج الأصلي، دون الحاجة لإشراف من الموثق.
القابلية العامة للتطبيق: تظهر الطريقة أنها مستقلة عن المحول، حيث تحسن أو تحافظ على الأداء عبر محولات مختلفة (TransMLA, MHA2MLA)، وعائلات نماذج متنوعة (Llama, Qwen)، ومنصات تشغيل مختلفة (Hugging Face, vLLM).

النتائج التجريبية

قيم المؤلفون 192 تهيئة تغطي أربعة أزواج (نموذج مسودة $\leftarrow$ نموذج مستهدف) وهي (Llama-1B/3B $\leftarrow$ Llama-8B; Qwen-1.5B/3B $\leftarrow$ Qwen-7B)، مع محولين، ومنصتين، وأربع مهام (HumanEval, Alpaca, Natural Questions, CNN/DailyMail).

معدلات القبول: مقارنة بخط الأساس "Partial RoPE" (طريقة إعادة بناء محلية للمحول)، حققت إعادة البناء الوظيفي تحسينات جوهرية في القبول في 37 من أصل 64 خلية مهمة (باستخدام تفاوت قدره 0.5 نقطة مئوية).
- 26 خلية ظلت دون تغيير ملموس.
- خلية واحدة أظهرت انخفاضًا ملموسًا.
الإنتاجية (Throughput): من بين الـ 37 خلية التي شهدت تحسنًا في القبول، أظهرت 12 منها أيضًا زيادة ملموسة في الإنتاجية. لا تفرض الطريقة أي عبء إضافي على الاستنتاج، لذا فإن مكاسب الإنتاجية مدفوعة بمعدلات قبول أعلى.
تأثيرات التفاعل: كشفت النتائج عن نمط "التقاطع" (Crossover):
- Llama + TransMLA: تحسن مستمر.
- Qwen + MHA2MLA: تحسن مستمر.
- Llama + MHA2MLA: لم يتغير غالبًا (مما يشير إلى أن التحويل الأولي كان قريبًا وظيفيًا بالفعل).
- Qwen + TransMLA: نتائج مختلطة، مع بعض الحساسية تجاه منصة التشغيل (Backend).
حدود الاستعادة: بينما تستعيد الطريقة جزءًا كبيرًا من القبول المفقود أثناء التحويل، إلا أنها لا تستطيع دائمًا استعادة أداء نموذج GQA الأصلي غير المحول بالكامل، خاصة عندما يؤدي التحويل الأولي أو تنفيذ المنصة إلى عدم تطابق شديد (مثل دلالات التوازي عبر التنسور - Tensor Parallelism Semantics).

الأهمية والادعاءات

تجادل الورقة بأن تحويل MLA وبناء مسودة MLA يجب أن يُعاملا كمهمتين مرتبطتين ولكن منفصلتين.

النجاح الهرمي: حدد المؤلفون ثلاثة مستويات للنجاح: الصلاحية الهيكلية (بارامترات قابلة للتنفيذ)، الدقة الوظيفية (مطابقة خرائط الانتباه)، وفائدة المسودة (القبول الاستباقي). غالبًا ما تحقق المحولات الحالية المستوى الأول لكنها تفشل في المستويين الآخرين.
الواجهة الوظيفية: تكمن أهمية إعادة البناء الوظيفي في وضع هدف التحسين عند واجهة وظيفية مشتركة (بعد $W_O$ ) بدلاً من افتراض أن كل محول يترك توزيع خطأ متماثل. إنها تعمل كـ "مقبض تحكم" في وقت التدريب لصقل نموذج المسودة ضمن القيود الثابتة للرتبة الكامنة وميزانية التخزين المؤقت.
الآثار العملية: تشير الورقة إلى سير عمل ثلاثي المستويات لخطوط أنابيب MLA المستقبلية: (1) إنشاء بارامترات فعالة للتخزين المؤقت، (2) تطبيق إعادة البناء الوظيفي لتحسين خريطة الانتباه، و(3) التحقق عبر القبول المطابق. وتؤكد أنه بينما تعد إعادة البناء الوظيفي عملية صقل عامة، إلا أنها لا تستطيع تعويض عدم التطابق الجوهري في الرتبة الكامنة أو تنفيذ المنصة (مثل دلالات التوازي عبر التنسور).

تخلص الورقة إلى أنه بينما تحسن إعادة البناء الوظيفي القبول بشكل ملموس في العديد من السيناريوهات، فإن تحقيق تسريع استباقي كامل لا يزال يتطلب محولات أولية عالية الجودة ونواة (Kernels) محسنة لـ MLA.