🤖 machine learning

Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse

تقترح هذه الورقة تقنية تعيين خطي ذات صيغة مغلقة تتيح إعادة استخدام مخازن التخزين المؤقت لـ (KV cache) بكفاءة عبر النماذج ذات الأحجام المختلفة ضمن العائلة نفسها، مما يسمح للمستقبلين بتجاوز عمليات الملء المسبق الفائضة مع الاحتفاظ بنسبة 73-98% من دقة النموذج المستقل وتقليل زمن انتقال الاستدلال بشكل كبير.

المؤلفون الأصليون: Taekyung Heo, Rasoul Shafipour, Ritchie Zhao, Maximilian Golub, Mohammad Mahdi Kamani, Ritika Borkar, Makesh Tarun Chandran, Pantea Zardoshti, Bita Darvish Rouhani

نُشر 2026-08-05

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Taekyung Heo, Rasoul Shafipour, Ritchie Zhao, Maximilian Golub, Mohammad Mahdi Kamani, Ritika Borkar, Makesh Tarun Chandran, Pantea Zardoshti, Bita Darvish Rouhani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مكتبة ضخمة وذكية للغاية، حيث تُكتب الكتب بواسطة فريق من المؤلفين ذوي مستويات مختلفة من الخبرة. أحياناً، تحتاج إلى إجابة سريعة وبسيطة، فتسأل مساعداً مبتدئاً. وفي أحيان أخرى، تحتاج إلى تحليل عميق ومعقد، فتستدعي خبيراً رفيع المستوى. في عالم الذكاء الاصطناعي، هؤلاء "المساعدون" و"الخبراء" هم نماذج لغوية كبيرة (LLMs) ذات أحجام مختلفة. ولجعل المحادثة تتدفق بسلاسة، يتعين على النظام غالباً التبديل بين هذه النماذج المختلفة أثناء الدردشة.

ومع ذلك، هناك عقبة. ففي كل مرة تنتقل فيها من المساعد المبتدئ إلى الخبير الرفيع، يتعين على الخبير البدء في قراءة تاريخ المحادثة بأكره من البداية لفهم السياق. هذه العملية، التي تسمى "التعبئة المسبقة" (prefill)، تشبه قيام الخبير بإعادة قراءة رواية مكونة من 100 صفحة فقط ليتذكر ما حدث في الفصل الأول. إنها عملية تستغرق الكثير من الوقت، والطاقة، والمال. لقد حاول العلماء معرفة ما إذا كان بإمكان الخبير الرفيع مجرد "استعارة" ملاحظات المساعد المبتدئ (التي تسمى "ذاكرة التخزين المؤقت KV cache") لتجنب إعادة القراءة، لكن الملاحظات مكتوبة بخط يد مختلف قليلاً، مما يجعل من الصعب قراءتها مباشرة.

هذه الورقة البحثية، التي تحمل عنوان "نقل ذاكرة التخزين المؤقت KV عبر النماذج"، تعالج هذه المشكلة تحديداً. فقد اكتشف الباحثون أنه على الرغم من أن ملاحظات النموذج الصغير والنموذج الكبير تبدو مختلفة، إلا أنها تتشارك في الواقع علاقة خفية مستقيمة. وقد وجدوا أنه يمكنك استخدام حيلة رياضية بسيطة — وهي "رسم خرائط خطي مغلق الصيغة" (closed-form linear mapping) — لترجمة ملاحظات المساعد المبتدئ إلى لغة الخبير الرفيع دون الحاجة إلى إعادة تدريب النماذج أو استخدام شبكات عصبية معقدة.

فكر في الأمر على هذا النحو: المساعد المبتدئ يكتب قصة باستخدام مجموعة محددة من أقلام التلوين. والخبير الرفيع يحتاج القصة بمجموعة أخرى من أقلام التلوين. وبدلاً من مطالبة الخبير بإعادة قراءة القصة وإعادة كتابتها من الصفر، قام الباحثون ببناء "مترجم أقلام تلوين". هذا المترجم هو معادلة بسيطة تقول: "إذا استخدم المبتدئ لوناً أحمر هنا، فيجب على الخبير استخدام لون أزرق هناك". ومن المثير للدهشة أن هذا الترجمة البسيطة تعمل بشكل جيد للغاية. ففي بعض أزواج النماذج، حقق الخبير الرفيع 98% من الدقة التي كان سيحققها لو قرأ القصة بنفسه، لكنه فعل ذلك بسرعة أكبر بـ 2.7 إلى 25 مرة.

اختبر الفريق هذه الطريقة على ستة أزواج مختلفة من النماذج من ثلاث عائلات شهيرة (Qwen3، وLlama 3.1، وMinistral). ووجدوا أنه بالنسبة لأربعة من هذه الأزواج، عمل "مترجم أقلام التلوين" البسيط بشكل مثالي تقريباً. أما بالنسبة للزوجين اللذين واجه فيهما المترجم البسيط صعوبة، فقد أظهروا أن أداة أكثر تعقيداً قليلاً (MLP غير خطي) يمكنها إصلاح الأخطاء، مما عزز الأداء بنسبة تصل إلى 37 نقطة مئوية. وتشير الورقة إلى أن مفتاح النجاح لا يكمن فقط في مدى تطابق الملاحظات، بل في أين تحدث أخطاء الترجمة. فإذا وقعت الأخطاء في أجزاء من القصة لا يوليها الخبير اهتماماً، فلا يهم. ولكن إذا وقعت في الأجزاء المهمة، فإن الترجمة تفشل.

باختصار، يقترح المؤلفون أننا لسنا بحاجة إلى بناء جسور مكلفة ومعقدة بين النماذج. بدلاً من ذلك، يمكن لخريطة رياضية بسيطة وسريعة ولا تتطلب تدريباً أن تسمح لنماذج الذكاء الاصطناعي ذات الأحجام المختلفة بمشاركة "ذاكرتها" فورياً. وهذا يمكن أن يجعل محادثات الذكاء الاصطناعي أسرع وأرخص بكثير، مما يسمح للأنظمة بالتبديل بين الأنماط السريعة والذكية دون تأخير ناتج عن البدء من جديد. النتائج مقاسة ومتينة للنماذج التي تم اختبارها، مما يظهر أن استراتيجية "استعارة الملاحظات" هذه هي وسيلة عملية لتسريع مستقبل الذكاء الاصطناعي.

ملخص تقني: نقل ذاكرة التخزين المؤقت لـ KV عبر النماذج في عائلات النماذج اللغوية الكبيرة (LLM)

1. صياغة المشكلة

يعتمد تشغيل النماذج اللغوية الكبيرة (LLM) في بيئات الإنتاج بشكل متزايد على تنسيق متعدد النماذج من أجل التدرج بين التكلفة والجودة، والتبديل أثناء المحادثة، والتوجيه. غالبًا ما تقوم سير العمل هذه بالتبديل بين أعضاء مختلفين الأحجام من نفس عائلة النماذج (على سبيل المثال، من Qwen3 14B إلى 32B). وبينما تشترك هذه النماذج في الخيارات المعمارية الأساسية وبيانات التدريب المسبق، إلا أنها تختلف في الحجم، وعدد الطبقات، ووصفات التدريب.

العائق الرئيسي في مثل هذه سير العمل هو تكلفة التعبئة المسبقة (prefill cost). ففي كل مرة يتم فيها تسليم سياق محادثة من نموذج مصدر إلى نموذج مستهدف، يجب على النموذج المستهدف إعادة معالجة السياق المتراكم بالكامل لملء ذاكرة التخزين المؤقت لمفاتيح وقيم (KV) الخاصة به. وتتوسع عملية المرور الأمامي (forward pass) هذه مع حجم النموذج وطول النص (prompt). الحلول الحالية مثل "التخزين المؤقت للبواقي" (prefix caching) تعمل فقط ضمن نموذج واحد، بينما تتطلب الأساليب السابقة عبر النماذج (مثل الـ neural fusers أو الـ latent adapters) تدريبًا يعتمد على التدرج (gradient-based training) أو قيودًا معمارية صارمة (مثل تساوي عدد الطبقات).

تقترح هذه الورقة نقل ذاكرة التخزين المؤقت لـ KV عبر النماذج، وهي طريقة لإعادة استخدام ذاكرة التخزين المؤقت لـ KV التي تم تعبئتها مسبقًا في النموذج المصدر مباشرة في النموذج المستهدف، مما يتخطى مرحلة التعبئة المسبقة للنموذج المستهدف بالكامل. الهدف هو إيجاد دالة $f: C_S \to \hat{C}_T$ بحيث ينتج النموذج المستهدف عند فك التشفير (decoding) من الذاكرة المخططة $\hat{C}_T$ مخرجات مكافئة لفك التشفير من ذاكرته الأصلية $C_T$ .

2. المنهجية

يفترض المؤلفون أن العلاقات بين الـ KV عبر النماذج تمتلك بنية خطية جوهرية، مما يسمح بوجود رسم خرائط (mapping) مغلق الصيغة وخالٍ من التدرج. يعمل الإطار المقترح على أزواج "الـ KV المتطابقة" (matched-KV)، حيث يتشارك النموذج المصدر والمستهدف نفس عدد رؤوس الـ KV وأبعاد كل رأس، حتى لو اختلف إجمالي عدد الطبقات أو أحجام المعلمات.

تم تصميم "الرّسام" (mapper) بثلاثة مكونات أساسية:

أ. الانحدار المتعدد (Ridge Regression) لكل رأس

بدلاً من الشبكة العصبية العالمية، تستخدم الطريقة رسم خرائط خطي مستقل لكل طبقة ورأس في النموذج المستهدف.

المدخلات: ميزات KV المجمعة من مجموعة فرعية مختارة من طبقات المصدر.
المخرجات: نواقل المفتاح (Key - $K$ ) والقيمة (Value - $V$ ) المتوقعة للنموذج المستهدف.
التحسين: يتم حل الأوزان عبر الانحدار المتعدد (ridge regression) (الحل المغلق) على مجموعة معايرة صغيرة (500 تسلسل، طول كل منها 1,024 توكن من FineWeb-Edu). تم استخدام تنظيم Ridge ( $\lambda=0.01$ ) للتعامل مع الطبيعة شبه المنفردة (near-singular) لمصفوفة الميزات عندما تكون طبقات المصدر مرتبطة ببعضها.

ب. اختيار المصدر عبر الطبقات

بما أن النماذج المصدر والمستهدف يمتلكان أعماقًا مختلفة ( $L_S \neq L_T$ )، يجب على الطريقة تحديد أي طبقات المصدر تساهم في كل طبقة مستهدفة.

استراتيجية الاختيار: لكل طبقة مستهدفة، يتم اختيار أفضل $k$ من طبقات المصدر بناءً على قدرتها التنبؤية (التي تُقاس بمتوسط $R^2$ للرؤوس على مجموعة معايرة).
الآلية: يتم دمج ميزات KV من هذه الـ $k$ طبقة من الأعلى لتشكيل المدخلات للانحدار المتعدد. يُظهر التحليل التجريبي أن المعلومات المتكاملة موزعة عبر طبقات متعددة من المصدر؛ حيث لا تكفي طبقة واحدة، لكن الأداء يصل إلى حالة التشبع بسرعة (على سبيل المثال، $k=6$ يستوعب معظم التباين لـ $k=all$).

ج. رسم خرائط مساحة المحتوى (RoPE Factoring)

تستخدم النماذج اللغوية الكبيرة القياسية تضمينات الموضع الدوارة (RoPE)، والتي تطبق دورات تعتمد على الموضع على المفاتيح.

المشكلة: إن ملاءمة (fitting) الرّسام مباشرة على المفاتيح المدورة يربط الأوزان بتوزيع الموضع المحدد الذي شوهد أثناء المعايرة، مما يحد من القدرة على النقل لمسافات سياقية مختلفة.
الحل: تقوم الطريقة بإزالة RoPE من مفاتيح المصدر قبل الرسم، ثم تعيد تطبيق RoPE الخاص بالنموذج المستهدف بعد الرسم.
- $K_{stripped} = K_{source} \cdot R^{-1}_{\Theta_s}$
- $\hat{K}_{target} = (K_{stripped} \cdot W + b) \cdot R_{\Theta_t}$
هذا يفصل الدوران الموضعي عن المحتوى الدلالي، مما يجعل الملاءمة الخطية مستقلة عن الموضع وقابلة لإعادة الاستخدام عبر أطوال السياق المختلفة (حتى 32 ألف توكن).

د. الامتداد غير الخطي (MLP)

بالنسب لمجموعات الأزواج التي تفشل فيها ملاءمة Ridge الخطية في الاحتفاظ بدقة كافية، يقترح المؤلفون بديلاً يتم وضعه مكانياً باستخدام طبقة "Perceptron متعددة الطبقات" (MLP) صغيرة. يقوم هذا الـ MLP بإعادة توزيع الخطأ المتبقي بعيداً عن الفضاءات الفرعية الحساسة للانتباه (attention-sensitive subspaces)، مما يستعيد الأداء في الأزواج الصعبة.

3. المساهمات الرئيسية

إطار عمل للملاءمة مغلق الصيغة: إطار عمل يعتمد على الانحدار المتعدد لكل رأس، وهو خالٍ من التدرج، ويسمح بنقل KV عبر النماذج دون الحاجة للتدريب. يعتمد على اختيار أفضل $k$ من طبقات المصدر ورسم خرائط المحتوى المجرد من RoPE.
التحقق من عائلات متعددة: التحقق عبر ثلاث عائلات نماذج (Qwen3, Lba 3.1, Ministral 3) وستة أزواج متطابقة الـ KV.
الاستعادة غير الخطية: إثبات أن MLP خفيف الوزن يمكنه استعادة الأداء في الأزواج "الصعبة" حيث تفشل الملاءمة الخطية، وتحديداً من خلال إعادة توزيع الخطأ بعيداً عن الأبعاد الحساسة للانتباه.
مقياس تشخيصي: تحديد أن تشابه جيب التمام لمخرجات الانتباه (attention-output cosine similarity) هو متنبئ أفضل للحفاظ على الأداء في المهام اللاحقة مقارنة بمقاييس إعادة البناء القياسية ( $R^2$ ). أظهر المؤلفون ارتباط بيرسون قدره $r=+0.57$ بين تشابه جيب التمام لمخرجات الانتباه والحفاظ على أداء HellaSwag، مقارنة بـ $r=-0.20$ لـ $R^2$ .

4. النتائج التجريبية

تم تقييم الإطار على ستة أزواج متطابقة الـ KV عبر ثلاث عائلات باستخدام خمسة اختبارات دقة (ARC-C, HellaSwag, WinoGrande, MMLU, GSM8K) ودرجة تعقيد (perplexity) لـ WikiText-2.

الاحتفاظ بالدقة:
- الفئة الأولى (النجاح): حافظت أربعة أزواج (Qwen3 14B→32B, 8B→32B; Llama 3.1 8B→70B; Ministral 3B→8B) على 73–98% من دقة النموذج المستهدف المستقل.
- الفئة الثانية (الفشل): انخفضت دقة زوجين (Ministral 3B→14B, 8B→14B) بشكل كبير (42–44% احتفاظ). ومع ذلك، فإن استبدال الملاءمة الخطية بـ MLP استعاد الاحتفاظ بـ HellaSwag بمقدار +24.3 إلى +36.8 نقطة مئوية، مما رفع هذه الأزواج إلى ما فوق 90%.
زمن الاستجابة (Latency):
- يعمل الرّسام (mapper) بسرعة أسرع بـ 2.7 إلى 25 ضعفاً من إعادة التعبئة المسبقة للنموذج المستهدف.
- تظهر أكبر معدلات التسريع في عمليات النقل من الصغير إلى الكبير وفي أطوال السياق الطويلة (على سبيل المثال، تسريع بمقدار 25 ضعفاً عند 32 ألف توكن لـ Qwen3 14B→32B).
الاستقرار في تعدد الدورات:
- في سيناريوهات التسليم متعدد الدورات (CoQA)، يظل الانحراف (drift) صغيراً. انحراف (صغير-إلى-كبير) يتسع بمقدار 1.7 نقطة مئوية فقط عبر 10 دورات؛ بينما ينمو انحراف (كبير-إلى-صغير) خطياً بمعدل 0.33 نقطة مئية لكل دورة، مما يشير إلى الاستقرار في جلسات العمل النموذجية.
كفاءة المعايرة:
- يتطلب الرّام معايرة 500 تسلسل فقط.
- يستغرق التوفيق (fitting) حوالي 47–87 دقيقة لكل زوج على عقدة واحدة من نوع 8×H100، دون تدريب يعتمد على التدرج.

5. الأهمية والادعاءات

تدعي الورقة أن نقل ذاكرة التخزين المؤقت لـ KV عبر النماذج داخل عائلة واحدة من الـ LLM يسمح بـ ملاءمة مغلقة الصيغة وخالية من التدريب. يجادل المؤلفون بأن العلاقة بين الـ KV عبر النماذج هي علاقة خطية إلى حد كبير، مما يتحدى الافتراض بأن الملاءمات العصبية المعقدة ضرورية لمثل هذه الانتقالات.

تكمن أهمية هذا العمل في:

العملية: يتيح التدرج بين التكلفة والجودة والتبديل أثناء المحادثة دون التكلفة الباهظة لإعادة التعبئة المسبقة، مما يجعل التنسيق الديناميكي للنماذج ممكناً في بيئات الإنتاج.
التحول في التقييم: تشير النتائج إلى أن معايير تقييم الملاءمات عبر النماذج يجب أن تتحول من مقاييس إعادة البناء الخام ( $R^2$ ) إلى التشخيصات الواعية للفضاءات الفرعية (مثل تشابه جيب التمام لمخرجات الانتباه)، حيث أن الأخيرة تتنبأ بشكل أفضل بأداء المهام اللاحقة.
إعادة توزيع الخطأ: يسلط العمل الضوء على أن فشل النقل غالباً ما يكون بسبب مكان وقوع الخطأ (في الفضاءات الفرعية الحساسة للانتباه) وليس بسبب مقدار الخطأ، مما يحفز أهداف التوافق مع الانتباه في المستقبل.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن النهج مقيد حالياً ضمن عائلات النماذج ذات الانتباه الكامل (full-attention) والكثيفة والمتطابقة في تكوينات الـ KV، وأن المعايرة تتم على مجال واحد (FineWeb-Edu). وقد تركوا مسألة النقل عبر العائلات المختلفة وظروف الـ KV غير المتطابقة كأبحاث مفتوحة للمستقبل.