🤖 machine learning

ProxyKV: Cross-Model Proxy Pruning for Efficient Long-Context LLM Inference

تُعد ProxyKV إطار عمل عابر للنماذج يستخدم وسيط نموذج صغير خفيف الوزن وغير متزامن، بالإضافة إلى تقنية HybridAxialMapper مبتكرة، لتقليم ذاكرة التخزين المؤقت (KV cache) بكفاءة لاستنتاج النماذج اللغوية الكبيرة ذات السياق الطويل، محققاً دقة عالية تضاهي الأساليب الرائدة مع تقليل عبء مرحلة التعبئة المسبقة (prefilling) بشكل كبير.

المؤلفون الأصليون: Junjie Li, Jiong Lou, Jie Li

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junjie Li, Jiong Lou, Jie Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث ProxyKV، مترجم إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة: "جدار الذاكرة"

تخيل نموذج لغة ضخم (LLM) مثل محقق بارع يحاول حل لغز بناءً على ملف يحتوي على 100,000 صفحة. للقيام بمهمته، يحتفظ المحقق بـ "مسودة ملاحظات" (تسمى KV Cache) حيث يدون أهم الأدلة من كل صفحة قرأها حتى الآن.

ومع ازدياد طول الملف، تصبح هذه المسودة ضخمة جداً. وفي النهاية، تصبح كبيرة لدرجة أنها لا تتسع على مكتب المحقق (ذاكرة الكمبيوتر). يتسبب هذا في تعثر المحقق في خطواته، مما يبطئ عملية التحقيق بشكل كبير.

لحل هذه المشكلة، نحتاج إلى تقليم (Pruning) مسودة الملاحظات—أي التخلص من الصفحات المملة وغير المهمة والاحتفاظ بالأدلة الحيوية فقط. ولكن هنا تكمن العقبة:

الطريقة (أ) (التخمين السريع): يقوم مساعد مبتدئ بإلقاء نظرة سريعة على الصفحات الأخيرة ويخمن ما يجب الاحتفاظ به. هي طريقة سريعة، لكنهم غالباً ما يتخلصون من أدلة حاسمة مخبأة في منتصف الكتاب.
الطريقة (ب) (إعادة القراءة المثالية): يعيد المحقق قراءة الكتاب بالكامل مرة ثانية ليعرف بالضبط ما الذي يجب الاحتفاظ به. هذه الطريقة مثالية، لكنها تستغرق وقتاً طويلاً جداً، مما يفقدنا الغرض من تسريع العملية.

الحل: ProxyKV (المحقق الظل)

يقترح المؤلفون نظام ProxyKV، وهو نظام ذكي يجمع بين أفضل ما في العالمين.

تخيل أن المحقق الرئيسي (النموذج الضخم) مشغول بحل القضية. وبدلاً من أن يعيد قراءة الكتاب بنفسه، يقوم بتعيين محقق ظل (نموذج وسيط صغير).

محقق الظل: هو نسخة أصغر وأسرع من المحقق الرئيسي. ينتميان إلى نفس "العائلة" (تدربا على بيانات متشابهة) ولكنه أخف وزناً وأسرع بكثير.
المهمة المتوازية: بينما يقرأ المحقق الرئيسي الصفحة الأولى، يكون محقق الظل قد بدأ بالفعل في قراءة الكتاب بأكمله في الخلفية، على مكتب منفصل.
المترجم: لا يتحدث محقق الظل نفس لغة المحقق الرئيسي تماماً (لديهما عدد مختلف من "الرؤوس" أو آليات الانتباه). لذا، يقوم مترجم خاص (يسمى HybridAxialMapper) بتحويل ملاحظات "الظل" إلى تنسيق يفهمه المحقق الرئيسي.
النتيجة: بحلول الوقت الذي ينهي فيه المحقق الرئيسي قراءة الصفحة الأولى، يسلمه المترجم قائمة "أهم 10 أدلة". يمكن للمحقق الرئيسي الآن التخلص من الصفحات غير المهمة فوراً ومواصلة حل القضية بسرعة البرق، دون الحاجة أبداً لإعادة قراءة الكتاب بالكامل.

كيف يعمل المترجم (HybridAxialMapper)

تقدم الورقة أداة خاصة تسمى HybridAxialMapper. فكر فيها كآلة فرز ذكية.

الزمن مقابل الرؤوس: يرى محقق الظل القصة بطريقة مختلفة عن المحقق الرئيسي. يقوم المترجم بفصل "الخط الزمني للقصة" (ماذا حدث ومتى) عن "المنظور" (أي جزء من الدماغ لاحظ ذلك).
لعبة التصنيف: بدلاً من محاولة تخمين الدرجة الدقيقة لكل صفحة (وهو أمر صعب وعرضة للخطأ)، يتعلم المترجم تصنيفها. هو يسأل: "هل الصفحة 50 أكثر أهمية من الصفحة 51؟". هذا الأمر أسهل وأكثر دقة لاتخاذ قرار بشأن ما يجب التخلص منه.

النتائج: سرعة ودقة

اختبر الباحثون هذا النظام على عدة نماذج ذكاء اصطناعي شهيرة (مثل Llama و Qwen) بأحجام مختلفة (من 7 مليار إلى 32 مليار معلمة/Parameter).

السرعة: في نموذج بـ 8 مليارات معلمة، جعل ProxyKV مرحلة "البداية" للقراءة أسرع بـ 3.2 مرة من الطريقة المثالية لكن البطيئة. وحتى على جهاز كمبيوتر واحد، كان أسرع بـ 1.5 مرة.
الدقة: حافظ النظام على 98.7% من دقة الطريقة المثالية. بعبارة أخرى، حل المحقق اللغز بنفس جودة إعادة قراءة الكتاب بالكامل، لكنه فعل ذلك في جزء بسيط من الوقت.
السياقات الطويلة: استمر هذا التعزيز في السرعة حتى عندما كان "الملف" ضخماً (يصل إلى 170,000 كلمة).

المقايضة

هناك تكلفة صغيرة واحدة: لتشغيل محقق الظل والمترجم، تحتاج إلى مساحة ذاكرة إضافية مؤقتاً أثناء قراءة الكتاب. ومع ذلك، بمجرد انتهاء القراءة واختيار "أهم 10 أدلة"، يرحل محقق الظل، مما يفرغ تلك المساحة لبقية العمل.

الملخص

ProxyKV يشبه توظيف مساعد سريع وأصغر حجماً للقيام بالعمل الشاق المتمثل في فرز مكتبة ضخمة، بينما يركز الخبير الرئيسي على القرار النهائي. يستخدم النظام مترجماً ذكياً لضمان فهم ملاحظات المساعد بشكل مثالي، مما يسمح للذكاء الاصطناعي بالتعامل مع كميات هائلة من النصوص بسرعة دون فقدان ذكائه.

ملخص تقني: ProxyKV

بيان المشكلة

تواجه عملية الاستدلال في النماذج اللغوية الكبيرة (LLMs) ذات السياق الطويل حالياً عائقاً يتمثل في متطلبات الذاكرة لـ "مخزن المفتاح-القيمة" (KV cache). فمع زيادة طول التسلسل ( $N$ )، يؤدي النمو الخطي لمخزن الـ KV غالباً إلى تجاوز سعة ذاكرة وحدة معالجة الرسومات (GPU)، مما يؤدي إلى أعباء إدخال/إخراج (I/O) باهظة وتأخير في زمن الاستدلال.

تواجه طرق تقليم مخزن الـ KV الحالية مقايضة جوهرية بين كفاءة التقييم ودقة التقليم:

الطرق الاستدلالية (مثل H2O و SnapKV): تتميز بالسرعة وانخفاض زمن التأخير، لكنها تعتمد على نوافذ ملاحظة محلية، مما يجعلها تفقد غالباً الاعتمادات الدلالية العالمية المطلوبة للاستنتاج المعقد.
الطرق القائمة على إعادة البناء (مثل KVZip): تحقق دقة عالية من خلال إجراء مرحلة "تعبئة مسبقة" (prefilling) ثانوية باستخدام "التدريس القسري" (teacher-forced) على النموذج المستهدف لإعادة بناء السياق العالمي. ومع ذلك، يتسبب هذا في عبء حوسبي باهظ في مرحلة التعبئة المسبقة، مما يلغي الفوائد المتعلقة بزمن التأخير التي يوفرها التقليم.

التحدي الجوهري يكمن في سد الفجوة بين الطرق الاستدلالية منخفضة التأخير والطرق القائمة على إعادة البناء عالية الدقة دون تحمل التكلفة الحوسبية العالية لمرحلة تعبئة مسبقة ثانوية على النموذج المستهدف.

المنهجية

يقترح المؤلفون ProxyKV، وهو إطار عمل للتقليم عبر نموذج وسيط (cross-model proxy) مصمم لنقل مهمة تقييم الأهمية من النموذج المستهدف إلى "نموذج وسيط صغير" (Small-Model Proxy) خفيف الوزن ويعمل بشكل غير متزامن.

بنية النظام

يعمل النظام عبر خط إنتاج يتكون من ثلاثة مكونات:

النموذج المستهدف الكبير ( $M_l$ ): النموذج الأساسي المسؤول عن المسار الحرج للتعبئة المسبقة ومرحلة فك التشفل (decode) بأكملها.
النموذج الوسيط الصغير ( $M_s$ ): نموذج أصغر ضمن نفس العائلة (على سبيل المثال، 1.5 مليار أو 4 مليارات معلمة) يعمل بشكل غير متزامن على مسار تنفيذ منفصل (أو مسار CUDA). يقوم باستخراج ميزات الانتباه عبر الرؤوس ( $X$ ) من السياق المدخل.
المخطط المحوري الهجين (HybridAxialMapper - $\Phi_\theta$ ): وحدة قابلة للتعلم تقوم برسم خرائط ميزات النموذج الوسيط ( $X$ ) إلى درجات الأهمية المتوافقة مع النموذج المستهدف ( $\hat{Y}$ ).

سير العمل:
أثناء الاستدلال، يتم إرسال السياق المدخل إلى كلا النموذجين بالتزامن. يولد النموذج الوسيط ميزات الانتباه، والتي تتم معالجتها بواسطة الـ HybridAxialMapper لإنتاج قناع تقليم ثنائي ( $M$ ) عبر عتبة "أعلى $K$ " (Top-K). بعد ذلك، يقوم النموذج المستهدف بعملية فك التشفل باستخدام مخزن الـ KV المقلم فقط. ومن الأهمية بمكان أن مخزن الـ KV الخاص بالنموذج الوسيط يتم تحريره فور انتهاء مرحلة التعبئة المسبقة، مما يجعل عبء الذاكرة عابراً.

المكونات الرئيسية

1. بنية المخطط المحوري الهجين (HybridAxialMapper)

لسد الفجوة الهيكلية بين النماذج غير المتجانسة (اختلاف عدد الرؤوس وعمق الطبقات)، يستخدم المخطط خط إنتاج ثلاثي المراحل يفصل استخراج الميزات الزمنية عن المحاذاة عبر الرؤوس:

المرحلة 1: استخراج الميزات الزمنية: يقوم "جذع تلافيفي أحادي البعد" (1D Convolutional Stem) بإسقاط ميزات النموذج الوسيط الخام إلى فضاء كامن مستقل عن النموذج، مما يوفر تطبيعاً لتكوين الرؤوس.
المرحلة 2: مشفر سياق محور الزمن: يقوم مشفر "ترانسفورمر" بمعالجة التسلسل باستخدام ترميزات موضع جيبية لالتقاط السياق العالمي، مستخدماً نهج النافذة المنزلقة للتسلسلات الطويلة (حتى 170 ألف توكن).
المرحلة 3: الانتباه المتقاطع لمحور الرؤوس: تقوم استعلامات مستهدفة قابلة للتعلم بتجميع رموز الرؤوس الاصطناعية من النموذج الوسيط إلى تكوين الرؤوس المحدد للنموذج المستهدف. تسمح هذه المرحلة للمخطط بالتوسع إلى أي عدد من رؤوس النموذج المستهدف دون الحاجة لإعادة تدريب الشبكة بأكملها.

2. الخسارة الهجينة متعددة التدرج (Multi-Granularity Hybrid Loss)

إدراكاً بأن مقياس النشر هو جودة الاحتفاظ بـ "أعلى $K$ " وليس إعادة بناء الدرجة نقطة بنقطة، صمم المؤلفون دالة خسارة مركبة ( $L_{total}$ ) تتكون من خمس حدود:

$L_{bin}$ (الثنائية متعددة النسب): تشرف على حدود القرار الثنائي عبر نسب احتفاظ متعددة، مع التركيز على الضغط الشديد.
$L_{mse}$ (متوسط مربع الخطأ الموزون بالقيم): يضمن محاذاة المقدار العددي للرموز البارزة.
$L_{fine}$ (الترتيب داخل أعلى $K$ ): يفرض الترتدي النسبي داخل مجموعة "أعلى $K$ " المحتفظ بها.
$L_{global}$ (الرتبة العالمية الواعية للكتلة): يحسن الفصل بين "أعلى $K$ " وغير "أعلى $K$ " (حد الإشارة والضجيج).
$L_{cos}$ (محاذاة جيب التمام): يضبط التوجه العالمي لمتجه الدرجة المتوقع مع النموذج المستهدف.

ينقل تصميم الخسارة هذا الهدف من الانحدار الصارم إلى اتساق الترتيب النسبي، وهو ما يتماشى بشكل مباشر أكثر مع جودة التقليم.

المساهمات الرئيسية

إطار العمل الوسيط غير المتزامن: إطار عمل جديد للتقليم يزيل اختناق التقييم من المسار الحرج للنموذج المستهدف عن طريق نقل المهمة إلى نموذج وسيط صغير يعمل بشكل غير متزامن، محققاً تسريعاً يصل إلى 3.21 ضعفاً في سرعة التعبئة المسبقة لنموذج Llama-3.1-8B (على نظام dual-GPU) ويحافظ على التسريع حتى 170 ألف توكن.
HybridAxialMapper و Hybrid Loss: بنية قابلة للتعلم ودالة خسارة نجحت في جسر الفجوات الهيكلية بين النماذج غير المتجانسة (مثلاً، نموذج مستهدف 8B مقابل وسيط 1.5B)، متجاوزة جمود المحاذاة الثابتة (رأس لرأس) المستخدمة في الأعمال السابقة.
التحقق التجريبي: تجارب واسعة النطاق عبر عائلات Llama-3.1 و Qwen-2.5 و Qwen-3 (أهداف 7B–32B) تثبت أن ProxyKV يستعيد حوالي 98.7% من متوسط دقة نموذج KVZip المثالي (oracle) مع تقليل زمن التأخير بشكل كبير.

النتائج

الدقة: يطابق ProxyKV أداء نموذج KVZip المثالي عبر اختبارات LongBench و SCBench و RULER. فهو يستعيد حوالي 98.7% من متوسط دقة KVZip ويظل ضمن نطاق 1-2 نقطة في معظم المهام، حتى عند نسب الاحتفاظ القاسية ( $\rho \le 0.2$ ).
الكفاءة:
- في نموذج Llama-3.1-8B، يقدم ProxyKV تسريعاً قدره 3.21 ضعفاً في زمن تأخير التعبئة المسبقة مقارنة بـ KVZip (على dual-GPU) وحوالي 1.5 ضعف على وحدة GPU واحدة مشتركة.
- لا يساهم الـ HybridAxialMapper إلا بنسبة 4.7%–6.8% فقط من وقت التعبئة المسبقة الفعلي.
- يتوسع المنهج بفعالية ليصل إلى نماذج 32B (Qwen-3) بنسبة حجم هدف/وسيط تبلغ 8 أضعاف.
المتانة: يظهر إطار العمل تعميماً قوياً (zero-shot generalization) على مجموعات البيانات المحجوزة (مثل SCBench RepoQA) ويحافظ على الأداء في مهام الاستنتاج متعددة الخطوات المعقدة حيث تفشل الطرق الاستدلالية (مثل SnapKV).

الأهمية والادعاءات

يزعم البحث أن ProxyKV نجح في سد "فجوة تكلفة التقييم والدقة" التي قيدت الاستدلال طويل السياق في النماذج اللغوية الكبيرة. من خلال الاستفادة من ارتباطات الانتباه داخل العائلة الواحدة والخرائط المحورية القابلة للتعلم، فإنه يحقق الدقة العالية للطرق القائمة على إعادة البناء دون عبء التعبئة المسبقة المرهق.

يسلط المؤلفون الضوء على أنه بينما يصبح المحاذاة الثابتة (طبقة لطبقة) كما في IAM أو KVZip+IAM عائقاً مقيداً مع توسع النماذج المستهدفة (إلى 32B)، يظل الـ HybridAxialMapper القابل للتعلم فعالاً. يشير هذا إلى أن ProxyKV يقدم مساراً قابلاً للتوسع للاستدلال طويل السياق بكفاءة، حيث يستعيد دقة تقارب الدقة المثالية (near-oracle accuracy) مع تقليل زمن التأخير وضغط الذاكرة أثناء مرحلة التعبئة المسبقة بشكل كبير. يُقدم المنهج كحل وقت النشر الذي يتطلب فقط نموذجاً وسيطاً خفيف الوزن ضمن نفس العائلة، وخرائط قابلة للتدريب صغيرة، مما يتجنب الحاجة إلى إعادة تدريب كامل للنموذج أو تعديلات معقدة في الأجهزة.