🤖 machine learning

InferScale: GPU-Native KV Injection for Personalized LLM Serving

يُعد InferScale نظام ذاكرة أصيلاً في وحدات معالجة الرسومات (GPU-native) يعمل على تسريع خدمة النماذج اللغوية الكبيرة (LLMs) المخصصة عبر الحوسبة المسبقة وحقن حالات مفتاح-قيمة (KV states) قابلة لإعادة الاستخدام مباشرة في ذاكرة التخزين المؤقت لـ vLLM، مما يؤدي إلى فصل زمن استجابة أول توكن (time-to-first-token latency) عن حجم السياق المسترجع مع الحفاظ على دقة عالية.

المؤلفون الأصليون: Peter Li, Prashant Pandey

نُشر 2026-07-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Peter Li, Prashant Pandey

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء قصة حياتك بأكملها لكي يتمكن من الإجابة على الأسئلة المتعلقة بك. في كل مرة تطرح فيها سؤالاً على الروبوت، يتعين عليك لصق سيرتك الذاتية كاملة في دماغه قبل أن يتمكن من التفكير. إذا كانت سيرتك الذاتية قصيرة، سيفكر الروبوت بسرعة. ولكن إذا كانت سيرتك الذاتية طويلة — مليئة بسنوات من الذكريات، والنكات الداخلية، والمغامرات الماضية — فسيتعين على الروبوت إعادة قراءة ومعالجة كل كلمة في سيرتك الذاتية لمجرد الإجابة على سؤال بسيط مثل "ما هو لوني المفضل؟". عملية إعادة القراءة هذه بطيئة ومكلفة، مثل أمين مكتبة يتعين عليه إعادة ترتيب كل كتاب في المكتبة على الرف قبل أن يسلمك كتاباً واحداً فقط. هذا هو الوضع الحالي للذكاء الاصطناعي "المخصص": كلما زادت ذكرياتك، أصبح أبطأ في التحدث إليك.

الورقة البحثية التي ستطالعها الآن تعالج هذه المشكلة باستخدام خدعة ذكية من عالم علوم الكمبيوتر تسمى "تخزين مفتاح-قيمة" (Key-Value caching). فكر في دماغ الروبوت كسبورة بيضاء ضخمة يكتب عليها أهم الأجزاء مما قرأه حتى الآن، حتى لا يضطر لإعادة قراءة النص الأصلي. عادةً، إذا غيرت ترتيب الكتب على الرف، سيتعين على الروبوت إعادة كتابة السبورة البيضاء بالكامل. ولكن ماذا لو استطاع الروبوت ببساطة التقاط الملاحظات المكتوبة مسبقاً من درج ووضعها على السبورة البيضاء فوراً، بغض النظر عن المكان الذي تريد وضعها فيه؟ هذه هي الفكرة الجوهرية لهذا البحث: بدلاً من إجبار الروبوت على إعادة قراءة ذكرياتك، نقوم بحساب "الملاحظات" لكل ذكرى مسبقاً ونخزنها في القرص الصلب الداخلي الفائق السرعة للروبوت. ثم، عندما تطرح سؤالاً، نقوم بإسقاط تلك الملاحظات مباشرة في دماغ الروبوت.

المشكلة: فخ "إعادة القراءة"
اليوم، عندما تستخدم مساعداً يعمل بالذكاء الاصطناعي لديه سجل طويل من المحادثات، يجب على النظام العثور على الذكريات الأكثر صلة ولصقها في سؤالك الجديد. يسمى هذا "حقن المطالبة" (prompt injection). تخيل أنك تطلب نصيحة من صديق، ولكن في كل مرة تتحدث فيها، يتعين عليك القراءة بصوت عالٍ آخر 50 صفحة من مذكراتك قبل أن تتمكن من قول سؤالك الفعلي. كلما زاد عدد الصفحات التي تقرؤها، زاد الوقت المستغرق للوصول إلى النصيحة. حتى لو طرحت نفس السؤال عشر مرات، سيتعين على الصديق قراءة تلك الصفحات الخمسين عشر مرات. هذا يجعل الذكاء الاصطناعي يبدو بطيئاً، خاصة مع نمو ذاكرتك الشخصية.

الحل: InferScale
قام الباحثان، بيتر لي وبرشانت باندي، ببناء نظام جديد يسمى InferScale. بدلاً من جعل الذكاء الاصطناعي يعيد قراءة الذكريات، يقوم InferScale بالعمل الشاق مرة واحدة قبل أن تبدأ في التحدث. إنه يأخذ كل حقيقة من حقائق الذاكرة (مثل "أنا أحب البيتزا" أو "كلبي اسمه ريكس") ويحسب "ملاحظات دماغه" (التي تسمى حالات KV) مسبقاً. وتُخزن هذه الملاحظات مباشرة على وحدة معالجة الرسومات (GPU)، وهي الدماغ فائق السرعة للكمبيوتر.

عندما تطرح سؤالاً، لا يرسل النظام النص الخاص بذكرياتك إلى الذكاء الاصطناعي. بدلاً من ذلك، يجد "ملاحظات الدماغ" الصحيحة من وحدة معالجة الرسومات ويحقنها مباشرة في ذاكرة العمل الخاصة بالذكاء الاصطناعي. الأمر يشبه امتلاك مكتبة حيث، بدلاً من تسليمك الكتب، يقوم أمين المكتبة بلصق الفقرات التي تحتاجها بالضبط على مكتبك فوراً. لا يضطر الذكاء الاصطناعي أبداً لإعادة قراءة النص المصدر؛ بل يستخدم الملاحظات فحسب.

الخدع السحرية
لجعل هذا يعمل، كان على الفريق حل لغزين صعبين:

مشكلة "الهدف المتحرك" (Chunked RoPE):
عادةً، تكون هذه "ملاحظات الدماغ" مرتبطة بمكان محدد في النص. إذا نقلت ذكرى من بداية قصة إلى منتصفها، تصبح الملاحظات خاطئة. ابتكر الباحثون تقنية تسمى Chunked RoPE. تخيل أن الملاحظات مكتوبة على نوع خاص من الورق يمكن تدويره. مهما كان المكان الذي تضع فيه الورقة على المكتب، يمكنك تدويرها لتتطابق مع الموقع الجديد تماماً. هذا يسمح للنظام بأخذ ذكرى مخزنة في مكان ما وإسقاطها في أي مكان في محادثتك دون كسر القواعد الرياضية.
مشكلة "السياق" (Context-Window Encoding):
إذا أخذت مجرد جملة واحدة مثل "ذهب إلى المتجر"، فقد لا يعرف الذكاء الاصطناعي من هو "هو". إذا قمت بتخزين الذكرى بشكل منعزل، فستفقد السياق. ولحل هذه المشكلة، يخزن النظام الذكرى مع نافذة صغيرة من الجمل التي سبقتها (مثل "ذهب جون إلى المتجر"). ومع ذلك، فإنه يحفظ فقط "ملاحظات الدماغ" للجزء الخاص بالذكرى، وليس النافذة بأكملها. بهذه الطريقة، يفهم الذكاء الاصطناعي السياق ("هو" يشير إلى جون) دون الحاجة لإعادة قراءة الفقرة بأكملها في كل مرة.

ما وجدوه
النتائج مثيرة للإعجاب. اختبر الباحثون هذا على ثلاثة نماذج مختلفة للذكاء الاصطناعي (Llama-3.1-8B، وMistral-7B، وQwen2.5-7B) باستخدام مجموعة بيانات من المحادثات الطويلة.

السرعة: في الطريقة القديمة (Mem0)، مع زيادة عدد الذكريات المسترجعة من 5 إلى 50، قفز الوقت الذي يستغرقه الذكاء الاصطناعي لبدء الكلام (الوقت حتى أول توكن - Time-to-First-Token) بنسبة 106% (من 33.2 مللي ثانية إلى 68.3 مللي ثانية). أما مع InferScale، فإن نفس الزيادة تسببت فقط في تباطؤ بنسبة 4% (من 16.6 مللي ثانية إلى 17.3 مللي ثانية).
الإنتاجية (Throughput): عندما استخدم 100 شخص النظام في نفس الوقت، تعامل InferScale مع أسئلة أكثر بـ 3.7 إلى 4.5 مرة من النظام القديم في عدد الأسئلة لكل ثانية.
الدقة: نظرًا لأن النظام يخزن الذكريات أحياناً بشكل منفصل، كان هناك خطر بأن يصاب الذكاء الاصطناعي بالارتباك. ومع ذلك، من خلال استخدام خدعة "نافذة السياق"، استعادوا معظم الدقة تقريباً. عند أعلى حمل للذاكرة، حصل InferScale على 60.3% من الإجابات الصحيحة، وهو قريب جداً من نسبة 63.3% للنظام القديم، ولكن بسرعة أكبر بكثير.

لماذا يهم هذا؟
تثبت هذه الورقة البحثية أنه ليس عليك الاختيار بين ذكاء اصطناعي ذكي وغني بالذاكرة وبين ذكاء اصطناعي سريع. من خلال نقل تخزين الذاكرة إلى وحدة معالجة الرسومات (GPU) وحقن "ملاحظات الدماغ" مباشرة، قاموا بفصل سرعة الذكاء الاصطناعي عن حجم ذاكرته. يتطلب النظام عدم إعادة تدريب نماذج الذكاء الاصطناعي ولا تغييرات في المحرك الأساسي، مما يجعله ترقية عملية لمستقبل المساعدين الشخصيين المعتمدين على الذكاء الاصطناعي. وحتى لو كانت بيانات الذاكرة كبيرة جداً بحيث لا تتسع في وحدة معالجة الرسومات السريعة، فقد أظهروا أن نقلها إلى ذاكرة الكمبيوتر العادية لا يزال يحافظ على سرعة النظام بشكل ملحوظ مقارنة بالطرق الحالية.

ملخص تقني: InferScale

بيان المشكلة

تعتمد تطبيقات النماذج اللغوية الكبيرة (LLM) بشكل متزايد على سياق مستمر وشخصي (مثل الذاكرة المتراكمة للمستخدم أو سجلات المحادثات الطويلة) يتم مشاركته عبر طلبات متعددة. تعالج أنظمة الذاكرة الحالية في بيئة الإنتاج (مثل Mem0 وMemGPT وZep) التكلفة التربيعية لعملية الـ "prefill" للسياقات الطويلة عن طريق استرجاع مجموعة فرعية ذات صلة من حقائق الذاكرة ( $k$ ) وحقنها كنص داخل المطالبة (prompt).

ومع ذلك، فإن نهج "حقن المطالبة" هذا يتسبب في تكلفة خدمة كبيرة: فكل حقيقة مسترجعة يجب إعادة معالجتها (prefill) في كل طلب. ونتيجة لذلك، ينمو زمن الوصول لأول توكن (TTFT) بشكل خطي أو تربيعي مع ميزانية الاسترجاع ( $k$ )، حتى عندما تكون الذاكرة الأساسية متطابقة عبر الطلبات. تفشل تقنيات إعادة استخدام الـ KV الحالية مثل "prefix caching" هنا لأنها تفترض أن التوكنات المعاد استخدامها تشغل مواضع ثابتة، بينما تقوم أنظمة الذاكرة بتجميع مجموعات فرعية مختلفة من الحقائق ديناميكيًا لكل طلب، مما ينتهك هذا الافتراض.

المنهجية

يقترح InferScale بنية استرجاع وحقن مباشرة في الـ GPU تستبدل عملية الـ "prefill" المتكررة للمطالبات بـ حقن مباشر للـ KV. بدلاً من إرسال النصوص المسترجعة إلى الـ GPU لإعادة حسابها، يقوم InferScale بحساب تمثيلات (Key-Value) لحقائق الذاكرة مسبقاً وحقنها مباشرة في ذاكرة الانتباه (attention cache).

تم تنفيذ النظام كإضافة (plugin) لمحرك الخدمة vLLM عبر واجهة "KV-connector" الخاصة به، ولا يتطلب أي ضبط دقيق (fine-tuning) للنموذج أو تعديلات في المحرك. تتكون البنية من مرحلتين:

1. المرحلة غير المتصلة (Offline Phase): ترميز نافذة السياق

لمعالجة فقدان سياق ما بين الحقائق عند ترميز الحقائق بشكل مستقل، يستخدم InferScale تقنية ترميز نافذة السياق (Context-Window Encoding).

العملية: يتم ترميز كل حقيقة ذاكرة مع نافذة قابلة للضبط ( $w$ ) من جولات المحادثة السابقة.
التحسين: يتم الاحتفاظ فقط بتوترات (tensors) الـ KV المقابلة للحقيقة المستهدفة؛ ويتم التخلص من توكنات السياق.
النتيجة: يلتقط تمثيل الـ KV المخزن السياق اللازم لفك الالتباس (مثل حل الضمائر) دون الحاجة لإعادة معالجة (prefill) توكنات السياق أثناء وقت الخدمة.

2. المرحلة المتصلة (Online Phase): تقسيم الـ RoPE وحقن الـ KV

لتمكين إعادة استخدام حالات الـ KV في مواضع مطالبات عشوائية (بما أن الحقائق المسترجعة يتم تجميعها ديناميكياً)، يقدم InferScale تقنية الـ RoPE المجزأ (Chunked RoPE).

تخزين ما قبل الـ RoPE: أثناء الترميز غير المتصل، يتم اعتراض المفاتيح (keys) قبل تطبيق تضمينات الموضع الدوارة (Rotary Position Embeddings - RoPE). وتُخزن هذه المفاتيح غير المدوّرة والقيم الخام (raw values) على الـ GPU.
التدوير الديناميكي: في وقت الخدمة، يتم تجميع الحقائق المسترجعة في مقطع متصل. يقوم النظام بتطبيق تدوير الـ RoPE المناسب على المفاتيح المخزنة مسبقاً بناءً على مواضعها الجديدة في وقت الخدمة.
الضمان النظري: يثبت البحث (النظرية 6) أن إعادة التدوير هذه دقيقة رياضياً تحت نظام Roote، مما يضمن أن درجات الانتباه (attention scores) مطابقة لتلك التي تنتج إذا تم إجراء الـ prefill للحقائق في تلك المواضع.
الحقن: يتم نسخ توترات الـ KV المجمعة مباشرة إلى ذاكرة الـ paged KV cache الخاصة بـ vLLM. بعد ذلك، يقوم النموذج فقط بعمل prefill لتوكنات الاستعلام (query tokens)، مع الانتباه للذاटे المحقونة كما لو كانت قد حُسبت بالفعل.

المساهمات الرئيسية

استنتاج الاسترجاع والحقن (Retrieve-and-Inject Inference): يثبت المؤلفون أن الذاكرة المسترجعة لا تحتاج إلى إعادة prefill. لقد أثبتوا (النظرية 3) أن حقن حالات الـ KV المحسوبة مسبقاً مباشرة في ذاكرة الانتباه هو مكافئ تماماً لحقن المطالبة لنماذج الـ causal decoder transformers، بشرما يتم حقن الذاكرة في المواضع المقصودة.
الـ RoPE المجزأ (Chunked RoPE): آلية مبتكرة لإعادة استخدام الـ KV المستقلة عن الموضع. من خلال تخزين المفاتيح قبل التدوير الدوار وإعادة تدويرها وقت الحقن، يسمح النظام للحقائق التي تم ترميزها مرة واحدة بالحقن في مواضع عشوائية دون تقريب (النظرية 6).
ترميز نافذة السياق (Context-Window Encoding): تقنية لاستعادة الدقة المفقودة بسبب الترميز المستقل. من خلال ترميز الحقائق مع نافذة من السياق السابق خلال المرحلة غير المتصلة، يحافظ النظام على التفاعلات بين الحقائق دون تحمل تكاليف إعادة الحساب في وقت الخدمة.
تصميم نظام أصيل للـ GPU: يدمج InferScale الاسترجاع الدلالي المعتمد على الـ GPU (باستخدام فهرس Jasper) مع تخزين KV قابل لإعادة الاستخدام. يبقي هذا النظام كلاً من فهرس الاسترجاع ومخزن الـ KV على الـ GPU، مما يلغي نقل النصوص المسترجعة عبر ناقل PCIe وتكرار عملية الـ prefill.

النتائج

تم التقييم باستخدام معيار LoCoMo عبر ثلاثة نماذج مفتوحة الأوزان (Llama-3.1-8B، Mistral-7B، Qwen2.5-7B) مقابل نظام Mem0 المتطور:

زمن الوصول (TTFF): يقوم InferScale بفصل زمن خدمة الاستجابة عن ميزانية الاسترجاع. مع زيادة $k$ من 5 إلى 50، يظل TTFF في InferScale ثابتاً تقريباً (يزداد بنسبة ~4% فقط لـ Llama-3.1-8B)، بينما يزداد TTFF في Mem0 بنسبة 106%. عند $k=50$ ، يحقق InferScale تسريعاً بمقدار 3.6–4.8× في TTFF مقارنة بـ Mem0.
الإنتاجية (Throughput): تحت الحمل المتزامن (حتى 100 مستخدم)، يظهر InferScale توسعاً شبه خطي، محققاً إنتاجية أعلى بمقدار 3.7–4.5× من Mem0. يصل Mem0 إلى حالة التشبع مبكراً بسبب اختناق الحوسبة الناتج عن تكرار الـ prefill.
الدقة: يؤدي الترميز المستقل ( $w=0$ ) في البداية إلى تدهور الدقة. ومع ذلك، مع ترميز نافذة السياق ( $w \ge 20$ )، يستعيد InferScale معظم الدقة المفقودة، محققاً 60.3% على Llama-3.1-8B عند $k=50$ مقارنة بـ 63.3% لـ Mem0. تتركز فجوة الدقة بشكل أساسي في مهام الاستدلال متعدد الخطوات التي تتطلب انتباهاً معقداً بين الحقائق.
القابلية للتوسع: يتوسع النظام مع النماذج الأكبر (Qwen3-14B) مع فوائد مماثلة في زمن الوصول. يمكن نقل مخزن الـ KV إلى ذاكرة الـ DRAM الخاصة بالمضيف للتغلب على قيود سعة ذاكرة الـ GPU، مما يضيف ~3 مللي ثانية فقط إلى TTFF مع الحفاظ على ميزة في زمن الوصول النهائي قدرها 2.3× عن Mem0.

الأهمية والادعاءات

يزعم البحث أن InferScale يغير بشكل جذري الوحدة الأساسية لخدمة النماذج اللغوية الكبيرة الشخصية. من خلال الانتقال من حقن طبقة التوكن (token-layer injection) إلى حقن طبقة الانتباه (attention-layer injection)، فإنه يلغي التكلفة التربيعية للـ prefill المرتبطة بالسياق المسترجع.

يؤكد المؤلفون على ما يلي:

الدقة (Exactness): آلية حقن الـ KV (مع Chunked RoPE) ليست تقريباً بل هي مكافئ دقيق لحقن المطالبة لمواضع الاستعلام.
صفر تكلفة إضافية (Zero Overhead): لا يتطلب النظام أي ضبط دقيق للنموذج، ولا تعديلات في المحرك، ولا تغييرات في مسارات الاسترجاء الحالية.
فك الارتباط (Decoupling): ينجح في فك ارتباط زمن خدمة الاستجمة المشروط بالذاكرة مع حجم السياق المسترجع، مما يسمح بخدمة شخصية عالية الإنتاجية ومنخفضة زمن الوصول حتى مع ميزات استرجاع كبيرة.

يميز هذا العمل نفسه عن أنظمة الذاكرة في بيئة الإنتاج (التي لا تزال تدفع تكاليف الـ prefill) وتقنيات إعادة استخدام الـ KV الحالية (التي تعتمد على تخطيطات مطالبات ثابتة). إنه يضع حقن طبقة الانتباه كأداة أساسية لتهيئة النماذج اللغوية الكبيرة على السياقات الثابتة أو شبه الثابتة.