🤖 machine learning

RetroInfer: A Vector Storage Engine for Scalable Long-Context LLM Inference

إن RetroInfer هو محرك تخزين متجهي مصمم لتسريع استنتاج النماذج اللغوية الكبيرة ذات السياق الطويل من خلال استخدام "فهرس موجي" متخصص ومدير ذاكرة مؤقتة (buffer manager) بين وحدة معالجة الرسومات ووحدة المعالجة المركزية لاسترجاع أكثر رموز ذاكرة الـ KV صلة بكفاءة، مما يزيد الإنتاجية بشكل كبير مع الحفاظ على دقة الانتباه الكامل.

المؤلفون الأصليون: Yaoqi Chen, Jinkai Zhang, Baotong Lu, Qianxi Zhang, Chengruidong Zhang, Jing Liu, Jingjia Luo, Di Liu, Huiqiang Jiang, Qi Chen, Bailu Ding, Xiao Yan, Jiawei Jiang, Chen Chen, Mingxing Zhang, Cheng Li

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yaoqi Chen, Jinkai Zhang, Baotong Lu, Qianxi Zhang, Chengruidong Zhang, Jing Liu, Jingjia Luo, Di Liu, Huiqiang Jiang, Qi Chen, Bailu Ding, Xiao Yan, Jiawei Jiang, Chen Chen, Mingxing Zhang, Cheng Li, Yuqing Yang, Fan Yang, Mao Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك باحث عالمي كُلف بكتابة موسوعة ضخمة مكونة من 1,000 صفحة. لكي تؤدي عملك على أكمل وجه، عليك أن تتذكر كل حقيقة كتبتها على الإطلاق.

المشكلة: "ضباب الدماغ" الناتج عن البيانات الضخمة

بينما تواصل الكتابة أكثر فأكثر، يحدث أمران:

مشكلة الذاكرة: يصبح "دفتر ملاحظاتك الذهني" (KV Cache) ضخمًا جدًا لدرجة أنه لا يتسع فيزيائيًا على مكتبك (ذاكرة الـ GPU). تضطر للبدء في حشر الملاحظات داخل خزانة ملفات ضخمة وفوضوية في القبو (ذاكرة الـ CPU).
مشكلة السرعة: في كل مرة تريد فيها كتابة جملة جديدة، يتعين عليك فحص كل صفحة من صفحات الموسوعة المكونة من 1,000 صفحة للتأكد من أنك لا تكرر نفسك. هذا يستغرق وقتًا طويلاً، ويستنزف "دماغك" (نطاق عرض الـ GPU) بمجرد تقليب الصفحات.

تحاول أنظمة الذكاء الاصطناዊ الحالية حل هذه المشكلة عبر النظر فقط في بعض الصفحات "المهمة"، لكنها غالبًا ما تفقد التفاصيل الحاسمة، مما يجعل الذكاء الاصطناعي "نسّاءً" أو "غبيًا".

الحل: RetroInfer (أمين المكتبة الخارق)

RetroInfer يشبه توظيف أمين مكتبة عبقري لإدارة أبحاثك. بدلًا من قيامك بالبحث بجنون في القبو، يستخدم أمين المكتبة أداتين بارعتين: Wave Index و Wave Buffer.

1. الـ Wave Index: "قلم التحديد الذكي"

بدلًا من قراءة كل صفحة، يستخدم أمين المكتبة نظام فهرسة خاص. تخيل أن أمين المكتبة يقسم ملاحظاتك إلى ثلاث مناطق:

منطقة "الأهمية الدائمة" (المنطقة المستقرة - Steady Zone): وهي الحقائق الأكثر أهمية (مثل عنوان كتابك) التي يبقيها أمين المكتبة أمام عينيه على المكتب في جميع الأوقات.
منطقة "البحث والوجد" (منطقة الاسترجاع - Retrieval Zone): يستخدم أمين المكتبের أداة بحث عالية السرعة للعثور على الصفحات المحددة الأكثر صلة بما تحتاجه الآن وجلبها إلى المكتب.
منطقة "الملخص السريع" (منطقة التقدير - Estimation Zone): هذا هو الجزء العبقري. بالنسبة لآلاف الصفحات الأخرى، لا يقرأها أمين المكتبة كلمة بكلمة؛ بل ينظر إلى "ملخص" (centroid) لكل مجموعة من الصفحات. الأمر يشبه قول: "لن أقرأ الفصل بأكمله عن علم الأحياء، لكني أعرف أنه يدور حول الخلايا، لذا سأكتفي بأخذ ذلك في الاعتبار". هذا يمنحك "جوهر" الموضوع بدقة عالية دون عناء العمل الشاق.

2. الـ Wave Buffer: "المساعد الفعال"

حتى مع وجود فهرس ذكي، فإن نقل الصناديق الثقيلة من الورق من القبو (CPU) إلى المكتب (GPU) يستغرق وقتًا. Wave Buffer هو مساعد يدير هذه الحركة بشكل مثالي:

"رف الوصول السريع" (ذاكرة الكاش للكتل - Block Cache): يلاحظ المساعد أنك إذا احتجت إلى صفحة عن "الجاذبية" قبل دقيقة، فمن المحتمل أن تحتاج إليها مرة أخرى قريبًا. لذا، يحتفظ بتلك الصفحات على رف صغير بجوار مكتبك مباشرة حتى لا يضطر للذهاب إلى القبو مرة أخرى.
"العدّاء الاستباقي" (الإدارة غير المتزامنة - Asynchronous Management): بينما تنشغل أنت بكتابة جملتك الحالية، يكون المساعد بالفعل في طريقه إلى القبو لجلب المجموعة التالية من الصفحات التي قد تحتاجها. إنه يعمل في الخلفية حتى لا تضطر للتوقف عن الكتابة بانتظار عملية التسليم.

النتيجة: أسرع، أذكى، وأطول

بفضل "أمين المكتبة الخارق" هذا، يمكن للذكاء الاصطناعي أن:

يقرأ أكثر بكثير: يمكنه التعامل مع كميات هائلة من المعلومات (تصل إلى مليون توكن!) دون أن تنفد "مساحة المكتب".
يعمل بشكل أسرع بكثير: يمكنه توليد النصوص بسرعة تصل إلى 12 ضعفًا مقارنة بالطرق السابقة التي حاولت أن تكون "متفرقة" (Sparse).
يبقى ذكيًا: على عكس الأنظمة الأخرى التي تصاب بـ "الارتباك" عندما تحاول توفير الذاكرة، يظل RetroInfer بدقة تضاهي قراءته لكل كلمة في الموسوعة بأكملها.

باختًا: يحول RetroInfer الباحث البطئ والمثقل بالأعباء إلى باحث فائق السرعة والذكاء من خلال تنظيم ذاكرته وأتمتة عملية البحث الخاصة به.

ملخص تقني: RetroInfer

RetroInfer: محرك تخزين متجهي لاستدلال نماذج اللغات الكبيرة (LLM) ذات السياق الطويل والقابل للتوسع

1. بيان المشكلة

مع توسع نوافذ السياق في نماذج اللغات الكبيرة (من 128 ألف إلى ملايين الرموز/Tokens)، تظهر عقبتان رئيسيتان أثناء مرحلة فك التشفير (decoding phase):

السعة الذاكرية: ينمو مخزن المفتاح-القيمة (KV cache) خطياً مع طول التسلسل وحجم الدفعة، مما يتجاوز بسرعة السعة المحدودة لذاكرة النطاق الترددي العالي (HBM) في وحدات معالجة الرسومات (GPU).
نطاق تردد الذاكرة: يتطلب توليد كل رمز جديد إجراء مسح خطي لمخزن KV بالكامل، مما يؤدي إلى وصول مفرط للذاكرة يستنزف نطاق تردد وحدة معالجة الرسومات.

بينما يعد التخزين المؤقت لـ KV القائم على التناثر (Sparsity-based KV caching) (أي نقل معظم الرموز إلى ذاكرة وحدة المعالجة المركزية CPU واسترجاع "الرموز المهمة" فقط) حلاً واعداً، إلا أن الأساليب الحالية تعاني من مقايضة جوهرية: فهي إما تضحي بـ الدقة (بسبب عدم دقة اختيار الرموز) أو تعاني من تكاليف استرجاع عالية (بسبب زمن انتقال نقل البيانات عبر ناقل PCIe).

2. المنهجية

يعالج RetroInfer هذه التحديات من خلال تصميم شامل يعتمد على الوعي بالانتباه (attention-aware)، ويتكون من مكونين أساسيين: Wave Index و Wave Buffer.

أ. Wave Index (فهرس متجهي مدرك للانتباه)
بدلاً من استخدام البحث التقريبي عن أقرب الجيران (ANNS) القياسي، المصمم للتشابه العام، تم تحسين Wave Index ليتناسب مع الخصائص الرياضية لآلية الانتباه (attention mechanism) المحددة. وهو يستخدم تقريب الانتباه ثلاثي الأجزاء (tripartite attention approximation):

منطقة الاستقرار (Steady Zone): تتضمن الرموز المهمة باستمرار (مثل رموز "المصب/sink" في بداية أو نهاية التسلسل) والتي يتم الاحتفاظ بها دائماً في ذاكرة وحدة معالجة الرسومات.
منطقة الاسترجاع (Retrieval Zone): تستخدم فهرساً متجهياً قائماً على التجميع (cluster-based) لتحديد واسترجاع متجهات KV الأكثر صلة من ذاكرة وحدة المعالجة المركزية لإجراء حسابات انتباه دقيقة.
منطقة التقدير (Estimation Zone): بالنسبة للمجموعات غير المسترجعة، يستخدم RetroInfer تقدير انتباه مقيد بالدقة (accuracy-bound attention estimation). ومن خلال الاستفادة من مراكز المجموعات (cluster centroids) ومجموع متجهات القيمة ( $\sum V$ )، فإنه يقرب مساهمة هذه الرموز دون الحاجة لجلب المتجهات الفردية، مما يقلل بشكل كبير من حركة مرور بيانات PCIe.

لتقليل العبء، يستخدم النظام التجميع المجزأ (segmented clustering)، الذي يقوم بعمل تجميع $k$ -means على أجزاء أصغر من التسلسل لاستغلال المحلية المكانية (spatial locality)، مما يقلل من وقت بناء الفهرس.

ب. Wave Buffer (مدير مخزن مؤقت لوحدة معالجة الرسومات ووحدة المعالجة المركزية)
لإدارة عدم التماثل بين وحدات معالجة الرسومات (عالية الحوسبة/منخفضة السعة) ووحدات المعالجة المركزية (عالية السعة/منخفضة الحوسبة)، يعمل Wave Buffer كطبقة إدارة ذاكرة متطورة:

مخزن KV Block Cache: ينفذ ذاكرة تخزين مؤقت في جانب وحدة معالجة الرسومات لاستغلال المحلية الزمنية للرموز المهمة (الرموز المهمة لاستعلام واحد غالباً ما تكون مهمة للاستعلام التالي).
الإدارة غير المتزامنة (Asynchronous Management): يقوم بفصل المسار الحرج (critical path) (حساب الانتباه) عن مسار التحكم (control path) (استبدال التخزين المؤقت وتحديث البيانات الوصفية). بينما تقوم وحدة معالجة الرسومات بحساب الانتباه، تقوم وحدة المعالجة المركزية بشكل غير متزامن بإدارة منطق LRU (الأقل استخداماً مؤخراً) وتجهيز الدفعة التالية من البيانات.
مخزن التنفيذ (Execution Buffer): منطقة ذاكرة مخصصة لوحدة معالجة الرسومات تنظم متجهات KV المسترجعة تسلسلياً لضمان توافقها مع النواة (kernels) عالية الأداء مثل FlashAttention.

3. المساهمات الرئيسية

فهرسة مبتكرة: قدم Wave Index، الذي يستخدم التقريب ثلاثي الأجزاء لكسر مقايضة (الدقة مقابل تكلفة الاسترجاع).
إدارة مدركة للأجهزة: طور Wave Buffer، وهو نظام يحسن حركة البيانات عبر الأجهزة غير المتجانسة (GPU/CPU) عبر التخزين المؤقت غير المتزامن والتدفق (pipelining).
تحسين خالٍ من إعادة التدريب: على عكس بعض أساليب الانتباه المتناثر، لا يتطلب RetroInfer إعادة تدريب النموذج وهو متوافق مع تقنيات التعبئة المسبقة (prefilling) المتناثرة الحالية (مثل XAttention).

4. النتائج

قام المؤلفون بتقييم RetroInfer على نماذج متنوعة (Llama 3.1, Qwen 2.5, DeepSeek-R1) ومعايير اختبار مختلفة (RULER, NIAH, AIME24, GPQA):

الدقة: يعد RetroInfer النظام الوحيد القائم على التناثر الذي يطابق دقة الانتباه الكامل (full attention) عبر مختلف أطوال السياق والمهام. بل إنه حسن دقة الاستدلال في بعض الحالات من خلال تصفية الرموز "الضوضائية".
الإنتاجية (Throughput):
- حقق إنتاجية فك تشفير تصل إلى 4.4 ضعف الإنتاجية مقارنة بالانتباه الكامل عند سياق 120 ألف رمز.
- حقق إنتاجية تصل إلى 12.2 ضعف مقارنة بالنماذج المرجعية للانتباه المتناثر عند مليون رمز.
- تفوق على vLLM بنسبة 2.2 إلى 3.3 ضعف في الإنتاجية النهائية (end-to-end throughput).
القابلية للتوسع: أظهر أداءً قوياً مع توسع طول السياق من 30 ألف إلى مليون رمز، محافظاً على كفاءة عالية حتى مع نمو حجم مخزن KV بشكل هائل.

5. الأهمية

يمثل RetroInfer خطوة هامة نحو جعل نوافذ السياق بمليون رمز عملية وقابلة للتطبيق في النشر الواقعي. من خلال التعامل مع مخزن KV كقاعدة بيانات متجهية مدارة بدلاً من مجرد مخزن خطي بسيط، فإنه يسد الفجوة بين متطلبات الذاكرة الهائلة لنماذج اللغات الكبيرة ذات السياق الطويل وبين القيود الفيزيائية لأجهزة وحدات معالجة الرسومات الحالية. إنه يوفر مخططاً لكيفية استفادة محركات الاستدلال المستقبلية من مستويات الذاكرة غير المتجانسة (CPU + GPU) لتحقيق خدمات ذكاء اصطناعي قابلة للتوسع وعالية الإنتاجية.