ملخص تقني: ليست كل الأفكار تحتاج إلى ذاكرة HBM

بيان المشكلة

تولد النماذج اللغوية الكبيرة (LLMs) القادرة على الاستنتاج، مثل OpenAI o1 وDeepSeek-R1، سلاسل تفكير (CoT) واسعة النطاق، تتكون غالبًا من آلاف الرموز (tokens). تفرض هذه العملية التأملية عبئًا ذاكرِيًّا شديدًا: فكل رمز يتم توليده يضيف زوجًا من (Key-Value) إلى ذاكرة التخزين المؤقت (cache) التي يجب أن تستقر في ذاكرة الوصول العشوائي عالية النطاق (HBM) باهظة الثمن والنادرة الموجودة في وحدات معالجة الرسومات (GPU). على سبيل المثال، سلسلة استنتاج مكونة من 2,000 رمز لنموذج بـ 7 مليارات معلمة (7B) تستهلك حوالي 800 ميجابايت من ذاكرة HBM لكل طلب.

كان الرد السائد في الصناعة على ندرة HBM هو الإخلاء (eviction): أي التخلص الدائم من الرموز التي تُعتبر "منخفضة الأهمية" لتناسب ذاكرة التخزين المؤقت داخل ذاكرة الـ GPU. ومع ذلك، يوضح المؤلفون أن هذا النهج كارثي لمهام الاستنتاج. فخلافًا لنمذجة اللغة القياسية حيث غالبًا ما تكون السياقات البعيدة زائدة عن الحاجة، تعمل سلاسل الاستنتاج مثل البرامج؛ حيث يمكن الرجوع إلى النتائج الوسيطة المحسوبة قبل مئات الرموز بشكل غير متوقع لاحقًا. وتُظهر الورقة أن إخلاء 50% فقط من ذاكرة KV يؤدي إلى انهيار الدقة من ~22% إلى 0–2.5% (ما يُعرف بـ "تأثير المنحدر" أو cliff effect)، بغض النظر عن مدى تطور آلية قياس الأهمية.

المنهجية: هرمية ذاكرة واعية بالدلالات (Semantics-Aware Memory Hierarchy)

يقترح المؤلفون تحولًا جوهريًا في السؤال من "أي الرموز يمكننا التخلص منها؟" إلى "أين يجب أن يعيش كل رمز؟". وقد قدموا هرمية ذاكرة مكونة من أربعة مستويات واعية بالدلالات تصنف الرموز بناءً على درجات الانتباه التراكمية بدلاً من التخلص منها نهائيًا.

1. التصنيف الرباعي المستويات

يقوم النظام بفرز رموز الاستنتاج إلى أربعة مستويات بناءً على تسجيل الأهمية في الوقت الفعلي:

• T0 (HBM): يحتوي على الرموز المحمية (المطالب/prompt، مصبات الانتباه/attention sinks، والنافذة الأخيرة) وأعلى رموز الاستنتاج أهمية. تظل هذه الرموز في ذاكرة HBM الخاصة بالـ GPU للوصه المباشر.
• T1 (DDR): يتم نقل الرموز متوسطة الأهمية إلى ذاكرة DDR الخاصة بالمعالج المركزي (CPU) بدقة كاملة. ومن الأهمية بمكان أن هذه الرموز يتم استحضارها مسبقًا (prefetched) إلى الـ GPU قبل كل خطوة انتباه.
• T2 (المضغوطة): رموز منخفضة الأهمية تُخزن بدقة مخفضة (مثل التكميم بـ 8 بت) على الـ CPU. يشير المؤلفون إلى أن هذا المستوى أقل فعالية حاليًا في مهام الاستنتاج بسبب الحساسية العالية للدقة.
• T3 (المُخلاة): يتم إزالة ذيل الرموز الأقل أهمية على الإطلاق بشكل دائم فقط.

2. تسجيل الأهمية

يستخدم النظام تسجيل الانتباه التراكمي. عند كل خطوة فك تشفير $t$، يتم تحديث درجة الأهمية $s_i$ للموضع $i$ عن طريق جمع أوزان الانتباه عبر جميع الطبقات والرؤوس:
$$s_i^{(t)} = s_i^{(t-1)} + \frac{1}{|L|} \sum_{\ell \in L} \frac{1}{H} \sum_{h=1}^{H} \alpha_{\ell,h}^{(t)}[i]$$
يستوعب هذا النهج التاريخ الكامل لفائدة الرمز، مما يستوعب الطبيعة غير المستقرة للاستنتاج حيث قد يكون الرمز حاسمًا بعد مئات الخطوات.

3. الإزاحة بخطأ تقريبي صفري (Zero-Approximation-Error Offloading)

المساهمة النظرية الجوهرية هي صياغة الإزاحة بخطأ تقريبي صفري. نظرًا لأن رموز T1 يتم استحضارها مسبقًا إلى الـ GPU بدقة كاملة قبل حساب الانتباه، فإنها تساهم بالضبط بنفس المصطلحات في مخرجات الانتباه كما لو أنها لم تغادر ذاكرة HBM أبدًا.

• الفرضية 1: يعتمد خطأ التقريب فقط على مجموعة الرموز التي تم إخلاؤها دائمًا ($T3$)، وليس على التقسيم بين HBM ($T0$) وDDR ($T1$).
• الاستنتاج: تتحدد الدقة بناءً على نسبة الإخلاء (كم عدد الرموز التي تم تدميرها)، وليس نسبة HBM (كم عدد الرموز المتبقية في ذاكرة الـ GPU).

4. تنفيذ النظام

يستخدم النظام تعيينًا ديناميكيًا للمستويات كل $\Delta=64$ خطوة فك تشفير لتقليل تكاليف الفرز. ويستخدم الاستحضار المسبق التفاضلي غير المتزامن، حيث ينقل فقط الرموز التي تمت ترقيتها حديثًا من DDR إلى الـ GPU، مما يقلل من حركة مرور PCIe. تم بناء نموذج أولي للنظام باستخدام حركة بيانات حقيقية بين الـ GPU والـ CPU (PCIe Gen5) للتحقق من زمن الاستجابة والإنتاجية.

النتائج الرئيسية

1. الدقة مقابل نسبة الإخلاء

تؤكد التجارب عبر ثلاثة مقاييس للنماذج (7B, 14B, 32B) وأربعة اختبارات مرجعية (GSM8K, MATH-500, MATH Level-5, ARC-Challenge) أن:

• الإخلاء مدمر: الإخلاء الصرف (إزالة الرموز دون نقلها) يؤدي إلى انهيار الدقة إلى ما يقرب من الصفر عند ميزانية 50%.
• الإزاحة فعالة: مع إخلاء دائم بنسبة 3% فقط، تحتفظ الهيكلية بـ 91% من دقة الذاكرة الكاملة في GSM8K (n=200) و 71% في MATH-500.
• استقلالية HBM: إن تغيير نسبة HBM (30%، 50%، 70%) مع ثبات نسبة الإخلاء يؤدي إلى فروق غير ذات دلالة إحصائية في الدقة (p > 0.3). وعلى العكس من ذلك، فإن تغيير نسبة الإخلاء يسبب تقلبات هائلة في الدقة (تصل إلى 18%).

2. المقارنة مع أحدث التقنيات (SOTA)

• مقابل H2O/StreamingLLM: تتفوق الهيكلية بشكل كبير على نماذج الإخلاء القائمة على العناصر الأكثر تأثيرًا (heavy-hitters). عند ميزانيات ذاكرة مماثلة، تحقق H2O دقة تتراوح بين ~2–30%، بينما تحقق الهيكلية 58–65%.
• مقابل R-KV (الإخلاء الواعي بالاستنتاج): أعاد المؤلفون إنتاج R-KV (وهي طريقة SOTA متزامنة تستخدم تسجيل الأهمية-التكرار المشترك) في إعداداتهم. حققت R-KV دقة تتراوح بين 0–32% اعتمادًا على الميزانية، بينما حققت الهيكلية 56–62% مع إخلاء 3% فقط. يجادل المؤلفون بأنه لا توجد دالة تسجيل يمكنها استعادة المعلومات التي تم تدميرها دائمًا.

3. العبء على النظام

يُظهر النموذج الأولي للنظام (RTX 5080, PCIe Gen5) أن تكلفة الحفاظ على الرموز في DDR ضئيلة:

• عبء النقل: تمثل عمليات نقل PCIe فقط 5–7% من إجمالي وقت الاستنتاج.
• الإنتاجية: تنخفض الإنتاجية بنسبة ~14% (من 21.8 إلى ~18.7 رمز/ثانية) مقارنة باستنتاج الذاكرة الكاملة، لكن الدقة تظل مطابقة للأساس.
• توفير الذاكرة: تشير توقعات التوسع إلى أنه بالنسبة لأحجام الدفعات للإنتاج (مثل batch=8، نماذج 70B)، يمكن لهذا النهج توفير 2–48 جيجابايت من ذاكرة HBM، مما قد يمكّن الخدمة على جهاز واحد (Single-GPU) للنماذج التي تتطلب عادةً إعدادات متعددة من وحدات الـ GPU.

4. الحساسية للدقة

تشير الورقة إلى أن رموز الاستنتاج حساسة للغاية للدقة. تسبب النقل إلى T2 (التكميم بـ 8 بت) في انخفاض الدقة من 58% إلى 20% عند إخلاء بنسبة 5%، مما يشير إلى أن التكميم الواعي بالاستنتاج هو اتجاه ضروري للمستقبل ولكنه ليس بديلًا قابلًا للتطبيق حاليًا للإزاحة بدقة كاملة.

الأهمية والادعاءات

تدعي الورقة تغيير النموذج الأساسي لإدارة ذاكرة KV-cache لنماذج الاستنتاج:

1. الفصل بين السعة والجودة: تثبت أنه يمكن تقليل سعة HBM بقوة دون التضحية بجودة الاستنتاج، بشرما إذا تم نقل الرموز إلى ذاكرة أرخص (DDR) بدلاً من التخلص منها.
2. "المنحدر" مقابل "المقبض": تحدد "تأثير المنحدر" للإخلاء كنمط فشل أساسي للاستنتاج، بينما تعمل نسبة الإخلاء كمقبض (knob) قابل للضبط للهيكلية.
3. التوازي المعماري: تستعير هذه الدراسة مبدأً من ستة عقود من هندسة الحاسوب — هرميات الذاكرة — لحل مشكلة أنظمة الذكاء الاصطناعي الحديثة، مجادلة بأن "ليست كل البيانات بحاجة لأن تكون قريبة بنفس القدر من المعالج".
4. ضمان الخطأ الصفري: توفر ضمانًا رسميًا بأن الإزاحة لا تسبب خطأ تقريبيًا، مما يميزها عن طرق التكميم أو الضغط التي تفقد المعلومات بطبيعتها.

يخلص المؤلفون إلى أنه مع نمو سلاسل الاستنتاج (مع توسع الحوسبة أثناء الاختبار)، ستتسع الفجوة بين "ما يجب تذكره" و"ما يجب أن يكون سريعًا"، مما يجعل هرميات الذاكرة تطورًا ضروريًا يتجاوز نموذج "الإخلاء أو لا شيء".