⚡ electrical engineering

Runtime-Certified Bounded-Error Quantized Attention

تقدم هذه الورقة بنية ذاكرة تخزين مؤقت (KV cache) متعددة المستويات تتيح انتباهًا مكممًا بحد خطأ محدد ومعتمد وقت التشغيل، وذلك عبر حساب حدود الخطأ عبر الإنترنت لتفعيل الاختيار التكيفي للدقة والرجوع الحتمي إلى صيغة FP16، مما يضمن الاستعادة إلى مخرجات الانتباه الكثيف الدقيقة مع الحفاظ على ضغط عالٍ لاستنتاج النماذج اللغوية الكبيرة ذات السياق الطويل.

المؤلفون الأصليون: Dean Calver

نُشر 2026-05-21✓ Author reviewed ⓘ

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Dean Calver

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة مكتبة ضخمة من الكتب (محادثة "طويلة السياق") على جهاز لوحي صغير وباهظ الثمن (وحدة معالجة الرسومات في حاسوبك). المشكلة هي أن الجهاز اللوحي ينفد منه المساحة اللازمة لاستيعاب كل الملاحظات التي دونتها حتى الآن. ولحل هذه المشكلة، تقرر كتابة تلك الملاحظات بنظام "شفرة مختصرة" (التكميم - Quantization) لتشغل مساحة أقل.

المشكلة مع الشفرة المختصرة
عادةً، عندما يستخدم الناس الشفرات المختصرة، فإنهم يأملون فقط أن تنجح المهمة. يكتبون الملاحظات، ثم يقرؤونها لاحقاً، وإذا كانت القصة لا تزال منطقية، يستمرون في العمل. لكن أحياناً، تكون الشفرة المختصرة "عدوانية" للغاية. قد تتعرض تفصيلة حاسمة للتشويه، مما يؤدي إلى سوء فهم. وفي عالم الذكاء الاصطناعي، يعني هذا أن الكمبيوتر قد يبدأ فجأة في "الهلوسة" أو نسيان حقيقة رئيسية، ولا أحد يعرف متى حدث ذلك إلا بعد فوات الأوان.

الحل: شبكة أمان "معتمدة"
تقدم هذه الورقة البحثية نظاماً جديداً يسمى "انتباه التكميم ذو الخطأ المحدود والمعتمد وقت التشغيل" (Runtime-Certified Bounded-Error Quantized Attention). فكر في الأمر كأنه "أمين مكتبة ذكي" لا يكتفي بالثقة في الشفرة المختصرة فحسب، بل يمتلك شبكة أمان.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. المكتبة ذات المستويين (التخزين المتدرج)

الشفرة المختصرة (VRAM): يحتفظ الذكاء الاصطناعي بملاحظاته الرئيسية بتنسيق مختصر ومضغوط (INT8 للمفاتيح وINT4 للقيم) مباشرة على الجهاز اللوحي السريع والباهظ الثمن. هذا يوفر مساحة هائلة (أقل بنسبة 44% تقريباً من النسخة الأصلية).
الأصول (System RAM): الأهم من ذلك، أن النظام لا يتخلص من الملاحظات الأصلية كاملة الطول. بل يحتفظ بها في غرفة تخزين مجاورة أبطأ وأرخص (ذاكرة النظام - System RAM).
اللمسة السحرية: إذا أصبحت الشفرة المختصرة مشوشة للغاية، يمكن لأمين المكتبة فوراً جلب الملاحظة الأصلية من غرفة التخزين واستبدالها. هذا يضمن أن الذكاء الاصطناعي لن يفقد الحقيقة أبداً، حتى لو فشلت الشفرة المختصرة.

2. "الفحص الرياضي" (حدود الخطأ)

بدلاً من مجرد التخمين فيما إذا كانت الشفرة المختصرة جيدة، يقوم النظام بإجراء فحص رياضي سريع في كل مرة يقرأ فيها ملاحظة.

الفحص: يحسب النظام بدقة مقدار التشويه الذي قد تسببه الشفرة المختصرة في المعنى. ويقسم ذلك إلى جزأين:
1. تشويه المفتاح (Key Distortion): هل غيرت الشفرة المختصرة "الملاحظة" التي ينظر إليها الذكاء الاصطناعي؟
2. تشويه القيمة (Value Distortion): هل غيرت الشفرة المختصرة "محتوى" الملاحظة نفسها؟
الضمان: إذا قالت الرياضيات إن التشويه كبير جداً، فإن النظام يدرك ذلك فوراً. هو لا ينتظر وقوع الذكاء الاصطناعي في الخطأ، بل يكتشف الخطأ قبل حدوثه.

3. "المُحدد الذكي" (الدقة التكيفية)

النظام ذكي بما يكفي ليعرف أن الملاحظات ليست متساوية في الأهمية.

الاستراتيجية: ينظر النظام في المحادثة ويسأل: "ما هي الملاحظات الأكثر أهمية الآن؟"
الإجراء: بالنسبة للملاحظات الأكثر حرجاً (التي يركز عليها الذكاء الاصطناعي)، فإنه ينتقل إلى النسخة الأصلية من غرفة التخزين. أما بالنسبة للملاحظات الأقل أهمية (الذيل الطويل للمحادثة)، فيستمر في استخدام الشفرة المختصرة.
النتيجة: تحصل على سرعة ومزايا توفير المساحة للشفرة المختصرة لمعظم الأشياء، ولكن مع الدقة المثالية للأصل للأشياء التي تهم حقاً.

4. "سلم الإنقاذ" (العودة للمستوى السابق)

إذا قال الفحص الرياضي: "هذا خطر للغاية"، يصعد النظام في سلم خيارات الإنقاذ:

المستوى الأول: استخدم المزيد من الأصول للأجزاء المهمة فقط.
المستوى الثاني: إذا كان محتوى الملاحظة لا يزال غامضاً، فقم بجلب المحتوى الأصلي أيضاً.
المستوى الثالث: إذا كان ترتيب الأهمية خاطئاً (على سبيل المثال، يعتقد الذكاء الاصطناعي أن ملاحظة مملة أكثر أهمية من ملاحظة حاسمة)، فإنه يعيد حساب ذلك الجزء تحديداً باستخدام الأصول.
المستوى الرابع (شبكة الأمان القصوى): إذا فشل كل شيء، فإنه ينتقل إلى الطبقة بأكملها باستخدام الملاحظات الأصلية غير المضغوطة. هذا يضمن أن المخرجات ستكون صحيحة بنسبة 100%، تماماً مثل النسخة القياسية البطيئة.

ما وجدته الورقة البحثية فعلياً

اختبر الباحثون هذا النظام على نموذج يسمى LLaMA 3.1-8B مع محادثات طويلة جداً (تصل إلى 128,000 كلمة).

المهام اللغوية: عند كتابة القصص أو تلخيص النصوص، كان النظام الجديد لا يمكن تمييزه عن النسخة الأصلية البطيئة والمثالية. لقد ارتكب نفس الأخطاء (أو تجنبها) تماماً كما في النسخة الأصلية.
مهام الاسترجاع (الإبرة في كومة قش): عندما طُلب منه العثور على حقيقة محددة مخبأة في نص ضخم، وجد النظام الجديد الحقيقة بنفس كفاءة النسخة الأصلية.
فخ "التبسيط الساذج": اختبروا أيضاً ما يحدث إذا لم تستخدم شبكة الأمان هذه (أي استخدام الشفرة المختصرة فقط دون عمليات التحقق). تلك النسخة فشلت فشلاً ذريعاً، حيث فقدت القدرة على إيجاد الحقائق أو التفكير بشكل صحيح. وهذا يثبت أن "شبكة الأمان" ليست مجرد عمل إضافي، بل هي السبب في نجاح النظام.

المقايضة

هناك تكلفة. نظرًا لأن النظام يقوم باستمرار بعمليات فحص رياضية ويقوم أحياناً بجلب الملاحظات من وحدة التخزين الأبطأ، فإنه أبطأ بمقدار 2.7 إلى 4.8 مرة من النسخة السريعة القياسية.

ومع ذلك: فهو يستخدم ذاكرة أقل بكثير على وحدة معالجة الرسومات (GPU) الباهظة الثمن.
نقطة التوازن المثالية: بالنسبة للمحادثات الطويلة جداً (64 ألف كلمة فأكثر)، يستخدم النظام في الواقع ذاكرة أقل من النسخة القياسية، حتى مع وجود شبكة الأمان، لأن النسخة القياسية ببساطة لا تستطيع استيعاب الملاحظات على الجهاز اللوحي أصلاً.

باختصار

تقدم هذه الورقة طريقة لضغط ذاكرة الذكاء الاصطناعي بشكل عدواني دون فقدان الدقة. يفعل ذلك من خلال الاحتفاظ بنسخة احتياطية من البيانات الأصلية واستخدام "عداد سرعة" رياضي لاكتشاف الأخطاء في الوقت الفعلي. إذا أصبح التكميم خطيراً للغاية، فإنه يستبدل فوراً النسخة عالية الجودة بالنسخة الأصلية. إنه يقايض بعض السرعة بضمان عدم "هلوسة" الذكاء الاصطناعي أو نسيانه، مما يجعله آمناً للاستخدام في المحادثات الطويلة جداً.

ملخص تقني: انتباه مكمّم بحد خطأ معتمد وقت التشغيل

بيان المشكلة

يهيمن تكلفة عرض نطاق الذاكرة (memory bandwidth) لقراءة ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) من ذاكرة وحدة معالجة الرسومات (GPU) على عملية الاستدلال لنماذج اللغات الكبيرة (LLMs) ذات التوليد الذاتي (Autoregressive) عند أطوال السياق الطويلة. وبينما يوفر تكميم ذاكرة التخزين المؤقت للمفاتيح والقيم (على سبيل المثال، مفاتيح INT8 وقيم INT4) وفورات كبيرة في الذاكرة، إلا أنه يقدم أخطاء تقريبية يتم التحقق من صحتها تجريبيًا فقط. تعتمد الأنظمة الحالية على المتانة في الحالات المتوسطة، وتفتقر إلى آليات لاكتشاف أو التعافي من الإخفاقات أثناء وقت التشغيل. قد يحقق النظام انخفاضًا منخفضًا في الارتياب (perplexity) في المتوسط، ولكنه قد يظهر انحرافات كارثية خطوة بخطوة في توزيع الانتباه، لا سيما في مهام الاسترجاع، دون وجود آلية لتحديد أو تصحيح هذه الأخطاء أثناء الاستدلال.

المنهجية

تقترح الورقة بنية تخزين مؤقت للمفاتيح والقيم (KV cache) متعددة الطبقات تعيد صياغة التكميم كحوسبة معتمدة وقت التشغيل بدلاً من كونها تقريبًا ثابتًا. يعمل النظام على ثلاث ركائز أساسية:

1. التخزين متعدد الطبقات مع التراجع الحتمي

الطبقة الأولى (VRAM): تخزن البيانات المضغوطة: مفاتيح INT8 لكل قناة وقيم INT4 لكل مجموعة، بالإضافة إلى البيانات الوصفية للتكميم (المقاييس/الإزاحات) وتوصيفات الخطأ لكل كتلة. يقلل هذا من بصمة الـ VRAM إلى حوالي 56% من ذاكرة FP16 الكثيفة.
الطبقة الثانية (System RAM): تحتفظ بالمفاتيح والقيم الأصلية غير المكممة بتنسيق FP16 في ذاكرة النظام المثبتة (pinned system RAM). وتعمل هذه كمرجع حقيقي لآلية التراجع غير المشروطة.
آلية التراجع (Fallback Mechanism): إذا اكتشفت مراقبات وقت التشغيل تجاوز حدود الخطأ، يقوم النظام بالتصعيد عبر "سلم التراجع"، وصولاً إلى جلب بيانات FP16 من الطبقة الثانية لتنفيذ الانتباه الكثف الدقيق (torch.scaled_dot_product_attention) للرأس أو الطبقة المتأثرة.

2. تفكيك الخطأ ذو الحدين

يقوم النظام بتفكيك خطأ التكميم إلى حدين مستقلين وقابلين للحساب:

خطأ ضغط المفاتيح ( $E_{key}$ ): يحدد حدود التشوه في توزيع الانتباه الناتج عن تكميم المفاتيح. ويُشتق من مسافة التباين الكلي بين توزيعات softmax الدقيقة والتقريبية، والمقيدة باضطراب الدرجات لكل رمز ( $\Delta$ ).
خطأ إعادة بناء القيم ( $E_{val}$ ): يحدد حدود الخطأ الناتج عن إعادة بناء القيم من تنسيق INT4. ويتم حصره عبر المجموع الموزون لأخطاء إعادة البناء لكل كتلة ( $\eta_b$ ) وكتل الانتباه.
المراقبة في وقت التشغيل: يتم حساب كلا الحدين عبر الإنترنت باستخدام الكميات التي يتم تتبعها بالفعل (مقاييس التكميم، معايير الاستعلام، نطاقات القيم)، مما يسمح باتخاذ قرارات الدقة لكل رأس وكل خطوة.

3. الدقة التكيفية وسلم التراجع

اختيار Top-K التكيفي: ينفذ النظام تمريرة تسجيل خفيف الوزن باستخدام مفاتيح INT8 لتقدير كتل الانتباه. ويقوم بترقية أفضل $K^*$ من الكتل (التي تغطي عتبة $\tau_{cov}$ من الكتلة المقدرة، مثل 99.5%) إلى دقة مفاتيح FP16 عبر جلبها من الطبقة الثانية. أما "الذيل" المتبقي فيظل بتنسيق INT8.
فحص اتساق الترتيب (Ranking-Consistency Check): فحص حاسم في وقت التشغيل يقارن الترتيب المستمد من درجات INT8 مقابل الترتيب المستمد من درجات FP16 للكتل التي تمت ترقيتها. إذا كان الترتيب غير متسق (مما يشير إلى أن ضجيج INT8 قد شوه توزيع الانتباه)، يقوم النظام بتفعيل التراجع لكل رأس إلى الانتباه الكثف.
سلم التراجع ذو الأربع درجات:
1. توسيع التغطية: زيادة $K^*$ لتقليل ذيل الـ INT8.
2. ترقية القيم: جلب قيم FP16 للكتل التي يتجاوز فيها خطأ إعادة بناء القيمة المساهمة المقدرة عتبة معينة.
3. التراجع لكل رأس: إعادة حساب الانتباه للرأس المحدد باستخدام FP16 كامل لـ KV إذا فشل اتساق الترتيب.
4. التراجع الكامل: إعادة حساب الطبقة بأكملها باستخدام انتباه FP16 كثيف قياسي.

المساهمات الرئيسية

البنية متعددة الطبقات: نظام عملي يخزن INT8/INT4 في VRAM مع الاحتفاظ بالأصول FP16 في ذاكرة النظام (System RAM) للتعافي الحتمي.
الحدود الرسمية لوقت التشغيل: تفكيك خطأ ذو حدين يوفر حدودًا مستقلة لكل رأس وكل خطوة لخطأ ضغط المفاتيح والقيم، وهي قابلة للحساب دون الحاجة للوصول إلى بيانات FP16 الأصلية أثناء تمريرة الانتباه الرئيسية.
الدقة التكيفية: آلية تختار ديناميكيًا الكتل التي تتطلب مفاتيح FP16 بناءً على نمط الانتباه الفعلي لخطوة فك التشفين الحالية.
فحص اتساق الترتيب: آلية كشف مبتكرة تحدد متى يشوه ضجيج التكميم توزيع الانتباه (وهو نمط فشل صامت في التكميم الساذج) وتطلق عملية التعافي.
التعافي الحتمي: سلم تراجع يضمن أن النظام يعيد بالضبط مخرج المرجع الكثيف ( $O_{dense}$ ) إذا تعذر استيفاء الحدود المعتمدة، محولاً أنماط الفشل غير المعالجة إلى أحداث يمكن التعافي منها.

النتائج التجريبية

تم تقييم النظام على نموذج LLaMA 3.1-8B عبر سياقات 8K، 32K، 64K، و128K باستخدام PG-19 (نمذجة اللغة)، وNIAH (استرجاع الإبرة في كومة القش)، وRULER (الاستدلال المهيكل).

نمذجة اللغة (PG-19): يطابق النظام المعتمد ارتياب (perplexity) الـ FP16 الكثيف ضمن حدود الضوضاء ( $\Delta_{ppl} \approx \pm 0.001$ ) عبر جميع أطوال السياق.
الاسترجاع (NIAH): يطابق النظام المعتمد دقة النموذج الكثيف عند 8K، 32K، و64K. تُظهر الاختبارات الإحصائية (McNemar) عدم وجود فرق معنوي ( $p=1.0$ عند 8K/64K، و $p=0.727$ عند 32K). في المقابل، ينهار خط الأساس (الساذج) لـ INT8/INT4 (بدون اعتماد) إلى دقة تترا-وحتى 5-10%.
الاستدناء المهيكل (RULER):
- عند 64K و128K، يطابق النظام أو يتجاوز قليلاً أداء النموذج الكثيف.
- عند 8K و32K، لوحظ تدهور، خاصة في المهام الفرعية الحساسة للقيم (تتبع المتغيرات، استخراج الكلمات). تؤكد دراسات الاستبعاد أن هذا ناتج عن خطأ إعادة بناء قيم INT4. استبدال قيم INT4 بقيم FP16 أو تشديد تحمل القيمة ( $v_{tol}$ ) يلغي هذه الفجوة.
العبء على الأداء: يتحمل النظام عبئًا في زمن الاستجابة (latency) يتراوح بين 2.7× إلى 4.8× مقارنة بـ Flash Attention الكثيف، مدفوعًا بشكل أساسي بفحص اتساق الترتيب (28% من وقت الخطوة) وحركة نقل البيانات من المضيف إلى الجهاز. ومع ذلك، عند سياق 128K مع تكوين ذاكرة تخزين مؤقت غير متماثل، يحقق النظام تقليلًا بنسبة 28% في استخدام VRAM مقارنة بـ FP16 الكثيف، مع الحفاظ على زمن استجابة مماثل لتكوينات التخزين المؤقت المتماثلة.

الأهمية والادعاءات

تدعي الورقة أن مساهمتها الأساسية ليست في عملية الضغط نفسها، بل في إطار الاعتماد (certification framing). من خلال ربط حدود الخطأ لكل رأس وكل خطوة مع المراقبة في وقت التشغيل ومسار تراجع غير مشروط، يتيح النظام النشر الآمن لتكميم KV العدواني تحت قيود جودة صارمة.

إعادة صياغة التكميم: يعمل العمل على تغيير النموذج من "تقريب ثابت" إلى "حوسبة معتمدة وقت التشغيل".
السلامة فوق السرعة: الهدف ليس السرعة الخام، بل تمكين النشر الآمن حيث يكون التراجع في الجودة غير مقبول. يضمن النظام أن كل عملية حساب انتباه هي إما محدودة بالنسبة لمرجع FP16 أو يتم استردادها بدقة.
القيود: يذكر المؤلفون صراحة أن الاعتماد هو محلي (لكل رأس، لكل خطوة) ولا يضمن صحة النموذج بالكامل من البداية إلى النهاية. يتم تقييم التأثير التراكمي على جودة النموذج تجريبيًا. بالإضافة إلى ذلك، يتطلب النظام الاحتفاظ بالأصول FP16 الكاملة في ذاكرة النظام (الطبقة الثانية)، مما يترتب عليه تكلفة ذاكرة تعادل حجم التخزين المؤقت الكثيف، كما أن التنفيذ الحالي يعاني من عبء كبير في زمن الاستجابة بسبب التنسيق ونقل الذاكرة.

تخلص الورقة إلى أنه بينما يعد نظام التشغيل الحالي الأنسب للاستدلال طويل السياق (64K+) حيث تمثل الـ VRAM عائقًا، فإن البنية عامة ومستقلة عن مواصفات النموذج، مما يوفر مسارًا للتحقق من الانتباه المضغوط دون التضحية بضمانات الصحة التي توفرها النماذج الكثيفة.