💬 NLP

CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection

يعمل CompactAttention على تسريع عملية الملء المسبق المجزأ (chunked prefill) في النماذج اللغوية الكبيرة ذات السياق الطويل من خلال تقديم آلية اختيار "كتلة-اتحاد" لـ KV (Block-Union KV Selection) تقوم بتحويل أقنعة التشتت الكتلي ثنائية الأبعاد (2D block-sparse masks) إلى جداول كتل KV فعالة ومتوافقة مع تقنية GQA، مما يتيح الوصول إلى الذاكرة في مكانها دون الحاجة إلى ضغط صريح مع الحفاظ على دقة تقارب الدقة الكثيفة وتحقيق تسريع يصل إلى 2.72 ضعفًا.

المؤلفون الأصليون: Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة (الذكاء الاصطناعي) تحاول الإجابة على سؤال بناءً على مكتبة ضخمة من الكتب (السياق). في الماضي، إذا كانت لديك مكتبة ضخمة، كان عليك قراءة كل كتاب بمفرده للعثور على الإجابة الصحيحة، وهو أمر يستغرق وقتاً طويلاً جداً. ولتسريع ذلك، اخترع الباحثون نظام "التعبئة المسبقة المجزأة" (chunked prefill): فبدلاً من قراءة المكتبة بأكملها دفعة واحدة، تقرأها في دفعات صغيرة (أجزاء)، وتضيف ملاحظات إلى دفتر ملاحظات (ذاكرة الـ KV cache) أثناء تقدمك.

ومع ذلك، ظهرت مشكلة جديدة: كيف تجد الصفحات الصحيحة بسرعة في دفتر ملاحظاتك دون الحاجة لقراءة كل شيء مرة أخرى في كل مرة تحصل فيها على دفعة جديدة من الأسئلة؟

تقدم هذه الورقة البحثية CompactAttention، وهي طريقة جديدة لحل هذه المشكلة. إليك كيف تعمل، باستخدام تشبيهات بسيطة:

المشكلة في الطرق القديمة

حددت الورقة طريقتين حاول الناس من خلالهما حل هذه المشكلة، وسبب فشلهما:

1. نهج "النواة المتفرقة" (الماسح غير الفعال):

الفكرة: تخيل أن لديك خريطة للمكتبة بها نقاط حمراء تحدد الكتب المهمة فقط. أنت تحاول تخطي المساحات البيضاء والنظر فقط إلى النقاط الحمراء.
الفشل: عندما تقرأ مكتبة ضخمة (سياق طويل) ولكنك تطرح سؤالاً صغيراً جداً (جزء صغير)، تصبح هذه الطريقة بطيئة. الأمر يشبه امتلاك ماسح ضوئي رائع لمسح جدار كامل من النصوص، ولكنه عندما يكون لديك جملة واحدة فقط، يستغرق الماسح وقتاً طويلاً للإعداد والمعايرة. عبء "تخطي" المساحات البيضاء يجعل العملية في الواقع أبطأ من مجرد قراءة كل شيء.

2. نهج "أخذ عينات الاستعلام" (الأمين الكسول):

الفكرة: بدلاً من التحقق من كل سؤال، تختار بضعة أسئلة عشوائية من دفعتك، وتجد الكتب المهمة لتلك الأسئلة، وتفترض أن تلك الكتب مهمة للجميع.
الفشل: هذا أمر محفوف بالمخاطر. إذا اخترت الأسئلة القليلة الخاطئة، فقد تفوت كتاباً حاسماً كان يحتاجه سؤال واحد محدد فقط. وأيضاً، بمجرد اختيار تلك الكتب، يتعين عليك نقلها جسدياً من الرفوف إلى طاولة خاصة قبل أن تتمكن من قراءتها. عملية "النقل" (نسخ البيانات) هذه تستغرق الكثير من الوقت والطاقة.

الحل: CompactAttention

يغير CompactAttention قواعد اللعبة من خلال الفصل بين إيجاد الكتب وقراءتها.

الخطوة 1: استراتيجية "الاتحاد" (تجميع البحث)

بدلاً من محاولة تنفيذ "قائمة تخطي" معقدة (نواة متفرقة) أو التخمين بناءً على عدد قليل من الأسئلة، يستخدم CompactAttention خدعة تجميع ذكية:

تخيل أن لديك فريقاً من المحققين (رؤوس الاستعلام - query heads) يعملون على قضية ما. لكل محقق قائمة خاصة بـ "المشتبه بهم" (كتل KV) الذين يعتقد أنهم مهمون.
بدلاً من ترك كل محقق يعمل بمفرده، يقول CompactAttention: "دعونا نجمع جميع المشتبه بهم من الفريق بأكتها في قائمة رئيسية واحدة".
يفعل ذلك في خطوتين:
1. اتحاد كتل الاستعلام (Q-Block Union): يجمع القوائم لجميع الأسئلة في الدفعة الحالية.
2. الاتحاد داخل المجموعة (Intra-Group Union): يجمع القوائم للمحققين الذين يعملون معاً.
النتيجة: تحصل على "قائمة رئيسية" واحدة ومختصرة من المشتبه بهم تغطي احتياجات الجميع. لا يُترك أي كتاب مهم خلفنا، لأنه إذا احتاج أي محقق إليه، فسيكون موجوداً في القائمة.

الخطوة 2: التنفيذ "بصفر نسخ" (القراءة في المكان)

هذا هو الجزء السحري.

الطريقة القديمة: بمجرد حصولك على قائمتك الرئيسية، يجب عليك نقل كل تلك الكتب جسدياً من الرفوف إلى طاولة خاصة لتتمكن من قراءتها بسرعة. عملية "النقل" هذه تستغرق وقتاً وطاقة.
طريقة CompactAttention: لا تنقل الكتب على الإطلاق. أنت فقط تسلم أمين المكتبة خريطة (بيانات وصفية/metadata) تقول: "اذهب إلى الرف أ، الصف 3، الكتاب 5؛ ثم الرف ب، الصف 2، الكتاب 2".
يذهب أمين المكتبة (نواة الكمبيوتر) مباشرة إلى تلك المواقع على الرفوف ويقرأها. يسمى هذا "الوصول المبوب بصفر نسخ" (Zero-Copy Paged Attention). وهذا يوفر كل الوقت والطاقة المستهلكة في نقل البيانات حول.

لماذا يعد هذا أمراً مهماً للغاية؟

اختبرت الورقة البحثية هذا على نموذج ذكاء اصطناعي ضخم (LLaMA-3.1-8B) بسياق يصل إلى 128,000 كلمة (مستند طويل جداً).

الدقة: كان بذكاء قراءة المكتبة بأكملها (الانتباه الكثيف - Dense Attention). لم يفت أي تفاصيل حاسمة.
السرعة: كان أسرع بما يصل إلى 2.72 مرة من الطريقة القياسية المتبعة.

الخلاصة

فكر في CompactAttention كأنه أمين مكتبة ذكي يتوقف عن محاولة إعادة ترتيب المكتبة، وبدلاً من ذلك يستخدم بطاقة فهرسة مجمعة ومثالية.

من خلال إدراك أن "البحث" (إيجاد الكتل المهمة) و"التنفيذ" (قراءة تلك الكتل) يجب أن يكونا منفصلين، ومن خلال استخدام خدعة "التجميع" لضمان عدم تفويت أي شيء، تمكنوا من جعل معالجة المستندات الطويلة في الذكاء الاصطناعي أسرع بكثير دون فقدان أي قدر من الذكاء. لقد أثبتوا أن العائق لم يكن فقط في أي الكتب تختار، بل في كيفية ذهابك لاختيارها.

ملخص تقني: CompactAttention

بيان المشكلة
مع توسع النماذج اللغوية الكبيرة (LLMs) لدعم نوافذ سياق تصل إلى مئات الآلاف أو الملايين من الرموز (tokens)، أصبح معالجة التسلسلات الطويلة عبر تمريرة "التحضير المسبق" (prefill) واحدة "بضربة واحدة" أمراً غير عملي بسبب التكاليف الحسابية التربيعية ومخاطر تعطيل طلبات فك التشفيد (decode) في أنظمة الخدمة عبر الإنترنت. وبناءً على ذلك، أصبح "التحضير المسبق المجزأ" (chunked prefill) — وهو معالجة المدخلات بالتتابع في أجزاء (chunks) ثابتة الحجم مع الانتباه إلى مخازن المفتاح-القيمة (KV cache) المتراكمة — هو استراتيجية الخدمة القياسية في أطر العمل مثل vLLM وSGLang.

ومع ذلك، تواجه طرق التسريع الحالية قيوداً كبيرة في هذا النظام:

عدم كفاءة الانتباه متفرق الكتل (Block-Sparse Attention): تعتمد طرق الكتل المتفرقة التقليدية (مثل XAttention وSeerAttention) على نوى (kernels) متفرقة تتطلب أطوال استعلام (query lengths) كبيرة لتعويض عبء الوصول غير المنتظم للذاكرة وتفسير الأقنعة (masks). في التحضير المسبق المجزأ، يكون طول الاستعلام محدوداً بحجم الجزء ( $Q \ll KV$ )، مما يتسبب في فقدان هذه النوى للتوازي والكفاءة، وغالباً ما تفشل في التفوق على الانتباه الكثيف (dense attention).
عبء البحث عن الأنماط: تتطلب الطرق المتفرقة إيجاد أنماط متفرقة تعتمد على المدخلات. في التحض निपटने المسبق المجزأ، يجب تكرار هذا البحث على مخزن KV المتراكم والمتنامي لكل جزء، مما يجعل عبء البحث التراكمي عائقاً حرجاً.
قيود الاختيار المباشر لـ KV: تتجنب طرق مثل QUOKA النوى المتفرقة عبر اختيار مجموعة فرعية من رموز KV بناءً على مجموعة استعلامات فرعية وإجراء انتباه كثيف. ومع ذلك، يعاني هذا النهج من مشكلتين:
- فجوات التغطية: قد يتم إغفال مدخلات KV المهمة لاستعلامات غير مختارة، مما يؤدي إلى تدهور الدقة في المهام التي تتطلب وصولاً للمعلومات الموزعة.
- عبء النسخ: يتطلب اختيار الرموز على مستوى الرمز (token-level) تجميعاً ونسخاً صريحاً لمدخلات KV إلى مخزن مؤقت مضغوط قبل تنفيذ الانتباه، مما يضيف عبئاً يتناسب مع طول السياق وحجم الدفعة (batch size).

المنهجية: CompactAttention
يقترح المؤلفون CompactAttention، وهي آلية تفصل بين اختيار كتل KV على مستوى الكتلة وبين تنفيذ الانتباه. بدلاً من استخدام أقنعة الانتباه متفرقة الكتل ثنائية الأبعاد كخطط تنفيذ مباشرة للنوى المتفرقة، تعامل CompactAttention هذه الأقنعة كـ إشارات لاختيار KV لبناء جداول كتل KV مدركة لـ GQA لكل مجموعة.

تعمل الطريقة في مرحلتين:

مرحلة الاختيار (بناء جدول اتحاد الكتل - Block-Union KV Table):
- يقبل النظام قناعاً متفرق الكتل ثنائي الأبعاد لكل رأس (per-head) يتم إنتاجه بواسطة أي طريقة بحث عن نمط خفيفة الوزن (مثل SeerAttention أو FlashPrefill).
- يقوم بتطبيق اتحاد كتل Q (Q-block union) عبر كتل الاستعلام داخل الجزء الحالي. هذا ضروري لأن الانتباه المبوب (paged attention) الكثيف يستهلك قائمة كتل KV واحدة لمجموعة من كتل الاستعلام التي تُنفذ معاً، بدلاً من قرارات فردية لكل بلاطة (tile) من $(Q\text{-block}, KV\text{-block})$ .
- يطبق اتحاداً داخل المجموعة (intra-group union) عبر رؤوس الاستعلام التي تشترك في مجموعة KV واحدة (الافتراضي هو مجموعات Grouped-Query Attention).
- النتيجة هي جدول كتل KV أدنى لكل مجموعة ( $T_{b,g}$ ) يحافظ على جميع كتل KV التي اختارتها أقنعة المدخلات الأصلية. يضمن هذا البناء الحفاظ على التغطية: أي كتلة KV تم اختيارها بواسطة أي كتلة استعلام أو رأس في المجموعة تظل مختارة.
مرحلة التنفيذ (الانتباه المبوب بدون نسخ - Zero-Copy Paged Attention):
- على عكس طرق الاختيار على مستوى الرمز، تعمل CompactAttention على مستوى الكتلة (block granularity).
- تستخدم تخطيط ذاكرة بترتيب (KV-head-major) $[B, H_{kv}, L, D]$ بدلاً من التخطيط القياسي حسب التسلسل (sequence-major). يسمح هذا بمعاملة كل ثلاثي $(batch, KV\text{-head}, block)$ كمنطقة ذاكرة متصلة.
- يتم تمرير جداول الكتل المنشأة كـ بيانات وصفية (metadata) (تحديداً kv_indptr و kv_indices) إلى نواة انتباه مبوب كثيفة قياسية.
- تصل النواة إلى كتل KV المختارة في مكانها (in-place) من مخزن KV الأصلي دون نسخ أو ضغط صريح إلى مخزن مؤقت جديد.

المساهمات الرئيسية

فصل الاختيار عن التنفيذ: قدمت الورقة تصميماً يفصل منطق أي كتل KV سيتم اختيارها عن كيفية تنفيذها، مما يسمح بإعادة استخدام طرق البحث عن الأنماط الخفيفة مع تجنب عدم كفاءة النوى المتفرقة.
بناء اتحاد الكتل (Block-Union Construction): الاستخدام المبتكر لاتحاد كتل Q والاتحاد داخل المجموعة لتحويل أقنعة الـ 2D المتفرقة إلى جداهل كتل مدركة لـ GQA، تكون دنيا (minimal) ولكنها حافظة للتغطية.
التنفيذ المبوب بدون نسخ (Zero-Copy Paged Execution): من خلال الاستفادة من تخطيط KV-head-major والبيانات الوصفية للانتباه المبوب، تلغي الطريقة عبء ضغط/نسخ الـ KV الصريح المتأصل في طرق الاختيار على مستوى الرمز مثل QUOKA.

النتائج التجريبية
تم التقييم على LLaMA-3.1-8B-Instruct و Qwen3-30B-A3B-Instruct-2507 تحت نظام التحضير المسبق المجزأ:

التسريع: على وحدات معالجة الرسوميات H200 مع سياق بطول 128K، تحقق CompactAttention تسريعاً في الانتباه يصل إلى 2.72× وتسريعاً في النهاية (end-to-end) يصل إلى 1.96× مقارنة بالأساس الكثيف. هذا يتفوق بشكل كبير على الأسس المتفرقة (التي غالباً ما تؤدي أداءً أقل من الانتباه الكثيف في نظام $Q \ll KV$ ) وعلى QUOKA (الذي يحده عبء النسخ).
الدقة: تحافظ CompactAttention على دقة قريبة من الانتباه الكثيف في اختبارات RULER و LongBench V2. وهي تتفوق على QUOKA، خاصة في المهام التي تتطلب وصولاً للمعلومات الموزعة (مثل Multi-key NIAH)، حيث يؤدي أخذ عينات الاستعلام في QUOKA إلى تدهور الدقة.
الكفاءة: تؤكد دراسات الاستئصال (Ablation studies) أن استراتيجية التنفيذ المبوب بدون نسخ أكثر كفاءة من كل من تنفيذ النوى المتفرقة وضغط الـ KV الصريح، حتى عند احتساب عبء إنشاء البيانات الوصفية.

الأهمية
تدعي الورقة أن العائق الرئيسي للانتباه المتفرق في التحضير المسبق المجزأ ليس مجرد أي كتل KV سيتم اختيارها، بل كيفية تنفيذ الكتل المختارة. من خلال جعل الاختيار المتفرق متوافقاً مع نوى الانتباه المبوب الكثيفة والفعالة عبر بناء اتحاد الكتل والتنفيذ بدون نسخ، توفر CompactAttention مساراً عملياً لخدمة النماذج اللغوية ذات السياق الطويل بسرعة أكبر. إنها تعالج حالات عدم الكفاءة المحددة لنظام $Q \ll KV$ التي أعاقت اعتماد طرق الانتباه المتفرقة الموجودة في أنظمة التحضير المسبق المجزأ.