💬 NLP

Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space

تقدم هذه الورقة البحثية آلية الانتباه التلافيفي المضغوط (CCA) ومتغيرها CCGQA، وهما آليتان مبتكرتان للانتباه تقومان بالعمليات في فضاء كامن مشترك لتقليل عدد المعلمات، وحجم ذاكرة التخزين المؤقت لـ KV، وعمليات الفاصلة العائمة (FLOPs) في آن واحد، مما يحقق تسريعاً كبيراً في عمليات التدريب والتحميل المسبق مع الحفاظ على الأداء أو تحسينه مقارنة بالطرق الحالية مثل GQA وMLA.

المؤلفون الأصليون: Tomas Figliolia, Nicholas Alonso, Rishi Iyer, Quentin Anthony, Beren Millidge

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tomas Figliolia, Nicholas Alonso, Rishi Iyer, Quentin Anthony, Beren Millidge

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة رواية ضخمة مكونة من 100,000 صفحة للإجابة على سؤال واحد فقط.

في عالم الذكاء الاصطناعي، هذا هو ما يفعله نموذج "المحول" (Transformer). فهو يستخدم آلية تسمى "الانتباه" (Attention) للالتفات إلى كل كلمة قرأها حتى الآن لفهم الكلمة الحالية.

ما المشكلة؟ مع طول القصة، يكبر "ذاكرة" الذكاء الاصطناعي (التي تسمى KV-cache) بشكل هائل، وتصبح العمليات الحسابية التي يتعين عليه القيام بها لربط الكلمات ببعضها البعض أصعب بشكل أسي. الأمر يشبه محاولة البحث عن جملة محددة في مكتبة تستمر في إضافة رف جديد مقابل كل كلمة تقرأها. في النهاية، ستصبح المكتبة كبيرة جدًا بحيث لا يمكن وضعها على مكتبك (ذاكرة وحدة معالجة الرسومات - GPU memory)، وسيستغرق البحث فيها وقتًا طويلاً جدًا.

حاولت الحلول الموجودة معالجة ذلك عبر:

مشاركة الملاحظات: جعل رؤوس متعددة للذكاء الاصطناعي تتشارك نفس الذاكرة (GQA). هذا يوفر المساحة ولكنه لا يجعل الرياضيات أسرع.
ضغط الملاحظات: كتابة ملخص صغير للملاحظات بدلاً من النص الكامل (MLA). هذا يوفر المساحة، ولكن لا يزال على الذكاء الاصطناعي "فك ضغط" الملخص لقراءته، لذا لا تتحسن سرعة الرياضيات كثيرًا.

الحل الجديد: الانتباه التلافيفي المضغوط (CCA)

يقترح مؤلفو هذه الورقة طريقة جديدة تسمى "الانتباه التلافيفي المضغوط" (Compressed Convolutional Attention - CCA). وإليك كيف تعمل، باستخدام تشبيه بسيط:

1. استراتيجية "الدفتر الصغير"

بدلاً من كتابة كل تفصيل في القصة في دفتر ملاحظات ضخم، يجبر نظام CCA الذكاء الاصطناعي على كتابة ملاحظاته في دفتر صغير ومضغوط منذ البداية.

الطريقة القديمة: اكتب الجملة كاملة، ثم حاول تلخيصها لاحقًا.
طريقة CCA: اكتب الملخص فقط أثناء القراءة. يقوم الذكاء الاصطناعي بكل تفكيره، وربطه، وعملياته الحسابية داخل هذا الدفتر الصغير.

لأن الدفتر أصغر (مضغوط)، يحتاج الذكاء الاصطناون للقيام بكمية أقل بكثير من العمليات الحسابية لإيجاد الروابط. الأمر يشبه محاولة العثور على إبرة في صندوق أحذية صغير بدلاً من مستودع ضخم. وهذا يجعل الذكاء الاصطناعي أسرع في التدريب وأسرع في التشغيل، حتى مع القصص الطويلة.

2. خدعة "التنعيم" (التلافيف - Convolutions)

كان هناك تخوف من أنه إذا قمت بضغط الملاحظات أكثر من اللازم، فستفقد التفاصيل المهمة (مثل نكهة القصة). ولحل هذه المشكلة، أضاف المؤلفون خطوة "تنعيم" خاصة.

تخيل أنك تلخص فيلمًا. إذا كتبت فقط "كان جيدًا"، فستفقد الحبكة. ولكن إذا كتبت ملخصًا ثم مررته عبر مرشح (فلتر) يسلط الضوء على أهم المشاعر والروابط (هذا هو جزء "التلافف" أو Convolution)، فستحتفظ بالجوهر دون الحجم الزائد.

تضيف الورقة خطوة "خلط" تدمج الملاحظات معًا قبل أن يتخذ الذكاء الاصطناعي قراره. هذا يضمن أنه على الرغم من صغر حجم الملاحظات، إلا أنها تظل ذكية وغنية بالمعلومات.

3. "الشخصية المنقسمة" (إزاحة القيمة - Value-Shift)

يستخدم الذكاء الاصطناعي أيضًا خدعة تسمى "إزاحة القيمة". تخيل أنك تستمع إلى محادثة. عادةً، تسمع ما يقال الآن. لكن هذه الطريقة تجبر نصف انتباه الذكاء الاصطناعي أيضًا على النظر إلى ما قيل قبل لحظة.

هذا يعطي الذكاء الاصطناعي إحساسًا بالإيقاع والتدفق، مما يساعده على فهم كيف تؤدي جملة إلى أخرى، مما يجعل الملخصات أفضل.

لماذا يعد هذا أمرًا مهمًا؟

لقد دمج المؤلفون استراتيجية "الدفتر الصغير" (الضغط) مع فكرة "مشاركة الملاحظات" (Grouped Query Attention) لإنشاء CCGQA.

فكر في الأمر كأنه فريق عالي الكفاءة:

الذكاء الاصطناعي القديم: فريق من 100 شخص، يحمل كل منهم حقيبة ظهر ضخمة من الملاحظات. إنهم بطيئون وثقلاء.
GQA/MLA: فريق حيث يتشارك بعض الأشخاص حقائب الظهر، أو يحملون حقائب أصغر ولكن عليهم التوقف وتفريغها للقراءة.
CCA/CCGQA: فريق حيث يحمل الجميع جهازًا لوحيًا صغيرًا ومتطورًا. لا يحتاجون لتفريغ أي شيء. يمكنهم القراءة، والتفكير، والكتابة مرة أخرى فورًا.

النتائج

السرعة: على أجهزة الكمبيوتر القوية (H1 H100 GPUs)، هذه الطة الجديدة أسرع بمقدار 1.7 مرة في معالجة النصوص الطويلة (16,000 كلمة) مقارنة بالطريقة القياسية.
الذاكرة: تستخدم 8 مرات أقل من الذاكرة لتخزين "الملاحظات" (KV-cache) دون فقدان أي ذكاء.
الجودة: للمفاجأة، أصبح الذكاء الاصطناعي في الواقع أكثر ذكاءً (معدلات خطأ أقل) من الطرق السابقة، رغم أنه يبذل جهدًا أقل.

الخلاصة

تقدم هذه الورقة طريقة لجعل نماذج الذكاء الاصطناعي قادرة على قراءة كتب كاملة في ثوانٍ، دون الحاجة إلى حاسوب خارق لاستيعاب الذاكرة. وهي تفعل ذلك من خلال إجبار الذكاء الاصطناعي على التفكير في "ملخصات مضغوطة للغاية" منذ البداية، باستخدام حيل رياضية ذكية لضمان أن تظل تلك الملخصات مثالية. إنه الفرق بين حمل مكتبة في سيارتك مقابل حمل بطاقة فهرسة سحرية واحدة تعرف كل شيء.

إليك ملخص تقني مفصل لورقة البحث "Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space" (الانتباه التلافيفي المضغوط: انتباه فعال في فضاء كامن مضغوط).

1. بيان المشكلة

تواجه نماذج المحولات (Transformers)، وخاصة تلك التي تتعامل مع السياقات الطويلة (مثل نماذج الاستدلال)، عقبتين رئيسيتين:

التعقيد الحسابي التربيعي: تتطلب آلية "الانتباه متعدد الرؤوس" (MHA) القياسية عمليات بمقدار $O(S^2)$ حيث $S$ هو طول التسلسل. وهذا يجعل عمليات "التعبئة المسبقة" (prefilling) والتدريب مكلفة للغاية.
النمو الخطي لمخزن الـ KV المؤقت (KV-Cache): أثناء التوليد التكراري (autoregressive generation)، ينمو مخزن المفاتيح والقيم (KV) خطياً مع طول التسلسل والبعد الخفي، مما يخلق اختناقات هائلة في عرض نطاق الذاكرة (memory-bandwidth)، وهو ما يحد من إنتاجية الاستدلال.

قصور الحلول الحالية:

انتباه الاستعلام المجموع (GQA): يقلل حجم مخزن الـ KV عن طريق مشاركة رؤوس المفاتيح/القيم، ولكنه لا يقلل الحسابات (FLOPs) أثناء التدريب أو التعبئة المسبقة.
الانتباه متعدد الكامن (MLA): يضغط المفاتيح والقيم (K/V) في فضاء كامن مشترك لتقليل حجم المخزن المؤقت. ومع ذلك، فإنه يتطلب مصفوفات "إعادة إسقاط للأعلى" (up-projection) لإعادة بناء الأبعاد الكاملة لعملية الانتباه، مما يعني أنه لا يوفر أي توفير في الحسابات مقارنة بـ MHA/GQA، بل ويضيف عبئاً في عدد المعلمات. كما أنه يعقد دمج تضمين الموضع الدوار (RoPE).
نماذج حالة الفضاء (SSMs): تلغي التعقيد التربيعي، ولكنها غالباً ما تفتقر إلى القدرة التعبيرية التي يوفرها الانتباه للمهام الاستدلالية المعقدة.

2. المنهجية: الانتباه التلافيفي المضغوط (CCA)

يقترح المؤلفون الانتباه التلافيفي المضغوط (CCA)، وهو بنية مبتكرة تقوم بإجراء عملية الانتباه بأكملها داخل فضاء كامن مضغوط.

الآلية الجوهرية

الإسقاط للأسفل (Down-Projection): يتم إسقاط الاستعلامات ( $Q$ )، والمفات keys ( $K$ )، والقيم ( $V$ ) من البعد المتبقي $E$ إلى بعد كامن أصغر $\tilde{e} = E/C$ (حيث $C$ هو عامل الضغط) باستخدام مصفوفات قابلة للتعلم.
عمليات الفضاء الكامن: على عكس MLA، لا يقوم CCA بإعادة الإسقاط للأعلى إلى البعد $E$ قبل عملية الانتباه. بدلاً من ذلك، يقوم بإجراء عملية الانتباه بالكامل داخل الفضاء المضغوط.
الابتكارات الرئيسية للحفاظ على القدرة التعبيرية: لمنع تدهور الأداء الناتج عن الضغط، يقدم CCA ثلاث عمليات محددة على الكمونات الكامنة:
- الخلط التلافيفي (Convolutional Mixing): يطبق تلافيفات أحادية البعد (1D convolutions) عبر كل من أبعاد التسلسل والقنوات لكل من $Q$ و $K$ . هذا يعزز نقل المعلومات والتنعيم، بشكل مشابه للتلافيف السببية في SSMs.
- متوسط Q-K (Q-K-Mean): يضيف متوسط قيم $Q$ و $K$ قبل وبعد التلافيف مرة أخرى إلى التنسورات. يعمل هذا كوصلة تخطي (skip connection) ويزيد من ندرة القطر (diagonal sparsity) للانتباه عند دمجه مع التطبيع (normalization).
- إزاحة القيمة (Value-Shift): تولد متجهات القيم من المدخل الحالي والرمز (token) السابق في التسلسل، مما يقدم انحيازاً استقرائياً (inductive bias) يجعل نصف الرؤوس لا يمكنها "رؤية" الرمز الحالي (مشابه لـ token-shift في RWKV).
تكامل RoPE: نظرًا لأن الانتباه يحدث في الفضاء الكامن، يمكن تطبيق RoPE مباشرة على المفاتيح والاستعلامات المضغوطة دون الحاجة إلى "رؤوس RoPE" خاصة أو مخازن منفصلة، مما يبسط البنية مقارنة بـ MLA.

التوسعة: انتباه الاستعلام المجموع التلافيفي المضغوط (CCGQA)

يجمع المؤلفون بين CCA و GQA بأسلوب مشاركة المعلمات.

الآلية: داخل الفضاء الكامن المضغوط، يتم تجميع ومشاركة رؤوس المفاتيح والقيم (على سبيل المثال، 4 رؤوس استعلام تشارك رأس KV كامن واحد).
الفائدة: يسمح هذا بمعدلات ضغط منفصلة (على سبيل المثال، ضغط الاستعلامات بدرجة أقل من المفاتيح) ويحقق تقليلاً إضافياً بمقدار $2\times$ في حجم مخزن الـ KV دون أي تراجع في الأداء.

3. المساهمات الرئيسية

توحيد تقليل الحسابات والذاكرة: يعد CCA أول طريقة تقلل في آن واحد من المعلمات، وحجم مخزن الـ KV، وعمليات الحساب (FLops) (أثناء التدريب والتعبئة المسبقة) بمعامل الضغط $C$ .
تطابق الاستراتيجيات (Orthogonality): توضح الورقة أن ضغط المعلمات (CCA/MLA) ومشاركة المعلمات (GQA) هما أمران متعامدان ويمكن الجمع بينهما (CCGQA) لإنشاء حدود "باريتو" (Pareto frontier) سلسة لضبط النماذج نحو حدود الذاكرة أو حدود الحساب.
تنفيذ النواة (Kernel) بكفاءة: قام المؤلفون بتنفيذ نواة CUDA مدمجة لـ CCA/CCGQA على وحدات GPU من نوع H100، حيث تم دمج التلافيف مع "softmax" عبر الإنترنت بأسلوب Flash Attention.
بساطة RoPE: يدمج CCA تقنية RoPE بسلاسة في الفضاء الكامن، متجنباً الإدارة المعقدة لذاكرة RoPE المطلوبة في MLA.

4. النتائج التجريبية

أُجريت التجارب على نماذج كثيفة (1 مليار معلمة) ونماذج خليط الخبراء (MoE) مدربة على مجموعة بيانات Zyda2.

الأداء مقابل MHA/GQA/MLA:
- النماذج الكثيفة: يتفوق CCA على MLA في قيمة الخسارة (loss) مع استخدام عدد أقل بكثير من العمليات الحسابية (FLOPs). ويتفوق CCGQA على MHA القياسي رغم امتلاكه مخزن KV أصغر بكثير وعدد معلمات أقل.
- نماذج MoE: يحقق CCGQA ضغطاً في مخزن الـ KV بمقدار 8 أضعاف مقارنة بـ GQA/MLA مع عدم وجود انخفاض في الأداء مقارنة بـ MHA القياسي. كما يتفوق على جميع طرق الانتباه الأخرى عند تساوي معدلات ضغط مخزن الـ KV.
كفاءة الحساب:
- يقلل CCA من عمليات الحساب (FLOPs) في التدريب والتعبئة المسبقة بمعامل الضغط (على سبيل المثال، $4\times$ أو $8\times$ ).
- زمن الاستجابة (Latency): على وحدات GPU من نوع H100 بطول تسلسل 16k:
  - التعبئة المسبقة (Prefill): يعد CCA/CCGQA أسرع بمقدار 1.7x من MHA و أسرع بمقدار 1.3x من GQA-8.
  - المرور الخلفي (Backward Pass): يعد CCA أسرع بمقدار 1.3x من MHA.
دراسات الاستئصال (Ablation Studies):
- توفر التلافيفات المتسلسلة (Sequential convolutions) أكبر مكسب في الأداء.
- توفر عمليات Q-K-Mean و Value-Shift تحسينات طفيفة ولكن مستمرة في الـ perplexity ودرجات التقييم.

5. الأهمية والآثار المترتبة

جدوى السياق الطويل: من خلال تقليل التكلفة الحسابية التربيعية بمعامل $C$ ، يتيح CCA معالجة تسلسلات أطول بكثير (على سبيل المثال، $4\times$ أطول لنفس ميزانية الـ FLOPs) دون التضحية بجودة النموذج.
سرعة التدريب والاستدلال: على عكس الطرق السابقة التي ركزت فقط على تحسين سرعة فك التشفين (الاستدلال)، فإن CCA يسرع التدريب والتعبئة المسبقة (وهي التكاليف المهيمنة في مهام السياق الطويل).
القابلية للتوسع: تتوافق الطريقة بشكل كبير مع استراتيجيات التوازي الحالية (التوازي في التنسور وتوازي السياق) لأنها تقلل من حجم التواصل (العرض الكامن $E/C$ ) وليس فقط حجم المخزن المؤقت.
الاتجاه المستقبلي: تشير الورقة إلى أن إجراء عمليات غير خطية إضافية (مثل التلافيف) على الكمونات المضغوطة هو اتجاه واعد لاستعادة القدرة التعبيرية المفقودة أثناء تقليل الأبعاد، وهو ما قد ينطبق على "خلاطات التسلسل" (sequence mixers) الأخرى بخلاف الانتباه.

باخت ملخص، يمثل CCA تحولاً في النموذج الفكري من "ضغط المخزن المؤقت مع الإبقاء على الحسابات" إلى "ضغط آلية الانتباه بأكملها"، مما يقدم حلاً عالي الكفاءة للجيل القادم من نماذج السياق الطويل.