💬 NLP

Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry

تقترح الورقة البحثية "استقلالية الرؤوس" (Autonomy-of-Heads - AoH)، وهي طريقة خالية من البيانات تحدد رؤوس الاسترجاع والبث في النماذج اللغوية الكبيرة المجمدة من خلال تحليل الهندسة الطيفية لإسقاطات الاستعلام والمفتاح، مما يتيح انتباهاً متفرقاً فعالاً يقلل بشكل كبير من زمن الاستجابة وتكاليف الذاكرة مع الحفاظ على الأداء العالي.

المؤلفون الأصليون: Yehan Yang, Junyuan Shang, Yang Li, Guanqun Zhao, Shuohuan Wang, Dianhai Yu

نُشر 2026-08-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yehan Yang, Junyuan Shang, Yang Li, Guanqun Zhao, Shuohuan Wang, Dianhai Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل روبوتًا فائق الذكاء يمكنه قراءة مكتبات كاملة في طرفة عين. هذا الروبوت، المعروف باسم "النموذج اللغوي الكبير" (LLM)، يعمل من خلال الانتباه إلى كل كلمة رآها على الإطلاق في محادثة ما للتنبؤ بالكلمة التالية. ولكن هنا تكمن المشكلة: مع طول المحادثة، ينسد دماغ الروبوت. إذ يتعين عليه تذكر كل كلمة، والعمليات الحسابية المطلوبة لربطها جميعًا تنمو بشكل انفجاري، مثل محاولة مصافحة الجميع في ملعب رياضي في وقت واحد. وهذا يجعل الروبوت بطيئًا ونهمًا للذاكرة. لقد حاول العلماء إصلاح ذلك عبر إخبار الروبوت بتجاهل بعض الكلمات أو بالنظر فقط إلى أحدث الكلمات، لكن هذه الأساليب تتطلب عادةً من الروبوت أن "يدرس" المحادثة المحددة أولاً ليقرر ما الذي سيتجاهله. الأمر يشبه أمين مكتبة يتعين عليه قراءة كل كتاب في المكتبة قبل أن يقرر أي الكتب سيحتفظ بها على الرف. السؤال الكبير هو: هل يمكن للروبوت معرفة الكتب التي يجب الاحتفاظ بها بمجرد النظر إلى بنية دماغه، دون قراءة كلمة واحدة من القصة أولاً؟

تقدم هذه الورقة البحثية حيلة ذكية تسمى "استقلالية الرؤوس" (Autonomy-of-Heads أو AoH) والتي تجيب بـ "نعم". فقد اكتشف الباحثون أن دماغ الروبوت يتكون في الواقع من العديد من العمال الصغار المتخصصين المسمين "رؤوس الانتباه". بعض هذه الرؤوس تشبه المحققين، حيث تمسح القصة بأكملها باستمرار للعثور على أدلة محددة (مثل اسم ذُكر قبل ثلاث صفحات). بينما البعض الآخر يشبه مذيعي الأخبار، الذين يهتمون فقط بما يحدث الآن أو ببداية الدردشة تمامًا. وتظهر الورقة أنه يمكنك معرفة نوع كل رأس بمجرد النظر إلى الرياضيات المجمدة داخل دماغ الروبوت، دون الحاجة لإجراء أي اختبارات أو رؤية أي بيانات. الأمر يشبه القدرة على معرفة ما إذا كان الشخص محققًا أم مذيع أخبار بمجرد النظر إلى بطاقة هويته، بدلاً من مراقبته أثناء العمل ليوم كامل.

وجد الفريق أنه من خلال قياس خاصية رياضية محددة تسمى "الرتبة الفعالة" (وهي طريقة معقدة للقول بمدى تركيز أو تشتت انتباه الرأس)، استطاعوا تصنيف الرؤوس فورًا. الرؤوس ذات التوقيع الرياضي "المركز" هي المحققون الذين يحتاجون لرؤية القصة بأكملها، بينما الرؤوس ذات التوقيع "المشتت" هي مذيعو الأخبار الذين يحتاجون فقط لرؤية الكلمات القليلة الأخيرة. ومن خلال منح مذيعي الأخبار ذاكرة مؤقتة صغيرة والسماح للمحققين بالاحتفاظ بالذاكرة الكاملة، يصبح الروبوت سريعًا للغاية. وفي تجاربهم، قللت هذه الطريقة من الذاكرة المطلو لقصة مكونة من 256,000 كلمة إلى النصف وجعلت الروبوت أسرع بـ 9 مرات في توليد النصوص، مع الحفاظ على دقتها لتكون مطابقة تقريبًا لما لو كان يتذكر كل شيء.

يجادل الباحثون صراحةً ضد فكرة أنك بحاجة لمراقبة الروبوت وهو يعمل أو استخدام تدريب إضافي لمعرفة أي الرؤوس هي المهمة. ويظهرون أن الأساليب التي تعتمد على مراقبة درجات انتباه الروبوت أثناء المحادثة هي أبطأ وأكثر تعقيدًا. بدلاً من ذلك، تثبت طريقتهم أن "الأوزان المجمدة" — أي البنية الرياضية الدائمة للنموذج — تحتوي بالفعل على كل المعلومات اللازمة لفرز الرؤوس. كما أنهم استبعدوا فكرة أن هذا مجرد حظ عشوائي؛ فعندما حاولوا اختيار الرؤوس عشوائيًا أو اختيار الرؤوس "الخاطئة" (مذيعي الأخبار بدلاً من المحققين)، انهار أداء الروبوت. وهذا يشير إلى أن الأنماط الرياضية المحددة التي وجدوها حقيقية وضرورية لعمل الروبوت بشكل جيد عبر المسافات الطويلة.

تستند النتائج إلى تجارب واسعة النطاق عبر عدة نماذج مختلفة للروبوتات، بما في ذلك Qwen وLlama. والنتائج مقاسة وملموسة: عند مستوى تشتت 50% (بمعنى تبسيط نصف الرؤوس)، احتفظ الروبوت بنسبة 96.5% من أدائه الأصلي في المتوسط. لا تدعي الورقة أن هذه الطريقة هي حل سحري يحل كل المشكلات للأبد، لكنها تشير بقوة إلى أن هذا النهج "الخالي من البيانات" هو وسيلة فعالة للغاية لجعل المحادثات الطويلة ممكنة دون أي تدريب إضافي. إنها خطوة مدروسة ومتينة تحول قرارًا معقدًا يتم اتخاذه أثناء التشغيل إلى قاعدة بسيطة محسوبة مسبقًا.

ملخص تقني: استقلالية الرؤوس (Autonomy-of-Heads - AoH)

بيان المشكلة

تواجه عملية الاستدلال في السياقات الطويلة (Long-context inference) لنماذج اللغات الكبيرة (LLMs) حاليًا عائقًا يتمثل في التكلفة الحسابية التربيعية لآليات الانتباه (attention mechanisms) والمتطلبات المتزايدة خطيًا لذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache). تعتمد الحلول الحالية، مثل الانتباه المتفرق (sparse attention) وطرق ضغط الـ KV، عادةً على إشارات تعتمد على المدخلات لتحديد الرموز (tokens) أو الرؤوس (heads) التي يجب الاحتفاظ بها. تشمل هذه الإشارات درجات الانتباه أثناء وقت التشغيل (مثل Heavy-Hitter)، أو نوافذ الملاحظة، أو مطالبات المعايرة، أو آليات البوابات المتعلمة. ورغم فعاليتها، إلا أن هذه الأساليب تتطلب ملاحظة أثناء وقت التشغيل، أو تدريبًا إضافيًا، أو إجراءات معايرة، مما يجعلها مكلفة من حيث النشر وتعتمد على سلوكيات مدخلات محددة.

يتساءل المؤلفون عما إذا كانت الأوزان المجمدة وحدها يمكن أن توفر "معلومات مسبقة" (prior) مفيدة لتحديد وظيفة رأس الانتباه، بشكل مستقل عن درجات وقت التشغيل، أو مطالبات المعايرة، أو التدريب الإضافي.

المنهجية: استقلالية الرؤوس (AoH)

تعد AoH طريقة خالية من البيانات وخالية من التدريب، حيث تحدد "رؤوس الاسترجاع" (التي تتطلب سياقًا عالميًا) و"رؤوس البث" (التي تكتفي بالرموز المحلية/رموز المصب/sink tokens) مباشرة من الهندسة الطيفية لإسقاطات الاستعلام والمفتاح (Query-Key projections) المجمدة.

1. الأساس النظري

تحدد الطريقة مؤثر انتباه النواة (kernel attention operator) لكل رأس $h$ :
$M_h = W_K^{h\top} W_Q^h \in \mathbb{R}^{d_{model} \times d_{model}}$
تمثل هذه المصفوفة اتجاهات مطابقة الاستعلام والمفتاح المجمدة والخاصة بكل رأس $h$ . يفترض المؤلفون أن الهندسة الطيفية لـ $M_h$ تشفر الدور الوظيفي للرأس:

الأطياف المركزة (Concentrated Spectra): تشير إلى عدد قليل من اتجاهات مطابقة الاستعلام والمفتاح المهيمنة، وهي مرتبطة بـ رؤوس الاسترجاع (retrieval heads) التي تحتاج للبحث عالميًا عن سياق محدد.
الأطياف المنتشرة (Diffuse Spectra): تشير إلى غياب اتجاه مطابقة عالمي مهيمن، وهي مرتبطة بـ رؤوس البث (streaming heads) التي تركز على رموز المصب (sink tokens) والنوافذ الأخيرة.

2. الرتبة الفعالة كأداة تصنيف

تستخدم AoH الرتبة الفعالة (Effective Rank - ER) لـ $M_h$ كمقياس لمساحة الوزن لوظيفة الرأس. تُحسب ER كدالة الأس لإنتروبيا شانون للقيم المفردة المعيرة لـ $M_h$ :
$\text{eff\_rank}(h) = \exp\left(-\sum_{k=1}^{r_h} \hat{\sigma}_k \log \hat{\sigma}_k\right)$

ER منخفض: يشير إلى طيف مركز $\leftarrow$ رأس استرجاع (يُخصص له انتباه عالمي كامل).
ER مرتفع: يشير إلى طيف منتشر $\leftarrow$ رأس بث (يُخصص له انتباه محدود للمصب والنافذة الأخيرة).

3. الحوسبة الفعالة

إن بناء مصفوفة $M_h$ الكاملة بأبعاد $d_{model} \times d_{model}$ أمر مكلف حوسبيًا. لذا اشتق المؤلفون حسابًا فعالًا بأبعاد $d_{head}$ . من خلال الاستفادة من مبرهنة سيلفستر للمحدد، يمكن حساب القيم المفردة غير الصفرية لـ $M_h$ من مصفوفة وسيطة أصغر $C_h$ :
$C_h = (W_Q^h W_Q^{h\top})(W_K^h W_K^{h\top}) \in \mathbb{R}^{d_{head} \times d_{head}}$
يقلل هذا من التعقيد من $O(d_{model}^2)$ إلى $O(d_{head}^2 \cdot d_{model})$ ، مما يجعل الحوسبة المسبقة لتصنيفات الرؤوس أمرًا ممكنًا.

4. استراتيجية النشر

تصنيف الرؤوس: قبل الاستدلال، يتم ترتيب الرؤوس حسب الـ ER الخاص بها. الرؤوس الأعلى $k$ (الأقل ER) تُصنف كـ "رؤوس استرجاع"؛ والبقية هي "رؤوس بث".
إدارة ذاكرة التخزين المؤقت KV:
- رؤوس الاسترجاع: تحتفظ بحالات KV العالمية الكاملة.
- رؤوس البث: تحتفظ فقط بذاكرة تخزين مؤقت ثابتة لـ "المصب" (على سبيل المثال، أول 128 رمزًا) و"نافذة حديثة" (على سبيل المثال، آخر 256 رمزًا).
التنفيذ: تتوافق الطريقة مع انتباه الاستعلام المجموع (Grouped Query Attention - GQA) عن طريق تجميع درجات مستوى الرأس إلى مستوى المجموعة (باستخدام تجميع المتوسط). كما تتكامل مع عمليات الملء المسبق المجزأ (chunked prefill) القياسية وFlashAttention-2 دون الحاجة إلى نوى (kernels) متخصصة.

المساهمات الرئيسية

اختيار الرؤوس الخالي من البيانات: تقديم AoH، وهي طريقة لتحديد رؤوس الاسترجاع والبث مباشرة من هندسة الاستعلام والمفتاح المجمدة دون الحاجة لبيانات معايرة أو ملاحظة وقت التشغيل.
مصنف الرتبة الفعالة: تطوير مصنف يعتمد على الرتبة الفعالة لمصفوفة انتباه النواة $M_h$ وخوارزمية فعالة لحساب طيفها عبر مصفوفة وسيطة بأبعاد $d_{head}$ .
سياسة الانتباه المتفرق: تجسيد AoH كسياسة انتباه متفرق بسيطة وخالية من التدريب تحافظ على الدقة مع تقليل زمن الوصول واستهلاك الذاكرة بشكل كبير.

النتائج التجريبية

قيم المؤلفون AoH على LongBench عبر نماذج متعددة (Qwen2.5-7B, Qwen3-8B, Llama3.1-8B-Instruct).

الدقة: عند تشتت بنسبة 50% (50% من الرؤوس كاسترجاع، 50% كبث)، تحتفظ AoH بـ 96.5% من أداء الانتباه الكامل في المتوسط.
- في نموذج Qwen3-8B، تتبع Ao_H الانتباه الكامل بفارق 0.32 نقطة فقط.
- في نموذج Llama3.1-8B-Instruct، الفجوة هي 1.10 نقطة.
- تتفوق AoH باستمرار على النماذج المرجعية مثل H2O، وSnapKV، وQuest، وDuoAttention، بالإضافة إلى تجارب الاختيار العشوائي والمعكوس.
الكفاءة:
- زمن الوصول (Latency): عند طول سياق 256K، تحقق AoH تسريعًا يصل إلى 3.24× في سرعة الملء المسبق (prefill) و 9.14× في سرعة فك التشفيد (decode) على Llama3.1-8B مقارنة بالانتباه الكامل.
- الذاكرة: تقلل استخدام ذاكرة KV-cache بما يصل إلى 3.98× عند تشتت 75% و 50.0% عند 256K رمز مع تشتت 50%.

الأهمية والادعاءات

يزعم البحث أن الرؤوس "تعرف ما تعرفه"؛ أي أن دورها الوظيفي (استرجاع مقابل بث) مشفر في الهندسة الطيفية لأوزانها المجمدة. توفر AoH معلومات مسبقة بسيطة، وقابلة للتوسع، وخالية من التدريب للانتباه المتفرق.

الاستقلالية: على عكس الأعمال السابقة، لا تعتمد AoH على إشارات تعتمد على المدخلات، أو بوابات متعلمة، أو مطالبات معايرة. فهي تتيح تطبيق استراتيجيات الانتباه المتفرق منذ الرمز الأول (الملء المسبق) وليس بعد الملاحظة أثناء وقت التشغيل.
التوافق: تتوافق الطريقة مع البنى المعمارية الحالية (بما في ذلك GQA) ومحركات الاستدلال القياسية (FlashAttention)، مما يجعلها عملية للنشر.
المتانة: أظهر المؤلفون أن ترتيب الرتبة الفعالة مستقر عبر أطوال السياق المختلفة ويظل متسقًا للغاية حتى عند مراعاة دوران تضمينات الموضع الدوارة (RoPE).

يخلص المؤلفون إلى أن AoH تقدم مسارًا قابلاً للتطبيق لتحسين كفاءة الاستدلال في السياقات الطويلة دون عبء التدريب الإضافي أو التعقيدات في قواعد الاستدلال أثناء وقت التشغيل.