💬 NLP

Higher-order Linear Attention

تقدم هذه الورقة انتباه الخطية من الرتبة العليا (HLA)، وهو آلية سببية قابلة للتوسع تحقق تفاعلات من رتبة أعلى بتعقيد زمني خطي من خلال الحفاظ على إحصاءات كافية موجزة للبادئات، مما يتغلب على التكلفة التربيعية للانتباه القياسي مع الحفاظ على القدرة التعبيرية للبنيات المتكررة.

المؤلفون الأصليون: Yifan Zhang, Zhen Qin, Quanquan Gu

نُشر 2026-05-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yifan Zhang, Zhen Qin, Quanquan Gu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة كتاب طويل جداً، ولكن لديك قاعدة صارمة للغاية: يمكنك فقط تذكر ما قرأته حتى الآن، ويجب عليك معالجة كل كلمة واحدة تلو الأخرى فور ظهورها.

في عالم الذكاء الاصطناعي، الطريقة القياسية للقيام بذلك (والتي تُسمى "انتباه المحولات" أو Transformer Attention) تشبه محاولة حفظ الكتاب بأكحله الذي قرأته في كل مرة تواجه فيها كلمة جديدة. لفهم الكلمة الحالية، ينظر الذكاء الاصطناعي إلى كل كلمة سابقة، ويقارنها جميعاً، ويحسب درجة لكل منها. إذا كان الكتاب يحتوي على 10,000 كلمة، فإن عملية "النظر إلى الوراء" هذه تصبح بطيئة جداً وتستهلك الكثير من الذاكرة لأن الذكاء الاصطناعي يضطر لمقارنة كل كلمة بكل الكلمات الأخرى. الأمر يشبه محاولة العثور على شخص معين في حشد من خلال سؤال كل شخص في الحشد عما إذا كان يعرف ذلك الشخص، مراراً وتكراراً.

الانتباه الخطي من الرتب العليا (Higher-order Linear Attention - HLA) هو طريقة جديدة اقترحها باحثون لحل هذه المشكلة. إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: عنق الزجاجة "التربيعي" (The Quadratic Bottleneck)

الطريقة القديمة تشبه محادثة جماعية حيث يتعين على الجميع الرد على الجميع. إذا كان هناك $N$ من الأشخاص، فإن عدد المحادثات هو $N \times N$ . كلما كبرت المجموعة، أصبحت المحادثة مستحبه الإدارة. هذا هو السبب في أن نماذج الذكاء الاصطناعي الحالية تعاني مع السياقات الطويلة جداً (مثل قراءة رواية كاملة في جلسة واحدة).

2. الحل: "الدفتر الذكي" (Linear Attention)

حاولت الحلول السابقة إصلاح ذلك باستخدام "ملخص" أو "دفتر ملاحظات". بدلاً من تذكر كل محادثة محددة، يقوم الذكاء الاصطناعي فقط بالاحتفاظ بإحصاء جارٍ لأهم الأشياء.

الرتبة الأولى (الدفتر الأساسي): تخيل دفتراً حيث تكتب فقط العدد الإجمالي للسيارات الحمراء والسيارات الزرقاء التي رأيتها. عندما تأتي سيارة جديدة، تقوم فقط بتحديث العدد. هذا سريع، ولكنه يفتقر للذكاء؛ فهو لا يعرف كيف ترتبط السيارات ببعضها البعض، بل يعرف فقط أنها موجودة.

3. الابتكار: "لوحة التحكم المتقدمة" (Higher-order HLA)

يقول مؤلفو هذه الورقة البحثية: "ماذا لو كان دفتر ملاحظاتنا يمكن أن يكون أكثر ذكاءً؟ ماذا لو استطاع تذكر ليس فقط العدد، بل أيضاً كيف ترتبط السيارات ببعضها البعض؟"

لقد قدموا الانتباه الخطي من الرتب العليا (HLA).

التشبيه: بدلاً من مجرد قائمة بالأعداد، تخيل لوحة تحكم تتتبع:
1. العدد الإجمالي للسيارات.
2. "العلاقة" بين السيارات (على سبيل المثال: "كم عدد السيارات الحمراء التي شوهدت بعد سيارة زرقاء؟").
3. وحتى أنماط أكثر تعقيداً (مثل: "كيف تتفاعل السيارات الحمراء مع السيارات الزرقاء التي ظهرت بعد سيارة خضراء؟").

تُسمى لوحة التحكم هذه "من الرتب العليا" (Higher-order) لأنها تنظر إلى هذه العلاقات المعقدة والمتعددة الطبقات (التفاعلات) بدلاً من مجرد مجموع بسيط.

4. كيف يحافظ على السرعة (سحر "البث المتدفق")

سحر الـ HLA هو أنه يقوم بكل هذه الرياضيات المعقدة دون أن يتباطأ.

الطريقة القديمة: لكي تحسب العلاقة بين السيارات، قد تحتاج إلى كتابة شبكة ضخمة من كل سيارة مقابل كل سيارة أخرى (مصفوفة ضخمة $N \times N$ ). هذا يستغرق وقتاً طويلاً جداً.
طريقة HLA: يحافظ الذكاء الاصطناعي على حالة مدمجة وثابتة الحجم. فكر في الأمر كـ عداد لوحة التحكم. بغض النظر عما إذا كنت قد قطعت 10 أميال أو 10,000 ميل، فإن لوحة التحكم تحتوي فقط على عدد قليل من الإبر والأرقام. عندما تمر سيارة جديدة، يقوم الذكל الاصطناعي فقط بتعديل الإبر قليلاً. إنه لا يحتاج أبداً للنظر إلى التاريخ بأكمله؛ بل يقوم فقط بتحديث الملخص الحالي.
النتيجة: يحصل على الفوائد "الذكية" للنظر في العلاقات المعقدة (مثل الطريقة القديمة)، ولكنه يحتفظ بالسرعة "العالية" لطريقة الدفتر البسيط.

5. قاعدة "السببية الصارمة" (Strictly Causal)

تؤكد الورقة البحثية أن هذا النظام سببي صارم.

التشبيه: تخيل أنك تشاهد فيلماً. يمكنك فقط استخدام المعلومات من المشاهد التي شاهدتها بالفعل. لا يمكنك استراق النظر إلى النهاية.
يضمن نظام HLA أنه عندما يحسب "ملخص لوحة التحكم" للحظة الحالية، فإنه يتجاهل تماماً أي شيء لم يحدث بعد. وهو يفعل ذلك باستخدام "ملخصات تصحيحية" خاصة (مثل خدعة رياضية) لطرح أي معلومات مستقبلية قد تتسرب بالخطأ. وهذا يسمح له بالعمل بشكل مثالي في البث المباشر (مثل الدردشة الحية أو بث الفيديو المباشر).

6. التدريب بالتوازي (خدعة "العمل الجماعي")

عادةً، إذا أردت تدريب ذكاء اصطناعي للقيام بهذا "الواحد تلو الآخر" بنظام البث، فعليك القيام بذلك ببطء، خطوة بخطوة، وهو أمر بطيء على الحواسيب القوية (GPUs).

خدعة الورقة البحثية: اكتشف المؤلفون طريقة رياضية لتقسيم الكتاب الطويل إلى أجزاء (مثل الفصول).
لقد ابتكروا "لاصقاً" خاصاً (يُسمى المسح الترابطي - associative scan) يسمح للحاسوب بحساب ملخص الفصل الأول، والفصل الثاني، والفصل الثالث جميعاً في نفس الوقت، ثم دمجهم معاً بشكل مثالي.
التشبيه: تخيل سباق تتابع. عادةً، يجب على العداء أن ينتظر انتهاء العداء السابق. ولكن مع HLA، يمكن للفريق حساب نتيجة السباق بأكمته فوراً عن طريق دمج نتائج سباقات قصيرة أصغر، وتكون النتيجة النهائية هي نفسها تماماً كما لو أنهم ركضوا واحداً تلو الآخر.

ملخص لما يدّعونه

ما الذي بنوه: طريقة جديدة تجعل الذكاء الاصطناعي ينتبه لتسلسلات طويلة من البيانات (مثل النصوص) تكون ذكية (تفهم الأنماط المعقدة) وسريعة (لا تصبح أبطأ مع زيادة طول النص).
كيف يعمل: يستخدم "لوحة تحكم" من الإحصائيات (اللحظات/Moments) التي تتحدث فوراً مع كل كلمة جديدة، متجنباً الحاجة لتخزين شبكة تاريخ ضخمة.
جزء "الرتب العليا": إنه ينظر إلى علاقات من الرتبة الثانية (الأزواج) والثالثة (الثلاثيات) بين الكلمات، وليس فقط الكلمات المنفردة.
الضمان: لقد أثبتوا رياضياً أن هذه الطريقة السريعة والمجزأة تنتج نفس النتائج تماماً التي تنتجها الطريقة البطيئة التي تتم خطوة بخطوة.

باختاً، HLA يشبه ترقية سيارة من مجرد عداد سرعة بسيط إلى لوحة تحكم عالية التقنية تتتبع تفاعلات المحرك المعقدة، ولكنها تفعل ذلك دون جعل السيارة أثقل أو أبطأ، مما يسمح لها بالقيادة للأبد دون نفاد الوقود (الذاكرة).

ملخص تقني: الانتباه الخطي من الرتب العليا (HLA)

بيان المشكلة

تتسبب آلية "الانتباه بناتج الضرب النقطي المقيّس" (scaled dot-product attention) القياسية في بنيات المحولات (Transformer) في تعقيد حسابي وذاكرة من رتبة $O(n^2)$ بالنسبة لطول التسلسل $n$ . هذه التكلفة التربيعية تمثل عائقًا رئيسيًا أمام توسيع نماذج اللغات ذات التوليد الذاتي (autoregressive) لتشمل سياقات طويلة. وبينما توفر البدائل الحالية مثل "الانتباه الخطي" (Linear Attention) ونماذج فضاء الحالة (SSMs) تعقيدًا بمعدل $O(n)$ أو $O(1)$ لكل رمز (token)، إلا أنها عادة ما تقتصر على تقريبات من الرتبة الأولى أو طرق قائمة على النواة (kernel-based). هذه القيود غالبًا ما تحد من القدرة التعبيرية للنموذج، مما يمنعه من التقاط التفاعلات المعقدة من الرتب العليا بين الرموز التي يمكن لآليات الانتباه القياسية نمذجتها.

المنهجية

يقدم البحث الانتباه الخطي من الرتب العليا (HLA)، وهو آلية سببية، تدفقية (streaming)، تحقق تفاعلات من رتب عليا من خلال إحصائيات كافية لسابقة (prefix sufficient statistics) مدمجة. الجوهر الفكري هو أن مؤثرات الانتباه من الرتب العليا يمكن تحليلها إلى عزم (moments) من رتب منخفضة (مثل مجموع نواتج الضرب الخارجي للمفاتيح)، مما يتيح تدفقًا سببيًا دقيقًا دون الحاجة لتجسيد مصفوفات انتباه بحجم $n \times n$ .

1. الانتباه الخطي من الرتبة الثانية (Second-Order HLA)

تعمم نسخة الرتبة الثانية الانتباه الخطي عبر الحفاظ على حالة ثابتة الحجم لكل رأس (head) تلتقط عزوم الرتبة الثانية.

صيانة الحالة: بدلاً من مجرد مجموع جاري واحد، يحافظ HLA على ملخصات سابقة تشمل عزم المفتاح $S^K_t = \sum_{i \le t} k_i k_i^\top$ ، ومجمع الاستعلام-القيمة $C^{QV}_t = \sum_{i \le t} q_i v_i^\top$ ، وكتلة الاستعلام $m^Q_t = \sum_{i \le t} q_i$ .
السببية الصارمة: لفرض سببية ذاتية (autoregressive causality) صارمة (منع الرموز المستقبلية من التأثير على المخرجات الحالية) دون بناء مصفوفة الانتباه الكاملة، استنتج المؤلفون ملخصات ممتدة. وتحديدًا، قدموا ملخصات متقاطعة $G_t$ و $h_t$ تصحح تضمين المصطلحات المستقبلية في حاصل الضرب البدائي $S^K_t C^{QV}_t$ .
صياغة المخرج: يتم حساب المخرج غير المعيّر عند الزمن $t$ كـ $o_t = q_t^\top (S^K_t C^{QV}_t - G_t)$ . تسمح هذه الصياغة بحساب بتعقيد $O(d^2 + d d_v)$ لكل رمز، بشكل مستقل عن طول التسلسل.
المعايرة (Normalization): تم تعريف نسخة معيرة بالنسبة (ratio-normalized) أيضًا، حيث تقسم البسط على مقام مقنع مشتق من ملخصات ممتدة مماثلة.

2. الانتباه الخطي غير المتماثل من الرتب العليا (AHLA)

يقترح البحث متغيرًا مكملاً غير متماثل، وهو AHLA، الذي ينفذ المؤثر $Q(K^\top Q)(K^\top V)$ . هذه البنية تزن القيم من خلال تمريرة واحدة موجهة بواسطة مؤشر مفتاح وسيط، مما يختلف عن بنية $AA^\top V$ المتماثلة لـ HLA القياسي. وهي تستخدم مجموعة متميزة من الملخصات التدفقية ( $P^{KV}_t, m^K_t, E_t, n_t$ ) وتحقق نفس التعقيد الخطي لكل رمز.

3. الانتباه الخطي من الرتبة الثالثة (Third-Order HLA)

تم توسيع الإطار ليشمل تفاعلات من الرتبة الثالثة، والتي تُعرف عبر حاصل ضرب المصفوفة $AA^\top A$ حيث $A = QK^\top$ .

الجبر التدفيقي: يتطلب مخرج الرتبة الثالثة المقنع (masked output) صيانة ثلاثة عزوم سابقة أساسية ( $S^K_t, S^Q_t, P^{KV}_t$ ) وستة ملخصات متقاطعة إضافية ( $G^{(1)}_t, \dots, G^{(3)}_t$ و $h^{(1)}_t, \dots, h^{(3)}_t$ ) لفرض السببية الصارمة.
التعقيد: تظل تكلفة التحديث عبر الإنترنت خطية في أبعاد الميزات، وإن كان حجم الحالة يزداد لاستيعاب عزوم الرتب العليا.

4. التدريب المتوازي عبر المسح الترابطي (Parallel Training via Associative Scans)

لمعالجة عدم كفاءة تدريب النماذج التكرارية البحتة على وحدات معالجة الرسومات (GPUs)، طور المؤلفون مخطط تدريب متوازي بالدفعات (chunk-parallel training scheme).

المؤثرات الترابطية: قاموا بتعريف مؤثرات ترابطية (على وجه التحديد، الضرب شبه المباشر/semidirect products) لدمج قطع (segments) من الرموز. تأخذ هذه المؤثرات في الاعتبار المصطلحات المتقاطعة بين القطع (مثل $S^K_B C^{QV}_A$ ) التي تنشأ عند دمج القطع.
تكافؤ المسح (Scan Equivalence): من خلال تطبيق مسح Blelloch حصري (exclusive scan) على هذه الملخصات القطعية، تنتج الطريقة تنشيطات أمامية مطابقة تمامًا لتلك الناتجة عن التكرار التسلسلي. وهذا يسمح بالتدريب المتوازي دون اللجوء إلى الانتشار العكسي عبر الزمن التقريبي.
مسح الرتبة الثالثة: بالنسبة لحالة الرتبة الثالثة، يتم تعزيز مؤثر المسح بخرائط خطية على مستوى القطعة ( $M^{KQP}, M^{KQm}$ ) للتعامل مع تركيب حالات الرتبة الثالثة المصححة بدقة.

المساهمات الرئيسية

التدفق الدقيق المقنع عند الرتبة الثانية: يقدم البحث جبرًا كاملاً للملخصات الممتدة ينتج HLA من الرتبة الثانية سببيًا بدقة مع تكلفة ثابتة لكل رمز. ويتضمن ذلك إثباتات رسمية لتعريفات الهوية للتدفق المقنع والتحديثات عبر الإنترنت، مع التمييز بين النسخ غير المعيرة والمعايرة بالنسبة.
المسحات المتوازية التي تطابق التنشيطات التسلسلية: حدد المؤلفون مؤثرات ترابطية (للحالات غير المقنعة والمقنعة، مع وبدون اضمحلال أسي) وأثبتوا أن عمليات المسح الحصرية القياسية على هذه المؤثرات تنتج تنشيطات مطابقة تمامًا للتكرارات التسلسلية، مما يتيح تدريبًا متوازيًا فعالًا.
التوسيع للرتبة الثالثة: يقدم العمل حالة الرتبة الثالثة المقنعة الكاملة، وتحديثات عبر الإنترنت، ونواة تدفق سببية صارمة، وخوارزمية متوازية بالدفعات دقيقة. يتضمن ذلك اشتقاق خرائط القطع المطلوبة لتركيب حالات الرتبة الثالثة بدقة.
المتغير غير المتماثل (AHLA): تم تقديم آلية انتباه من رتب عليا غير متماثلة، توفر انحيازًا استقرائيًا (inductive bias) مختلفًا مع الحفاظ على نفس خصائص التدفق والتعقيد.

النتائج والادعاءات

يركز البحث بشكل أساسي على البنية الخوارزمية والخصائص النظرية بدلاً من الاختبارات التجريبية على مجموعات بيانات محددة. تستند الادعاءات إلى الاشتقاق الرياضي:

التعقيد: يحقق HLA زمنًا وذاكرة بمعدل $O(d^2 + d d_v)$ لكل رمز أثناء الاستدلال، حيث $d$ هو بُعد الاستعلام/المفتاح و $d_v$ هو بُعد القيمة. وهذا مستقل عن طول التسلسل $n$ .
الدقة: تم إثبات أن مخطط التدريب المتوازي بالدفعات يعيد إنتاج تنشيطات التكرار التسلسلي بدقة، مما يتجنب أخطاء التقريب الشائعة في طرق تدريب الانتباه الخطي الأخرى.
السببية: تفرض الصيغ المقنعة المقترحة سببية ذاتية صارمة، مما يضمن أن المخرج عند الزمن $t$ يعتمد فقط على الرموز $j \le t$ .
القابلية للتوسع: من خلال تجنب تجسيد مصفوفة $n \times n$ واستخدام المسحات الترابطية، يتم وضع HLA كبنة بناء قابلة للتوسع لنماذج السياق الطويل.

الأهمية

يضع البحث HLA كـ "بنة بناء مدروسة وقابلة للتوسع" تسد الفجوة بين الانتباه الشبيه بالبيانات وبين كفاءة البنيات التكرارية الحديثة.

القدرة التعبيرية مقابل الكفاءة: على عكس الانتباه الخطي من الرتبة الأولى الذي يعتمد على خرائط ميزات ثابتة، يتعلم HLA مقياسًا يعتمد على البيانات (عبر $S^K_t$ ) ويلتقط تفاعلات من رتب عليا (كثيرات حدود من الدرجة الثانية أو الثالثة) مع الحفاظ على نموذج تحديث الحالة بمعدل $O(1)$ لكل رمز.
التنفيذ: يؤكد العمل أن HLA يمكن أن يعمل كبديل مباشر لطبقة الانتباه الفرعية القياسية في بلوكات المحولات (Transformer blocks)، حيث يتطلب فقط استبدال النواة (kernel swap) مع الحفاظ على الترميز الموضعي ومنطق القناع.
الأساس النظري: من خلال توفير هويات تدفق دقيقة ومؤثرات مسح ترابطية للرتب العليا، يضع البحث إطارًا جبريًا صارمًا لتوسيع الانتباه الخطي لما وراء الرتبة الأولى دون التضحية بالقيود السببية أو كفاءة التدريب.