🤖 machine learning

Interdomain Attention: Beyond Token-Level Key-Value Memory

تقترح الورقة البحثية "انتباه النطاقات البينية" (Interdomain Attention)، وهي بنية مبتكرة تدمج نماذج فضاء الحالة (SSMs) في آليات الانتباه عبر الطرق النواة لتحقيق انتباه مشروط بالاستعلام فوق حالة ثابتة الحجم، مما يجمع بين قابلية التوسع والمتانة تجاه الطول التي تتميز بها نماذج فضاء الحالة مع مزايا الأداء لآلية المطابقة القائمة على المحتوى.

المؤلفون الأصليون: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة "Interdomain Attention" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: معضلة "الكم الهائل من الأشياء"

تخيل أنك تحاول كتابة قصة، لكن ذاكرتك ضعيفة جداً.

الطريقة القديمة (Transformers القياسية): لكتابة الجملة التالية، عليك العودة بالنظر إلى كل كلمة كتبتها حتى الآن. إذا كتبت كتاباً من 100 صفحة، يجب على عقلك استيعاب الـ 100 صفحة كاملة في آن واحد لتجد الروابط الصحيحة. هذا بطيء للغاية ويتطلب كمية هائلة من الطاقة الذهنية (القدرة الحوسبية). ومع ازدياد طول القصة، يشعر عقلك بالإرهاق.
الطريقة البديلة (نماذج فضاء الحالة/SSMs): لتوف الله الطاقة، تقوم بتلخيص القصة بأكملها في بطاقة ملاحظات صغيرة واحدة. تنظر فقط إلى هذه البطاقة لتكتب الجملة التالية. هذا سريع وفعال للغاية، بغض النظر عن مدى طول القصة. ومع ذلك، ولأنك تملك بطاقة ملاحظات صغيرة فحسب، فإنك غالباً ما تفقد التفاصيل المحددة. قد تنسى اسم شخصية ذُكرت قبل ثلاثة فصول.

الهدف: أراد المؤلفون بناء نظام يمتلك سرعة وكفاءة بطاقة الملاحظات الصغيرة، ولكن بـ ذاكرة وتفاصيل النظر في الكتاب بأكمله.

الحل: "انتباه النطاقات البينية" (Interdomain Attention)

ابتكر المؤلفون طريقة جديدة تسمى Interdomain Attention. تخيلها كأمين مكتبة ذكي يدير مكتبة بطريقة محددة للغاية.

1. "المكتبة المضغوطة" (نواة الـ SSM)

بدلاً من الاحتفاظ بكل كتاب (رمز/token) على الرف، يستخدم أمين المكتبة آلة خاصة (SSM) لضغط تاريخ القصة بأكملها في مجموعة ثابتة الحجم من "معاملات التلخيص".

تشبيه: تخيل أن لديك رواية من 1000 صفحة. بدلاً من الاحتفاظ بجميع الصفحات الـ 1000، تقوم بتلخيص القصة في 64 "سمة" أو "جو عام" محدد (مثل "رحلة البطل"، "دوافع الشرير"، "مزاج المكان"). هذه السمات الـ 64 هي "حالتك". بغض النظر عما إذا كانت القصة 10 صفحات أو 10,000 صفحة، فأنت تحتاج دائماً فقط إلى حمل هذه السمات الـ 64 في يدك.

2. "الاستعلام الذكي" (جزء الانتباه)

عندما تريد كتابة الجملة التالية، لا تنظر إلى السمات الـ 64 بشكل عشوائي. بل تطرح سؤالاً محدداً ("استعلام").

الخدعة السحرية: يأخذ النظام سؤالك ويترجمه إلى نفس "لغة" تلك السمات الـ 64. ثم يتحقق: "أي من هذه السمات الـ 64 هي الأكثر صلة بسؤالي الحالي؟"
النتي نتيجة: تحصل على أفضل ما في العالمين. أنت تنظر إلى ملخص مضغوط (سريع!)، ولكنك تختار الأجزاء الصحيحة من ذلك الملخص بناءً على ما تفكر فيه حالياً (ذكي!).

كيف يعمل (تشبيه "المطبخ")

تخيل أنك طاهٍ يصنع حساءً (المخرج/Output).

الانتباه القياسي (Standard Attention): لديك قدر ضخم من المكونات (التاريخ الكامل). لإضافة الملح، عليك تذوق كل مكون في القدر لتقرر مقدار الملح الذي ستضيفه. هذا يستغرق وقتاً طويلاً كلما كبر حجم القدر.
الـ SSM القياسي: لديك رف توابل صغير يحتوي على 64 برطماناً فقط. تأخذ برطماناً وتضيفه. هذا سريع، لكنك لم تعد قادراً على تذوق المكونات المحددة بعد الآن.
انتباه النطاقات البينية (Interdomain Attention):
1. لديك آلة تقوم بتحديث رف توابل ثابت الحجم (السمات الـ 64) باستمرار بناءً على كل ما طبخته حتى الآن.
2. عندما تريد إضافة الملح، لا تتذوق القدر بأكمته. بدلاً من ذلك، تمسك ملعقة تذوق خاصة (ميزة خريطة الاستعلام) تخبرك فوراً: "بناءً على النكهة الحالية، تحتاج إلى خلط 30% من برطمان 'الطماطم' و70% من برطمان 'الأعشاب'".
3. تقوم بخلط تلك الكميات المحددة من رف التوابب الثابت. هذا سريع لأن الرف صغير، ولكنه دقيق لأن ملعقتك تعرف تماماً كيفية الخلط من أجل اللحظة الحالية.

ما وجدته الورقة البحثية بالفعل

اختبر المؤلفون "انتباه النطاقات البينية" الجديد على نماذج لغوية تتراوح من صغيرة (125 مليون معلمة) إلى كبيرة (1.3 مليار معلمة). إليك ادعاءاتهم الرئيسية:

يتفوق على "بطاقة الملاحظات الصغيرة" (SSM): في كل اختبار، كان "انتباه النطاقات البينية" أفضل في كتابة النصوص من طريقة SSM القياسية. لقد فهم السياق بشكل أفضل مع الحفاظ على السرعة.
يتفوق على "القدر الضخم" (الانتباه القياسي) عند التوسع: عند أكبر حجم اختبروه (1.3 مليار معلمة)، كتب "انتباه النطاقات البينية" نصوصاً أفضل (ارتباك/Perplexity أقل ودرجات منطق سليم أفضل) من الطريقة القياسية التي تنظر إلى كل كلمة.
لا ينسى القصص الطويلة: الفوز الأكبر هو الطول. الطرق القياسية تصاب بالارتباك وترتكب الأخطاء عندما تصبح القصة أطول مما تدربت عليه. ظل "انتباه النطاقات البينية" هادئاً ومتسقاً حتى عندما كانت القصة أطول بـ 3.5 مرة مما تدرب عليه. لم يصبح أبطأ أو أكثر ارتباكاً؛ بل استمر في العمل فحسب.
السر الخفي: قاموا بعملية "تفكيك الآلية" (طريقة متطورة لتفكيك الآلة لمعرفة الجزء الذي قام بالعمل). وجدوا أن الإسقاط المشروط بالاستعلام (الملعقة الذكية التي تترجم سؤالك إلى لغة الملخص) كان السبب الرئيسي للنجاح. بدون تلك الخطوة المحددة، سيعمل النظام مثل SSM قياسي وسيعطي أداءً ضعيفاً.

المقايضة (ما لا يستطيع فعله)

الورقة صادقة بشأن نقطة ضعف واحدة: الاستدعاء الدقيق (Exact Recall).

تشبيه: إذا سألت النظام: "ما هو رقم الهاتف الدقيق للشخصية المذكورة في الصفحة 4؟"، فإن الطريقة القياسية (التي تنظر في الكتاب بأكمله) بارعة في العثور عليه. أما "انتباه النطاقات البينية"، ولأنه يعتمد على ملخص مضغوط، فهو ليس جيداً في استرجاع النصوص الدقيقة (مثل أرقام الهواتف أو الأسماء المحددة) إذا لم تكن جزءاً من "السمات" الرئيسية.
ومع ذلك، يشير المؤلفون إلى أن هذا قصور في أي نظام يقوم بضغط المعلومات، وليس في طريقتهم الجديدة فقط.

الملخص

انتباه النطاقات البينية (Interdomain Attention) هو طريقة جديدة للذكاء الاصطناعي لتذكر الأشياء. بدلاً من محاولة استيعاب العالم بأكمله في رأسه (بطيء) أو مجرد ملاحظة صغيرة (ناسي)، فإنه يحتفظ بـ ملخص ذكي ومضغوط للعالم. وعندما يحتاج للكتابة، يستخدم مترجماً خاصاً لاختيار الأجزاء الصحيحة تماماً من ذلك الملخص. هذا يجعله سريعاً، فعالاً، وجيداً بشكل مدهش في التعامل مع القصص الطويلة جداً دون أن يرتبك.

ملخص تقني: الانتباه بين المجالات (Interdomain Attention)

بيان المشكلة

تمثل نماذج المحولات (Transformers) ونماذج فضاء الحالة العميقة (SSMs) نموذجين تصميميين متضادين لنمذجة المتواليات. تستخدم آليات الانتباه القياسية (Vaswani et al., 2017) ذاكرة تخزين مؤقت للمفاتيح والقيم (KV cache) متنامية، حيث يتم توجيه الاستعلامات عبر المطابقة القائمة على المحتوى. وبينما يوفر هذا استدعاءً حادًا، فإنه يتسبب في تكاليف حسابية تربيعية ( $O(N_q N)$ ) ونمو ذاكرة خطي ( $O(N)$ ) بالنسبة لطول المتوالية. وفي المقابل، تقوم نماذج SSM العميقة (مثل S4 وMamba) بضغط السياق بأكمله في حالة متكررة ذات حجم ثابت، والتي تُحدث في زمن قدره $O(1)$ لكل خطوة. ومع ذلك، تأتي عملية الضغط هذه على حساب فقدان المطابقة المباشرة بين الاستعلام والمفتاح؛ إذ لا يمكن استهداف الحالة الثابتة مباشرة بواسطة استعلامات محددة، مما يؤدي غالبًا إلى أداء أضعف في المهام التي تتطلب استرجاعًا دقيقًا أو انتباهًا قائمًا على المحتوى.

حاولت البنى الهجينة دمج هذه الأساليب، وسعت متغيرات الانتباه الخطي إلى تقليل تكاليف الانتباه مباشرة. تقترح هذه الورقة مسارًا مختلفًا: دمج نموذج SSM مباشرة في آلية الانتباه للحفاظ على كفاءة الحالة ثابتة الحجم مع تمكين كل استعلام من الانتباه إلى التاريخ المضغوط.

المنهجية: الانتباه بين المجالات (Interdomain Attention)

المساهمة الجوهرية هي الانتباه بين المجالات، وهو "خلاط رموز" (token mixer) يوحد بين انتباه النواة (kernel attention) ونماذج فضاء الحالة. تم اشتقاق الطريقة من منظور انحدار النواة (kernel-regression) وإسقاط أساس HiPPO-style.

الاشتقاق النظري

خريطة ميزة النواة (Kernel Feature Map): يتم تقريب نواة الانتباه $K(q, k)$ بواسطة خريطة ميزات محدودة $\xi(q)^\top \xi(k)$ .
إسقاط الأساس (Basis Projection): بدلًا من تخزين جميع المفاتيح والقيم، تقوم الطريقة بإسقاط ميزات المفاتيح $\xi(k)$ والقيم $v$ على مجموعة مشتركة من دوال الأساس التي يتم صيانتها بواسطة تكرار SSM واحد (تحديدًا Hippo-style). ينتج عن ذلك حالة ثابتة الحجم مستقلة عن طول المتوالية.
المعاملات المضغوطة: تؤدي تكاملات هذه الإسقاطات إلى ثلاثة مكونات للحالة:
- $U$ : معاملات إسقاط الأساس للمفاتيح (المتغيرات المستحثة).
- $\Gamma$ : إسقاطات القيم.
- $\eta$ : ثوابت التقييس (normalizing constants).
القراءة المشروطة بالاستعلام (Query-Conditioned Readout): عند كل موضع، يتم رسم خريطة للاستعلام $q$ إلى فضاء الميزات $\xi(q)$ . ويتم حساب المخرجات من خلال الانتباه إلى المعاملات المضغوطة بدلًا من الرموز الفردية:
$\tilde{o} = \frac{\sum_m (\xi(q)^\top u_m) \gamma_m}{\sum_m (\xi(q)^\top u_m) \eta_m}$
في شكل مصفوفة: $\tilde{O} = \frac{F_q U^\top \Gamma}{F_q U^\top \eta}$ ، حيث $F_q$ هي مصفوفة ميزات الاستعلام.

التنفيذ القابل للتوسع

التنفيذ العملي هو تيسير متعلم للاشتقاق النظري، مصمم للاستقرار والكفاءة:

خريطة الميزات: تستخدم خريطة ميزات عصبية من نمط DeltaNet وهي $\xi(x) = \text{SiLU}(\text{SC}(x)) / \|\text{SiLU}(\text{SC}(x))\|^2$ ، حيث SC هو تلافف عميق سببي (causal depthwise convolution).
الجوهر المتكرر (Recurrent Core): يقرب إسقاط HiPPO باستخدام تكرار S4D ذو قطر معقد. يدمج مدخل الـ SSM ميزة المفتاح $\xi(k)$ والقيمة $v$ .
التطبيع (Normalization): يطبق RMSNorm للمدخلات مع انحيازات لكل رأس قابلة للتعلم لنصفي المفتاح والقيمة قبل دخول الـ SSM.
القراءة الخالية من المقام (Denominator-Free Readout): لتجنب خلط المقاييس غير المتوافقة الناتجة عن إعادة قياس المدخلات، يتم حذف حد التقييس $\eta$ ، مما ينتج عنه قراءة انتباه خطي: $\tilde{O} = F_q U^\top \Gamma$ .
البنية: مدمجة في مفسر من نمط Llama مع تطبيع مسبق (pre-normalization)، وتغذية أمامية من نوع SwiGLU، وتضمينات موضع دورانية (RoPE).

المساهمات الرئيسية

البناء: خلاط رموز مشروط بالاستعلام وذو حالة ثابتة، مشتق من انحدار النواة وإسقاط أساس HiPPO، مع تمييز واضح بين الاشتقاق النظري المثالي والتنفيذ القابل للتوسع.
تفكيك الآلية: تحدد دراسة الاستئصال (ablation study) عند 125 مليون معلمة أن الإسقاط المشروط بالاستعلام هو العامل المهيمن الذي يدفع مكاسب الأداء مقارنة بخلاطات S4D القياسية. تساهم مدخلات المفتاح/القيمة المزدوجة في مكسب ثانوي أصغر.
دراسة التوسع: تقييم شامل على FineWeb-Edu من 125 مليون إلى 1.3 مليار معلمة تحت ميزانية حالة متكررة متطابقة.

النتائج التجريبية

تقارن الدراسة "الانتباه بين المجالات" مقابل خلاط رموز S4D فقط، ومقابل نموذج انتباه Softmax القياسي.

الأداء مقابل S4D: يحسن "الانتباه بين المجالم" من أداء خلاط رموز S4D عند كل مقياس (125 مليون - 1.3 مليار)، محققًا انخفاضًا بنسبة 13-16% في التذبذب التحققي (validation perplexity).
الأداء مقابل Softmax: عند 1.3 مليار معلمة، يتفوق "الانتباه بين المجالات" على نموذج Softmax المرجعي (بنفس الوصفة) في التذبذب التحققي (7.98 مقابل 8.63) وعلى مجموعة مهام المنطق العام المكونة من ثماني مهام (متوسط دقة أعلى بـ 3.03 نقطة مئوية). عند 125 مليون، يتساوى تقريبًا مع Softmax.
الاستقراء الطولي (Length Extrapolation): بالاستفادة من جوهره ثابت الحالة، يظهر "الانتباه بين المجالات" سلوكًا "مسطحًا للطول" (length-flat). بينما يتدهور تذبذب نموذج Softmax المرجعي بشكل كبير خارج سياق التدريب (4K)، يحافظ "الانتباه بين المجالات" على أداء مستقر حتى 14K (أي 3.5 ضعف سياق التدريب).
قيود الاستدعاء: تشير الورقة إلى أن "الانتباه بين المجالات"، مثل غيره من النماذج ثابتة الحالة، يعاني في الاستدعاء الترابطي الدقيق للسلاسل النصية (مثل مهام "الإبرة في كومة القش") مقارنة بانتباه Softmax، وتحدد ذلك كقصور هيكلي في ضغط الحالة الثابتة وليس كعيب محدد في آلية "الانتباه بين المجالات".

الأهمية والادعاءات

تدعي الورقة أن "الانتباه بين المجالات" ينجح في سد الفجوة بين كفاءة نماذج SSM ثابتة الحالة وقدرات الاسترجاء القائمة على المحتوى. ومن خلال إسقاط الميزات على أساس SSM، فإنه يسمح للاستعلامات بالانتباه إلى تاريخ مضغوط دون التكلفة التربيعية أو النمو الخطي في الذاكرة الخاص بالانتباه القياسي.

تكمن الأهمية الأساسية في إثبات أن الإسقاط المشروط بالاستعلام على حالة متكررة ثابتة يمكن أن يتفوق على كل من نماذج SSM الصرفة وانتباه Softmax القياسي (عند المقاييس الأكبر)، مع وراثة خصائص الاستقراء الطولي المرغوبة في نماذج SSM. يشير المؤلفون إلى أن هذا النهج يقدم مسارًا قابلًا للتطبيق لنمذجة اللغة ذات السياق الطويل، حيث تكون كفاءة الذاكرة والأداء المتسق عبر أطوال السياق المختلفة أمرًا بالغ الأهمية. وتشمل اتجاهات العمل المستقبلي المذكورة دمج أنوية أقوى ثابتة الحالة (مثل Mamba-3) أو دمج القراءة مع قواعد تحديث الأوزان السريعة.