💻 computer science

On The Application of Linear Attention in Multimodal Transformers

تُثبت هذه الورقة أن دمج الانتباه الخطي (Linear Attention) في نماذج المحولات متعددة الوسائط (Multimodal Transformers) يقلل بشكل كبير من التعقيد الحسابي من التربيعي إلى الخطي مع الحفاظ على أداء تنافسي والالتزام بقوانين القياس القياسية عبر مختلف البنيات المدربة على مجموعات بيانات واسعة النطاق.

المؤلفون الأصليون: Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

نُشر 2026-04-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Armin Gerami, Seyedehanita Madani, Ramani Duraiswami

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تنظيم حفلة ضخمة حيث يتحدث آلاف الضيوف (البيانات) مع بعضهم البعض في وقت واحد. في عالم الذكاء الاصطناعي، هؤلاء "الضيوف" هم قطع من المعلومات مثل الكلمات في جملة أو البكسلات في صورة.

هذه الورقة البحثية تتحدث عن طريقة جديدة لإدارة هذه المحادثات حتى لا يشعر الذكاء الاصطناعي بالإرهاق، خاصة عندما تصبح الحفلة ضخمة جداً.

المشكلة: حفلة "الجميع يصرخ في وجه الجميع"

نماذج الذكاء الاصطناعي الحالية (تسمى Transformers) بارعة جداً في فهم كل من الصور والنصوص. وهي تعمل من خلال جعل كل قطعة من المعلومات تنظر إلى كل قطعة أخرى لتعرف كيف ترتبط ببعضها البعض.

الطريقة القديمة (الانتباه القياسي - Standard Attention): تخيل لو أن كل ضيف في الحفلة توقف ليدخل في محادثة خاصة وجهاً لو لـ وجه مع كل ضيف آخر ليفهم طبيعة الغرفة.
- إذا كان هناك 10 ضيوف، فهذا يعني 100 محادثة.
- إذا كان هناك 1,000 ضيف، فهذا يعني 1,000,000 محادثة.
- إذا كان هناك 10,000 ضيف، فإن عدد المحادثات ينفجر ليصل إلى 100 مليون محادثة.
- النتيجة: الحفلة تتوقف تماماً. يصاب الكمبيوتر بالتعب الشديد وتنفد ذاكرته وهو يحاول تذكر كل هذه الروابط. هذا ما يسمى بـ "التعقيد التربيعي" (Quadratic Complexity). هذه الطريقة تعمل مع المجموعات الصغيرة، لكنها تنهار عندما تحاول معالجة صور ضخمة عالية الدقة أو مستندات طويلة جداً.

الحل: "المراسل الفعال" (الانتباه الخطي - Linear Attention)

يقترح المؤلفون طريقة جديدة تسمى الانتباه الخطي. بدلاً من أن يصرخ الجميع في وجه الجميع، يستخدمون اختصاراً ذكياً.

الطريقة الجديدة: تخيل أن الضيوف لا يتحدثون مع بعضهم البعض مباشرة. بدلاً من ذلك، يكتب كل منهم ملخصاً قصيراً عن نفسه على بطاقة ويسلمها إلى "مراسل" مركزي. يقوم المراسل بتصنيف البطاقات بسرعة ويخبر كل ضيف بمن يجب عليه التركيز.
السحر: في هذا السيناريو، إذا ضاعفت عدد الضيوف، فإنك تضاعف العمل المطلوب من المراسل فقط. أنت لا تضاعفه بشكل تربيعي.
- 10 ضيوف = 10 خطوات.
- 1,000 ضيف = 1,000 خطوة.
- النتيجة: يمكن للحفلة أن تنمو لتصبح ضخمة جداً دون أن يتعطل الكمبيوتر. الأمر يشبه الانتقال من ساحة صخب فوضوية ومزدحمة إلى خط تجميع منظم وفعال.

العقبات: لماذا كانت النسخة الأولى "ناعمة أكثر من اللازم"؟

حاول الباحثون تجربة نظام "المراسل" الجديد هذا، لكنهم واجهوا مشكلة.

المشكلة: النسخة الأصلية من هذا النظام كانت لطيفة للغاية. لقد عاملت كل الضيوف تقريباً بنفس الطريقة. كان الأمر أشبه بمنسق يقول: "الجميع مهمون بالتساوي!"
العاقبة: لم يستطع الذكاء الاصطناعي التمييز بين الضيف الممل والضيف المثير للاهتمام. لقد أصبح "ناعماً بشكل مفرط" (Over-smoothed)، مما جعل من الصعب على النموذج تعلم التفاصيل المهمة. كان الأمر يشبه محاولة قراءة كتاب حيث كتبت كل كلمة بنفس اللون الرمادي الباهت تماماً.

الحل: شحذ التركيز

قام المؤلفون بتعديل الرياضيات (قواعد "المراسل") لإصلاح هذه المشكلة.

التعديل: قاموا بتغيير القواعد بحيث يظل بإمكان المراسل أن يكون فعالاً، ولكن يمكنه أيضاً أن يقول: "مهلاً، هذا الضيف مهم جداً، انتبه له!"
النتيجة: أصبح بإمكان الذكاء الاصطناعي الآن التمييز بين المعلومات المهمة وغير المهمة، تماماً مثل طريقة "الصراخ" القديمة، ولكن دون التباطؤ الهائل في الأداء.

ماذا وجدوا؟

اختبر الفريق هذه الطريقة على ثلاثة أحجام مختلفة من أدمغة الذكاء الاصطناعي (صغير، متوسط، وكبير) باستخدام مجموعة بيانات ضخمة من الصور والنصوص.

السرعة: كانت الطريقة الجديدة سريعة بشكل لا يصدق للمتواليات الطويلة. بالنسبة للمدخلات الكبيرة جداً، كانت أسرع بما يصل إلى 1,000 مرة من الطريقة القديمة.
الذكاء: على الرغم من أنها كانت أسرع، إلا أنها تعلمت بنفس جودة الطريقة القديمة البطيئة. استطاعت التعرف على القطط والكلاب والمشاهد المعقدة بنفس الدقة.
النمو: مع زيادة حجم الذكاء الاصطناعي، استمرت الطريقة الجديدة في اكتساب الذكاء بنفس المعدل الذي تسلكه الطريقة القديمة. لم تفقد "ذكاءها" لمجرد أنها أصبحت أسرع.

الصورة الكبيرة

تظهر هذه الورقة البحثية أننا لسنا مضطرين للاختيار بين السرعة والذكاء. باستخدام خدعة "الانتباه الخطي" هذه، يمكننا بناء أنظمة ذكاء اصطناعي يمكنها التعامل مع كميات هائلة من البيانات (مثل الفيديو عالي الدقة أو مكتبات كاملة من الكتب) دون الحاجة إلى حواسيب خارقة بحجم مدينة. إنها تمهد الطريق للجيل القادم من الذكاء الاصطناعي الذي يمكنه رؤية وفهم العالم بتفاصيل أكبر بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان "حول تطبيق الانتباه الخطي في المحولات متعددة الوسائط" (On The Application of Linear Attention in Multimodal Transformers) من إعداد جيرامي وآخرون.

1. بيان المشكلة

أصبحت المحولات متعددة الوسائط (مثل نماذج الرؤية واللغة) هي العمود الفقري لأنظمة الذكاء الاصطناعي المتطورة. ومع ذلك، فهي تواجه عقبة حرجة في التوسع بسبب التعقيد الحسابي التربيعي ( $O(N^2D)$ ) لآليات انتباه "Softmax" القياسية، حيث $N$ هو طول التسلسل و $D$ هو البعد.

السياق: تتضمن المدخلات متعددة الوسائط غالبًا آلاف الرموز البصرية (tokens) المدمجة مع رموز نصية، مما يخلق تسلسلات طويلة للغاية.
القصور: يحد التوسع التربيعي من إمكانية تطبيق هذه النماذج على الصور عالية الدقة والسياقات الطويلة، حيث تنفجر تكاليف الذاكرة والحوسبة.
الفجوة: بينما تم استكشاف الانتباه الخطي (Linear Attention) في مهام اللغة أو الرؤية الصرفة، فإن قابليته للتطبيق وكفاءته والحفاظ على الأداء في الإعدادات متعددة الوسائط (تحديدًا التعلم المسبق للغة والصور التبايني أو CLIP) لا تزال غير مستكشفة بشكل كافٍ.

2. المنهجية

يقترح المؤلفون دمج الانتباه الخطي في محولات الرؤية (ViT) متعددة الوسائط المدربة على مجموعة بيانات LAION-400M باستخدام إطار عمل OpenCLIP.

أ. آلية الانتباه الخطي الأساسية

يستخدم الانتباه القياسي نواة Softmax ( $e^{q \cdot k}$ )، مما يمنع عملية التفكيك (factorization). يستبدل المؤلفون ذلك بخريطة ميزة قابلة للتحلل $\phi(\cdot)$ لتحقيق توسع خطي ( $O(ND^2)$ ).

اختيار النواة: يستخدمون نواة تآلفية (affine kernel) معرفة بـ $f(x) = 1 + x$ .
التطبيع (Normalization): لمنع درجات الانتباه السالبة (التي تحدث إذا كان $q \cdot k < -1$ )، يقوم المؤلفون بتطبيع متجهات الاستعلام ( $Q$ ) والمفتاح ( $K$ ) بحيث يكون $-1 \le q \cdot k \le 1$ .

ب. التعديل المقترح (الابتكار الرئيسي)

حدد المؤلفون خللاً حرجًا في الصيغة القياسية للانتباه الخطي مع النواة التآلفية.

المشكلة (المعادلة 4): في الصيغة القياسية، يتم تقسيم مخرج الانتباه على مقام (مجموع قيم النواة). ومع زيادة طول التسلسل $N$ ، ينمو هذا المقام، مما يؤدي إلى جعل درجات الانتباه موحدة بشكل مفرط ("over-smoothing"). هذا يقلل من قدرة النموذج على التمييز بين أزواج الرموز البارزة، مما يعيق تدفق التدرج والقدرة التعبيرية.
الحل (المعادلة 7): يقترح المؤلفون إهمال المقام في حساب الانتباه. بما أن $Q$ $Q$ و $K$ $K$ مطبّعان مسبقًا، فإن الحدود $(1 + q_i \cdot k_n)$ $(1 + q_{i} \cdot k_{n})$ تكون محدودة طبيعيًا. ومن خلال إزالة القسمة، تظل درجات الانتباه بين 0 و 1 دون التلاشي الناتج عن المقام المتنامي.
- النتيجة: يعيد هذا التعديل استعادة التباين في أوزان الانتباه، مما يسم يسمح للنموذج بإعطاء الأولوية بفعالية لأزواج الاستعلام والمفتاح ذات الصلة.

ج. الإعداد التجريبي

البنى الهيكلية: ViT-S/16، ViT-B/16، و ViT-L/16.
مجموعة البيانات: LAION-400M للتدريب المسبق؛ ImageNet-21K للتحقق من القدرة على التعميم (zero-shot validation).
الأجهزة: تم إجراء التدريب على وحدات معالجة رسومية NVIDIA A5500؛ وتم إجراء اختبارات قياس الوقت على وحدات H200.

3. المساهمات الرئيسية

القابلية للتطبيق في الإعدادات متعددة الوسائط: إثبات إمكانية تطبيق الانتباه الخطي بنجاح في المحولات متعددة الوسائط (نمط CLIP) بأداء مماثل لانتباه Softmax القياسي.
التحسين الخوارزمي: اقتراح تعديل محدد (إزالة المقام في صيغة النواة التآلفية) لحل مشكلة "التوحيد المفرط" (over-smoothing)، مما حسن التقارب والقدرة التعبيرية للنموذج بشكل كبير.
تحليل قانون التوسع (Scaling Law): أظهرت النماذج التي تستخدم الانتباه الخطي المعدل أنها تتبع نفس اتجاهات التوسع بالقانون القوي (power-law) مثل الانتباه القياسي، مما يثبت أن مكاسب الكفاءة لا تأتي على حساب إمكانات التوسع.
قياس الكفاءة: تقديم دليل تجريبي على التوسع الزمني الخطي ( $O(N)$ ) مقابل التوسع التربيعي ( $O(N^2)$ ) للتسلسلات الطويلة.

4. النتائج

أ. الكفاءة الحسابية (توسع الوقت)

سلوك التوسع: يتوسع الانتباه القياسي بمعدل $O(N^2)$ ، بينما يتوسع الانتباه الخالي المقترح بمعدل $O(N)$ .
مكاسب الأداء: تصبح فجوة الكفاءة ملحوظة عند أطوال تسلسل تبدأ من $10^3$ . عند أطوال تسلسل تصل إلى $4 \times 10^6$ ، يكون نهج الانتباه الخطي أسرع بـ $10^3$ مرة تقريبًا من حيث وقت المرور الأمامي والخلفي (forward/backward pass) مقارنة بالانتباه القياسي.

ب. أداء التدريب

التقارب: يصل الانتباه الخطي المعدل إلى قيمة أداء نهائية مماثلة للانتباه القياسي.
سرعة التدريب: بينما يتشابه الأداء النهائي، يتطلب الانتباه الخطي عدد دورات (epochs) أكثر قليلاً للوصول إلى التقارب مقارنة بالانتباه القياسي. ويُعزى ذلك إلى انخفاض تباين أوزان الانتباه في النواة الخطية مقارنة بنواة Softmax الأسية.
تأثير التعديل: أظهر الانتباه الخطي "المنتظم" (مع المقام) تقاربًا بطيئًا للغاية وأداءً ضعيفًا. وقد عالج التعديل الذي اقترحه المؤلفون (بدون المقام) هذه المشكلة، مما أكد ضرورة هذا الضبط.

ج. قوانين التوسع

حللت الدراسة العلاقة بين حجم النموذج (المعلمات) وفقدان التدريب (training loss).
النتائج: يتبع كل من الانتباه القياسي (LSA) والانتباه الخطي (LLA) اتجاهات توسع متشابهة بالقانون القوي:
- $LSA(N) \approx 593 N^{-0.362}$
- $LLA(N) \approx 376 N^{-0.332}$
الدلالة: لا يعاني الانتباه الخطي من تدهور الأداء مع زيادة حجم النماذج، مما يؤكد صلاحيته للاستخدام في النماذج متعددة الوسائط الكبيرة القادمة.

5. الأهمية

يؤسس هذا العمل الانتباه الخطي كبديل قوي وقابل للتوسع لانتباه Softmax في المحولات متعددة الوسائط.

القابلية للتوسع: يزيل الحاجز التربيعي، مما يمكن من معالجة التسلسلات الطويلة للغاية (الصور عالية الدقة، الوثائق الطويلة) دون تكاليف حوسبة باهظة.
جاهزية المستقبل: مع نمو مجموعات البيانات لتصبح أكبر وأكثر تعقيدًا، فإن القدرة على الحفاظ على أداء تنافسي مع تعقيد خطي أمر بالغ الأهمية للجيل القادم من نماذج الرؤية واللغة.
العملية: التعديل المقترح بسيط في التنفيذ ولكنه حاسم لضمان احتفاظ النموذج بالقدرة التعبيرية اللازمة لتعلم العلاقات المعقدة بين الوسائط المختلفة.