🤖 AI

CASA: Cross-Attention over Self-Attention for Efficient Vision-Language Fusion

تُثبت هذه الورقة أن آلية "الانتباه المتقاطع فوق الانتباه الذاتي" (CASA) هي بديل تنافسي وفعال للغاية لعملية إدراج الرموز (token insertion) في نماذج الرؤية واللغة، حيث توفر تكاليف ذاكرة تقترب من الثبات وزمن انتقال منخفض، مما يجعلها مناسبة بشكل خاص للمحادثات الطويلة متعددة الصور وتطبيقات الفيديو في الوقت الفعلي.

المؤلفون الأصليون: Moritz Böhle, Amélie Royer, Juliette Marrie, Edouard Grave, Patrick Pérez

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Moritz Böhle, Amélie Royer, Juliette Marrie, Edouard Grave, Patrick Pérez

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "CASA: Cross-Attention over Self-Attention for Efficient Vision-Language Fusion" باستخدام لغة بسيية وتشبيهات إبداعية.

الصورة الكبيرة: مشكلة "الضيوف الكثر"

تخيل أنك تستضيف حفلة عشاء (النموذج الذكي - AI model) حيث تريد مناقشة صورة (image) مع ضيوفك (text).

لفترة طويلة، كانت الطريقة القياسية للقيام بذلك هي إدراج الرموز (Token Insertion).

كيف تعمل: تأخذ الصورة، وتقطعها إلى آلاف القطع الصغيرة من الألغاز (الرموز/tokens)، ثم تسلم قطعة في يد كل ضيف على الطاولة فعلياً.
النتيجة: يمكن للجميع التحدث مع الجميع. يناقش الضيوف الصورة بالتفصيل الممل.
المشكلة: إذا عرضت فيديو مدته 10 دقائق، فسيتعين عليك توزيع ملايين قطع الألغاز. تصبح الطاولة مزدحمة، ويصاب الضيوف بالإرهاق، وينفد من المضيف (ذاكرة الكمبيوتر) المساحة. الأمر يشبه محاولة وضع مكتبة كاملة داخل حقيبة ظهر.

يسأل مؤلفو هذه الورقة: "هل نحتاج حقاً لتوزيع كل قطعة من قطع الألغاز؟ ألا يمكننا فقط عرض الصورة على المضيف، وترك المضيف يخبر الضيوف بما هو مهم؟"

هذا هو الانتباه المتقاطع (Cross-Attention - CA).

النهجان: تشبيه المكتبة

1. الطريقة القديمة: إدراج الرموز (اجتماع "الكل حاضر")

تخيل مكتبة حيث يتم خلط كل كتاب (نص) وكل صورة (صورة) معاً على نفس الرف.

المزايا: يمكن للكتب قراءة الصور مباشرة. إنهم يفهمون السياق بشكل مثالي.
العيوب: يصبح الرف ضخماً جداً. إذا أضفت فيديو جديداً، يزدد طول الرف باستمرار. في النهاة، ينهار مبنى المكتبة (الذاكرة) تحت وطأة الوزن. يكون البحث بطيئاً لأن الغرفة مزدحمة للغاية.

2. الطريقة الجديدة: الانتباه المتقاطع (غرفة الإيجاز)

تخيل إعداداً مختلفاً. تبقى الكتب على رفها الخاص. أما الصور فتُحفظ في "غرفة إيجاز" منفصلة وآمنة.

كيف تعمل: عندما يحتاج كتاب ما لمعرفة شيء عن صورة، يرسل رسولاً إلى غرفة الإيجاز. ينظر الرسول إلى الصورة الحالية، ويأخذ الحقائق الرئيسية، ويعود بها إلى الكتاب.
العقبة: الكتاب لا يحتفظ بالصورة في ذاكرته الخاصة. هو يعرف فقط عن الصورة في هذه اللحظة. بمجرد أن يغادر الرسول، تختفي الصورة من رؤية الكتاب المباشرة.
الفائدة: لا يزدحم رف المكتبة أبداً. يمكنك مشاهدة فيلم لمدة 10 ساعات، ويظل الرف بنفس الحجم. الرسول يواصل الجري ذهاباً وإياباً إلى آخر إطار (frame) تم عرضه فقط.

ماذا اكتشف المؤلفون؟

لفترة من الوقت، اعتقد الناس أن "غرفة الإيجاز" (Cross-Attention) أدنى مستوى لأن الكتب لا تستطيع "تذكر" الصور كما في "اجتماع الكل حاضر" (Token Insertion). بدت الكتب وكأنها تفقد التفاصيل.

قرر مؤلفو هذه الورقة اختبار هذه النظرية باستخدام نهج حديث ومتطور. وجدوا ثلاثة أشياء رئيسية:

1. الفجوة كانت أصغر مما توقعنا

قاموا ببناء نظام "غرفة إيجاز" جديد من الصفر، كما قاموا بترقية نظام "الكل حاضر" الحالي لاستخدام غرفة الإيجاز.

النتيجة: أدى نظام "غرفة الإيجاز" أداءً يقارب نظام "الكل حاضر" المزدحم في معظم المهام (مثل الإجابة على أسئلة حول الرسوم البيانية أو المستندات).
التشبيه: اتضح أنه ليس من الضروري توزيع كل قطعة من قطع الألغاز لفهم الصورة. فملخص جيد من الرسول غالباً ما يكون كافياً!

2. "الرموز السحرية" (رموز الموجز - Gist Tokens)

أحد الأسباب التي جعلت "غرفة الإيجاز" تعاني مع الفيديوهات الطويلة هو أن الكتب كانت تنسى ما حدث في الدقيقة الأولى من الفيلم.

الحل: أضاف المؤلفون "رموزاً سحرية" (تسمى Gist Tokens) إلى تدفق النص. فكر في هذه الرموز كأنها قصاصات ملاحظات لاصقة (Sticky Notes).
كيف تعمل: بعد أن يأتي الرسول بالملخص الخاص بإطار الفيديو الحالي، يلصق ملاحظة على الكتاب تقول: "تذكر، لقد رأينا سيارة حمراء في وقت سابق".
النتيجة: يمكن للكتاب الآن تذكر جوهر الفيديو بأكل، دون الحاجة إلى الاحتفاظ بإطارات الفيديو الفعلية في ذاكرته. سمح هذا للنظام بفهم الفيديوهات الطويلة تماماً مثل الأنظمة القدة المتعطشة للذاكرة.

3. الفائز الحقيقي: البث المباشر

القوة الخارقة الحقيقية لـ "غرفة الإيجوز" (Cross-Attention) هي التعليق الصوتي المباشر للفيديو.

السيناريو: تخيل روبوتاً يحاول وصف مباراة رياضية مباشرة أثناء حدوثها، ثانية بثانية.
الطريقة القديمة (إدراج الرموز): بينما تستمر المباراة، يجب على الروبوت تذكر كل إطار رآه على الإطلاق. بعد 5 دقائق، ينفجر دماغه (الذاكرة) ويتوقف عن العمل.
الطريقة الجديدة (الانتباه المتقاطع): ينظر الروبوت فقط إلى الإطار الحالي. يحتفظ بملخص صغير (قصاصات الملاحظات) للماضي. مهما طال وقت المباراة، يظل دماغ الروبوت بنفس الحجم، ولا يتباطأ أبداً. يمكنه وصف مباراة مدتها ساعتان بنفس سرعة الدقيقة الأولى.

لماذا يهم هذا الأمر؟

هذه الورقة هي بمثابة جرس إنذار لمجتمع الذكاء الاصطناعي.

الكفاءة: كنا مهووسين بجعل الذكاء الاصطناعي "أذكى" عبر إضافة المزيد من الذاكرة، لكننا نصطدم بحائط. لا يمكننا الاستمرار في إضافة المزيد من قطع الألغاز للأبد.
المستقبل: بينما نتحرك نحو ذكاء اصطناعي يشاهد الفيديو المباشر، أو يتحكم في الروبوتات، أو يتحدث إلينا لساعات، نحتاج إلى أنظمة لا تتعطل عندما يصبح الحوار طويلاً.
الحكم النهائي: لم يعد "الانتباه المتقاطع" (Cross-Attention) هو الخيار "الدرجة الثانية" بعد الآن. مع وجود الحيل الصحيحة (مثل قصاصات الملاحظات السحرية)، أصبح وسيلة عملية، وفعالة، وقوية لبناء الجيل القادم من الذكاء الاصطناعي الذي يمكنه التعامل مع العالم الحقيقي دون نفاد الذاكرة.

باختصار: توقف عن محاولة حشر المحيط بأكمله في كوب واحد. فقط أرسل رسولاً ليجلب لك الماء الذي تحتاجه، وستتمكن من الشرب للأبد دون أن تسكب قطرة واحدة.

إليك ملخص تقني مفصل لورقة البحث "CASA: Cross-Attention over Self-Attention for Efficient Vision-Language Fusion" (الانتباه المتقاطع فوق الانتباه الذاتي لدمج الرؤية واللغة بكفاءة).

1. بيان المشكلة

تعتمد نماذج الرؤية واللغة (VLMs) حاليًا بشكل أساسي على إدراج الرموز (Token Insertion)، حيث يتم دمج رموز الصور من مشفر الرؤية مباشرة في تدفق النصوص الخاص بنموذج اللغة الكبير (LLM). ورغم فعالية هذا النهج، إلا أنه يعاني من مشكلات كبيرة في القابلية للتوسع:

اختناقات الذاكرة والحوسبة: ينمو عدد رموز الصور خطيًا مع الدقة وطول الفيديو. وتُضاف هذه الرموز إلى ذاكرة المفتاح والقيمة (KV cache)، مما يؤدي إلى انفجار استهلاك الذاكرة والتكاليف الحسابية أثناء المحادثات الطويلة متعددة الصور أو تطبيقات بث الفيديو.
فجوة الأداء في البدائل: كان الانتباه المتقاطع (Cross-Attention - CA) بديلًا مبكرًا، حيث تعمل رموز الصور كمفاتيح/قيم (Keys/Values) لاستعلامات النصوص دون دخولها في ذاكرة الـ KV cache. ومع ذلك، فإن نماذج الرؤية واللغة القائمة على CA تاريخيًا كانت أقل أداءً من نماذج إدراج الرموز، لا سيما في المهام دقيقة التفاصيل مثل فهم المستندات والمخططات. وكانت الأسباب وراء هذه الفجوة غير واضحة (هل هي قيود جوهرية أم اختلافات في التدريب/التنفيذ).

2. المنهجية

قام المؤلفون، موريتز بوهله وآخرون، بإعادة استقصاء نظامي لآلية CA من خلال عزل الاختلافات المعمارية والتدريب تحت ظروف محكومة.

أ. التحليل النظري: سد الفجوة بين CA وإدراج الرموز

تحدد الورقة خمسة فروق تصميمية جوهرية (D1–D5) بين الانتباه المتقاطع (CA) وإدراج الرموز (الانتباه الذاتي مع الإدراج) والتي تفسر المقايضة بين الأداء والكفاءة:

D1 (البارامترات الإضافية): يضيف CA طبقات إسقاط قابلة للتعلم جديدة. يقترح المؤلفون مشاركة البارامترات ( $CA_{\parallel}$ ) حيث تشترك طبقات CA والانتباه الذاتي (SA) في الأوزان لإزالة هذا العبء الإضافي.
D2 (الانتباه المشترك والتمثيلات الموضعية): في حالة الإدراج، ينتبه النص لكل من النص والصور عالميًا. أما في CA، فينتبه النص للصور فقط. يقترح المؤلفون $CA_{t+v}$ ، حيث ينتبه النص للكلمات السابقة ولنافذة الصورة الحالية معًا، مما يحاكي فعليًا نوافذ الانتباه الذاتي المحلية.
D3 (تكرار الطبقات): يضيف CA طبقة انتباه إضافية لكل كتلة. يقترح المؤلفون $CA_{<}$ ، باستبدال كل طبقة ثانية من طبقات SA بطبقة CA لتقليل العمق.
D4 (تحديث رموز الصور): في الإدراج، يتم تحديث تمثيلات الصور عبر طبقات FFN وطبقات SA طوال الشبكة. أما في CA القياسي، فهي ثابتة. يختبر المؤلفون تحديث رموز الصور عبر FFNs ( $CA+FFNs$ )، ويلاحظون أن هذا يحسن الأداء ولكنه يزيد تكاليف الذاكرة بشكل كبير.
D5 (تاريخ تعدد الصور): يحتفظ الإدراج بجميع الصور الماضية في ذاكرة الـ KV cache. بينما يعمل CA في نوافذ محلية. وللتعامل مع التاريخ دون تضخم الذاكرة، يستخدم المؤلفون "رموز الجوهر" (Gist Tokens) (رموز فاصلة خاصة) توضع بعد كل إطار صورة. تقوم هذه الرموز بضغط التاريخ البصري وتسمح للنص بالانتباه للسياق الماضي دون تخزين رموز الصور الخام.

ب. الإعداد التجريبي

قام المؤلفون بتدريب وتقييم النماذج في إعدادين متميزين لضمان مقارنة عادلة:

من الصفر: البدء بنموذج لغوي كبير نصي فقط (Helium1-2B) وإضافة طبقات CA.
التكيف (Adaptation): أخذ نموذج متطور يعتمد على الإدراج (Qwen2.5-VL-3B) واستبدال آلية الإدراج فيه بطبقات CA، مع تدريب طبقات CA الجديدة وكتل مشفر الصور النهائية فقط.

استخدموا الانتباه القائم على الكتل (Block-wise attention) (FlashAttention-2) أثناء التدريب لفرض قيود النافذة السببية المطلوبة لـ CA.

3. المساهمات الرئيسية

التفكيك المنهجي: تقدم الورقة أول تحليل دقيق للعناصر التصميمية الخمسة (D1–D5) التي تفصل بين CA وإدراج الرموز، موضحة أن فجوة الأداء تعود إلى حد كبير لخطوط أنابيب التدريب والخيارات المعمارية وليس بسبب قيود جوهرية في CA.
تنافسية الـ CA التقليدي: يثبتون أن الانتباه المتقاطع "التقليدي" (بدون تعقيدات إضافية) أكثر تنافسية مما كان يُعتقد سابقًا. فعند تدريبها في إعدادات متطابقة، تضيق نماذج CA البسيطة الفجوة مع نماذج إدراج الرموز لتصبح ضمن نطاق نقاط مئوية قليلة.
التكيف الفعال: يظهرون أن نموذج Qwen2.5-VL القائم على الإدراج يمكن تكييفه بكفاءة مع CA بأقل قدر من إعادة التدريب، مع الاحتفاظ بمعظم قدراته واكتساب الكفاءة.
تفوق بث الفيديو: تثبت الورقة أن CA هو الآلية المتفوقة لبث الفيديو في الوقت الفعلي، حيث يحافظ على ذاكرة وزمن استجابة شبه ثابتين، بينما تستنفد نماذج إدراج الرموز الميزانية المتاحة للذاكرة بسرعة.

4. النتائج

معايض الأداء (Benchmarks)

مهام الصور: في المعايض القياسية (DocVQA, ChartQA, TextVQA)، حققت نماذج CA الخاصة بالمؤلفين (سواء من الصفر أو المعدلة) أداءً ضمن نطاق 1.5% إلى 6.8% من نظيراتها القائمة على إدراج الرموز.
- ملاحظة: لا تزال هناك فجوة في المهام المعقدة المتعلقة بالمخططات والمستندات (ChartQA, InfographicVQA)، مما يشير إلى أن إدراج الرموز لا يزال يتفوق في الاستدلال البصري دقيق التفاصيل.
- تفوق نموذج Qwen-CA المعدل على نماذج CA السابقة المتطورة (مثل mPLUG-Owl3 و StreamChat) رغم كونه أصغر حجمًا أو يستخدم بنيات أبسط.
مهام الفيديو: في معايض فهم الفيديو (MVBench, VideoMME)، قدم نموذج CA أداءً يضاهي نماذج CA الأكبر حجمًا، وكان أقل بنحو 3.9% فقط من نموذج الإدراج الأساسي، رغم استخدامه لتاريخ بصري مضغوط (gist tokens).

مقاييس الكفاءة (الاستدلال والتدريب)

الذاكرة والسرعة: تعالج نماذج CA عدد إطارات أكثر بـ 6 أضعاف في الثانية وتستخدم ذاكرة أقل بـ 5 أضعاف أثناء الاستدلال مقارنة بنماذج إدراج الرموز.
التعليق الصوتي للفيديو المباشر (Streaming Video Captioning):
- زمن الاستجابة (Latency): يحافظ نموذج CA على زمن استجابة منخفض وثابت عبر آفاق الفيديو الطويلة.
- الذاكرة: تعاني نماذج إدراج الرموز من أخطاء "خروج عن الذاكرة" (OOM) مع نمو ذاكرة الـ KV cache مع كل إطار. أما نموذج CA، فيظل استهلاك الذاكرة فيه شبه ثابت لأن رموز الصور لا تُخزن أبدًا في ذاكرة الـ KV.
- التعليق المباشر: أظهر المؤلفون التعليق المباشر على فيديوهات رياضية حيث ولد نموذج CA نصوصًا أسرع من الوقت الفعلي دون تراكم ملحوظ في التأخير، وهو أمر مستحيل لنماذج الإدراذ عند نفس الأحجام.

5. الأهمية

تحول في النموذج الفكري (Paradigm Shift): تتحدى الورقة الهيمنة الحالية لإدراج الرموز، وتجادل بأن الانتباه المتقفع (CA) هو بديل قابل للتطبيق، بل ومتفوق غالبًا، للتطبيقات التي تتضمن سياقات طويلة وبيانات بث.
النشر العملي: توفر الورقة مخططًا لتشغيل نماذج الرؤية واللغة (VLMs) في سيناريوهات الوقت الفعلي (مثل المساعدين المرئيين للبث المباشر، والروبوتات) حيث تكون قيود الذاكرة وزمن الاستجابة حاسمة.
قابلية التكرار: من خلال إصدار الأكواد والنماذج، يمكّن المؤلفون المجتمع من اعتماد بنيات CA الفعالة، مما قد ينقل الحالة الراهنة (SotA) نحو أنظمة متعددة الوسائط أكثر قابلية للتوسع.

في الختام، يثبت CASA أن الانتباه المتقطع (Cross-Attention)، مع التدريب الصحيح والتعديلات المعمارية (خاصة التعامل مع النوافذ المحلية ورموز الجوهر)، يمكنه مضاهاة أداء إدراج الرموز مع تقديم مكاسب هائلة في الكفاءة، مما يجعله الخيار المفضل لتطبيقات الرؤية واللغة ذات البث المباشر من الجيل القادم.