🤖 AI

Sparse Shortcuts: Facilitating Efficient Fusion in Multimodal Large Language Models

تقترح الورقة البحثية SparseCut، وهي بنية مبتكرة تعزز النماذج اللغوية الكبيرة متعددة الوسائط من خلال إدخال اتصالات اختصار متفرقة ووحدة دمج متعددة الحبيبات لدمج الميزات المرئية الهرمية بكفاءة دون زيادة العبء الحسابي أو طول المدخلات.

المؤلفون الأصليون: Jingrui Zhang, Feng Liang, Yong Zhang, Wei Wang, Runhao Zeng, Xiping Hu

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jingrui Zhang, Feng Liang, Yong Zhang, Wei Wang, Runhao Zeng, Xiping Hu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "المسارات المختصرة المتفرقة: تسهيل الدمج الفعال في النماذج اللغوية الكبيرة متعددة الوسائط" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: مشكلة "المترجم"

تخيل أن لديك مترجماً بارعاً (النموذج اللغوي الكبير أو LLM) يتحدث الإنجليزية بطلاقة ولكنه لم يرَ صورة قط. لمساعدته على فهم صورة ما، تقوم بتعيين مصور (مشفر الرؤية - Vision Encoder) لالتقاط صورة ووصفها للمترجم.

في نماذج الذكاء الاصطعي الحالية، يقوم المصور بالتقاط الصورة، ومعالجتها، ثم يسلم المترجم النسخة النهائية المصقولة فقط. يحاول المترجم بعد ذلك كتابة قصة بناءً على تلك الصورة النهائية الواحدة فقط.

المشكلة:

فقدان التفاصيل: بحلول الوقت الذي تصبح فيه الصورة "جاهزة"، قد يكون المصور قد تخلص من المسودات الأولية، أو ملمس القماش، أو زوايا الإضاءة المحددة التي حدثت في منتصف العملية. المترجم يفتقد هذه الأدلة.
فخ "المعلومات الزائدة": تحاول بعض النماذج الأحدث إصلاح ذلك عبر إعطاء المترجم كل المسودات، وكل النسخ التجريبية، والصورة النهائية دفعة واحدة. لكن هذا يربك المترجم. الأمر يشبه تسليمهم كومة من 1000 صفحة من الملاحظات بينما هم يحتاجون فقط إلى ملخص. يصاب المترجم بالارتباك، ويتباطأ، ويكلف ثروة لتشغيله.

الحل: "SparseCut"

يقترح المؤلفون نظاماً جديداً يسمى SparseCut. فكر في الأمر كبناء نظام طرق سريعة متخصص بين المصور والمترجم.

بدلاً من انتظار الصورة النهائية أو إلقاء جبل من الملاحظات على المترجم، يرسل المصور تحديثات استراتيجية صغيرة مباشرة إلى المترجم في لحظات محددة أثناء عملية الكتابة.

1. طريق "المسار المختصر" السريع (الدمج متعدد المستويات)

تخيل أن المصور يعمل في استوديو به طبقات متعددة من المعالجة:

الطبقة 1 (الضحلة): مجرد الخطوط العريضة والألوان.
الطبقة 2 (المتوسطة): الأشكال وكيفية ارتباط الأشياء ببعضها البعض.
الطبقة 3 (العميقة): المعنى الكامل والعاطفة في المشهد.

في النماذج القديمة، لا يسمع المترجم إلا من الطبقة 3. في SparseCut، نقوم ببناء مسارات مختصرة.

عندما يكتب المترجم بداية الجملة، يحصل على نظرة سريعة على الخطوط العريضة (الطبقة 1) لضبط الشكل الأساسي.
عندما يكتب الجزء الأوسط، يحصل على نظرة على العلاقات (الطبقة 2).
عندما ينتهي، يحصل على المعنى الكامل (الطبقة 3).

جزء "التفرق" (Sparse): نحن لا نربط كل طبقة بـ كل جملة. لو فعلنا ذلك لكان الأمر فوضوياً جداً. بدلاً من ذلك، نختار أفضل الاتصالات القليلة (الجزء "المتفرق") التي تعطي المترجم المعلومات الأكثر فائدة دون ضجيج. إنه يشبه مساراً سريعاً مخصصاً لكبار الشخصيات (VIP) يسمح للمعلومات الأكثر أهمية بالمرور بسرعة، متجاوزاً ازدحام المرور.

2. خدعة "الدمج الذكي" (الدمج متعدد الحبيبات)

أحياناً، تحتاج لرؤية صورة بـ دقة عالية (لرؤية حشرة صغيرة على ورقة شجر) ودقة منخفضة (لرؤية الغابة بأكملها).

الطريقة القديمة: يأخذ النموذج الصورة ذات الدقة المنخفضة والصورة ذات الدقة العالية، ويضعهما فوق بعضهما البعض، ثم يدفع هذه الكومة الضخمة إلى المترجم. هذا يجعل "الكومة" (طول المدخلات) ضخمة، مما يجعل المترجم يعمل بجهد أكبر بـ 4 أضعاف ويكون أبطأ.
طريقة SparseCut: قبل إرسال المعلومات إلى المترجم، يعمل النظام مثل محرر ذكي. يأخذ تفاصيل الدقة العالية ونظرة الدقة المنخفضة العامة ويدمجهم في ملخص واحد مثالي قبل دخولهم إلى غرفة المترجم.

النتيجة: لا يزال المترجم يرى "كومة" واحدة من الملاحظات (بنفس الطول السابق)، ولكن هذه الكومة الوحيدة تحتوي الآن على كلاً من الصورة الكبيرة والتفاصيل الدقيقة. لا يضطر المترجم للقيام بعمليات حسابية إضافية لمعالجة الصفحات الإضافية، لذا يعمل الكمبيوتر بنفس السرعة السابقة، لكنه يفهم أكثر بكثير.

لماذا هذا مهم (النتائج)

اختبرت الورقة البحثية نظام "الطريق السريع" الجديد هذا في مهام عديدة، مثل الإجابة عن أسئلة حول الصور أو وصف ما يحدث في صورة ما.

فهم أفضل: لأن المترجم يحصل على "المسودات الأولية" (التفاصيل متوسطة المستوى) و"التفاصيل الدقيقة" (معلومات الدقة العالية) في الوقت المناسب، فإنه يرتكب أخطاء أقل. هو أقل عرضة لـ "الهلوسة" (اختلاق معلومات) عندما تكون الصورة ضبابية أو مربكة.
لا يوجد عقوبة في السرعة: على الرغم من أن النموذج ينظر إلى مزيد من المعلومات، إلا أنه لا يتباطأ. خدعة "الدمج الذكي" تبقي عبء العمل كما هو.
يعمل في كل مكان: اختبروه مع "مترجمين" مختلفين (أحجام مختلفة من نماذج الذكاء الاصطناوي)، وقد نجح الأمر مع الجميع.

تشبيه الملخص

تخيل أنك تطبخ طبقاً معقداً (مهمة الذكاء الاصطناعي).

النموذج القديم: لا تحصل على الوصفة إلا في النهاية. عليك تخمين كيف كانت المكونات وهي خام.
النموذج الجديد (DeepStack): تحصل على المكونات الخام، والخضروات المقطعة، والقدر الذي يغلي، والطبق النهائي كله ملقى أمامك على الطاولة في وقت واحد. تقضي كل وقتك في فرز هذه الفوضى.
SparseCut: لديك مساعد طباخ (المسار المختصر) يهمس لك بما تحتاجه بالضبط في كل خطوة: "البصل يتكرمل الآن"، "الصلصة بدأت تتماسك"، "إليك التزيين النهائي". تحصل على المعلومة الصحيحة في الوقت الصحيح، ويبقى المطبخ نظيفاً، وتخرج الوجبة مثالية.

تزعم الورقة البحثية أنه باستخدام هذه المسارات المختصرة المتفرقة والدمج الذكي، يمكننا صنع نماذج ذكاء اصطناعي ترى وتفهم الصور بشكل أفضل بكثير، دون جعلها أبطأ أو أكثر تكلفة في التشغيل.

ملخص تقني: SparseCut للدمج الفعال في النماذج اللغوية الكبيرة متعددة الوسائط

بيان المشكلة

حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً ملحوحاً من خلال دمج الوسائط البصرية واللغوية. ومع ذلك، تواجه البنى الحالية عقبتين رئيسيتين في نقل الدلالات البصرية بفعالية إلى الفضاء اللغوي:

فقدان المعلومات الدلالية متعددة المستويات: تعتمد معظم النماذج الحالية حصرياً على مخرجات الطبقة النهائية لمشفر رؤية مدرب مسبقاً (مثل CLIP-ViT). هذا النهج يتجاهل المعلومات الدلالية الغنية الموجودة في الطبقات المتوسطة، مثل الأنسجة المحلية (الطبقات الضحلة) والعلاقات الهيكلية (الطبقات الوسطى)، وهي أمور حاسمة للاستنتاج الدقيق.
عدم الكفاءة الحسابية في الدمج متعدد الحبيبات: رغم أن دمج الميزات متعددة الحبيبات (مثل الصور عالية ومنخفضة الدقة) قد أظهر نتائج واعدة، إلا أن الطرق التقليدية غالباً ما تقوم بإلحاق الرموز البصرية متعددة الدقة بالتسلسل النصي. يؤدي هذا إلى تضخم طول التسلسل المدخل، مما يسبب زيادة تربيعية في تعقيد حساب الانتباه (Attention) داخل محول الـ Transformer، وهو ما يرفع التكاليف الحسابية بشكل كبير.

المنهجية: SparseCut

يقترح المؤلفون SparseCut، وهو بنية دمج عبر الوسائط عامة مصممة لتسهيل التكامل الفعال للميزات متعددة المستويات ومتعددة الحبيبات دون زيادة العبء الحسابي. تتكون الإطار العملي من ثلاثة مكونات أساسية:

1. اتصالات الاختصار المتفرقة (Sparse Shortcut Connections)

يقدم SparseCut اتصالات اختصار متفرقة بين طبقات محددة من مشفر الـ Vision Transformer (ViT) والنموذج اللغوي الكبير (LLM). وخلافاً للبنى القياسية التي تربط فقط الطبقة النهائية لـ ViT بأول طبقة في الـ LLM، يسمح SparseCut للـ LLM بالوصول إلى الحالات الخفية البصرية عند أعماق مختلفة.

أنماط الاتصال: تحدد البنية أنماط الاختصار بناءً على ثلاثة عوامل:
- الترتيب (Order): استكشف المؤلفون اتصالات "شكل U" (حيث ترتبط طبقات ViT الضحلة بطبقات LLM العميقة والعكس صحيح) مقابل اتصالات "العمق المتوافق". يُفترض أن شكل U يسهل تدفق المعلومات المتكاملة، مما يسم يسمح للتفاصيل البصرية منخفضة المستوى بتوجيه الاستنتاج اللغوي عالي المستوى.
- التوزيع (Distribution): يمكن توزيع الاتصالات بشكل موحد عبر طبقات LLM، أو إمالتها نحو الأسفل (التكامل المبكر)، أو إمالتها نحو الأعلى. وُجد أن التوزيع الموحد يحقق أفضل توازن في التكامل الدلالي.
- الكثافة (Density): قارن المؤلفون بين الأنماط "الكثيفة" (اتصالات عديدة) والأنماط "المتفرقة" (اتصالات قليلة وحرجة). أظهرت الأنماط المتفرقة قدرتها على تقليل تكرار المعلومات و"الفيضان" المعلوماتي، مما يوفر آلية أكثر كفاءة لحقن الميزات.

2. دمج الميزات متعدد الحبيبات الفعال

للتعامل مع المدخلات ذات الحبيبات المتفاوتة (مثل الصور عالية الدقة ومنخفضة الدقة) دون توسيع طول السياق:

آلية الدمج: بدلاً من دمج رموز الدقة العالية مع رموز الدقة المنخفضة (مما يزيد عدد الرموز)، يقوم SparseCut بدمج الميزات البصرية قبل توجيهها عبر مسارات الاختصار.
الانتباه المتقاطع (Cross-Attention): لكل اتصال اختصار، يقوم محول الوسائط (Modality Adapter) بإجراء انتباه متقاطع بين رموز الدقة المنخفضة (الاستعلامات/Queries) ورموز الدقة العالية (المفاتيح/القيم/Keys/Values).
النتيجة: تولد هذه العملية رموزاً بصرية هجينة الحبيبات تحافظ على طول السياق البصري الأصلي ( $M_v$ ) بدلاً من توسيعه إلى $N \times M_v$ . وبناءً على ذلك، تنخفض التعقيد الحسابي لآلية الانتباه الذاتي في الـ LLM من $O((N \times M_v + M_t)^2)$ إلى $O((M_v + M_t)^2)$ ، حيث $N$ هو عدد مقاييس الدقة و $M_t$ هو طول النص.

3. نظرة عامة على البنية

يتبع النظام مسار MLLM قياسي (مشفر الرؤية $\leftarrow$ محول الوسائط $\leftarrow$ LLM) ولكنه يعدل تدفق البيانات:

مشفر الرؤية (Vision Encoder): يستخرج الميزات متعددة المستويات من رقع (Patches) الصور عالية ومنخفضة الدقة.
محول الوسائط (Modality Adapter): يقوم بمحاذاة الميزات البصرية مع الفضاء الدلالي للـ LLM ويقوم بالدمج متعدد الحبيبات عبر الانتباه المتقاطع.
النموذج اللغوي الكبير (LLM): يستقبل الرموز البصرية كمدخلات. في الطبقات التي تحتوي على اتصالات اختصار، تكون الرموز البصرية المدخلة هي مجموع مخرجات الطبقة السابقة بالإضافة إلى الرموز البصرية المدمجة من طبقة ViT المقابلة.

المساهمات الرئيسية

بنية SparseCut: تقديم إطار عمل عام لـ MLLM يستخدم اتصالات الاختصار المتفرقة لدمج الحالات الخفية متعددة المستويات من الوسائط المختلفة بنيوياً.
الدمج متعدد الحبيبات الفعال: طريقة لدمج الميزات البصرية ذات الدقات المختلفة ضمن اتصالات الاختصار، مما يحافظ على طول سياق المدخلات الأصلي ويتجنب النمو التربيعي في التعقيد الحسابي للـ LLM.
التقييم المنهجي: تحليل شامل لأنماط اتصال الاختصار (الترتيب، التوزيع، الكثافة)، مما يثبت أن النمط "المتفرق-الموحد" ذو ترتيب "شكل U" يحقق أفضل أداء.

النتائج التجريبية

قيم المؤلفون SparseCut على اختبارات متنوعة باستخدام نماذج LLM أساسية تتراوح من 3 مليار إلى 13 مليار معلمة (بنيات Vicuna وQwen).

مكاسب الأداء: تفوق SparseCut باستمرار على الطرق المرجعية (بما في ذلك LLaVA-1.5 وDeepStack-L) عبر المهام الأكاديمية (VQAv2, GQA, VizWiz, SciQA-IMG, TextVQA) واختبارات اتباع التعليمات (POPE, MMBench, SEEDBench).
- على مقي scale 7B، حقق SparseCut تحسناً متوسطاً قدره 2.2 نقطة مئوية عن LLaVA و1.8 نقطة مئوية عن DeepStack-L.
- لوحظت مكاسب ملحوظة في اختبار VizWiz، خاصة في التعامل مع الحالات غير القابلة للإجابة، مما يشير إلى تحسن في القدرة على مقاومة الهلوسة.
الكفاءة: عند معالجة المدخلات عالية الدقة، استهلك SparseCut عددًا أقل بكثير من عمليات الـ FLOPs (43.62T مقابل 9.6T لـ LLaVA-1.5) بسبب آلية دمج أبعاد الدقة، مع الحفاظ على أداء مماثل للنماذج ذات التوسع الكامل للرموز.
دراسات الاستئصال (Ablation Studies):
- تحليل النمط: حقق نمط "Sparse-Uniform" ذو ترتيب "شكل U" أفضل النتائج. أما نمط "Sparse-Top" (تركيز الاتصالات في أعلى الـ LLM) فقد أدى إلى انخفاض كبير في الأداء (~50%)، مما يؤكد ضرطورة التكامل العميق.
- الدقة (Resolution): أدى دمج ميزات الدقة العالية إلى تحسين الأداء باستمرار عبر جميع المهام.
- القدرة على التعميم: أظهرت الطريقة متانة عند تطبيقها على نماذج LLM مختلفة (مثل Qwen2.5-3B) وظلت مستقرة مع تغير أحجام بيانات التدريب وإعدادات الـ ViT غير المجمدة.

الأهمية والادعاءات

يزعم البحث أن SparseCut يعالج العقبة الحرجة المتمثلة في دمج المعرفة عبر الوسائط بكفاءة دون التكلفة الحسابية لتوسيع التسلسل. ومن خلال الاستفادة من الاختصارات المتفرقة والدمج الهرمي، تمكن هذه البنية نماذج MLLM من الوصول إلى دلالات بصرية غنية ومتعددة المستويات (من الأنسجة إلى المفاهيم العالمية) مع الحفاظ على الكفاءة الحسابية للنموذج اللغوي الأساسي.

يؤكد المؤلفون أن هذه التحسينات تمت دون الحاجة لبيانات تدريب إضافية، بل بالاعتماد بدلاً من ذلك على الابتكارات الهيكلية. ويشير العمل إلى أن "الحالة الخاصة" لنماذج MLLM الحالية (التي تربط فقط الطبقة النهائية لـ ViT بأول طبقة في الـ LLM) هي حالة غير مثالية، وأن استراتيجية الاتصال المتعدد المستويات والمتفرقة تقدم مساراً قابلاً للتوسع نحو المستقبل.