💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

يُعد SepPrune إطار عمل خالٍ من التدريب، وقابل للتشغيل المباشر، يقلل بكفاءة التكاليف الحسابية في النماذج اللغوية الكبيرة متعددة الوسائط عبر استخدام رموز فاصل الوسائط كاستعلامات موحدة لتقليم 80.2% من الرموز البصرية مع الاحتفاظ بـ 96.3% من الدقة الأصلية.

المؤلفون الأصليون: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

نُشر 2026-07-29

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يرى ويتحدث في آن واحد. هذا هو عالم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، وهي نجوم الذكاء الاصطناعي التي يمكنها النظر إلى صورة لغروب الشمس وكتابة قصيدة عنها، أو تحليل مخطط معقد والإجابة على أسئلة حوله. وللقيام بذلك، لا يكتفي الروبوت بـ "النظر" إلى الصورة فحسب؛ بل يقوم بتفكيك الصورة إلى آلاف قطع الأحجية الرقمية الصغيرة المسماة "رموز الرؤية" (vision tokens). فكر في هذه الرموز كأنها بكسلات فردية، لكنها أذكى بكما؛ فهي تحمل كافة تفاصيل الصورة.

ومع ذلك، هناك عقبة. فعندما تغذي الروبوت بصورة عالية الدقة أو فيديو طويل، فإنه يولد عدداً هائلاً من هذه الرموز مما يجعل الروبوت يشعر بالارتباك. الأمر يشبه محاولة قراءة مكتبة من الكتب دفعة واحدة؛ حيث تصبح العملية بطيئة، ومكلفة، وغير فعالة. لقد حاول العلماء إصلاح ذلك عبر محاولة تخمين الأهمية من خلال مراقبة كيفية انتباه الروبوت للكلمات، بينما يحاول آخرون العثور على القطع المكررة. لكن هذه الأساليب غالباً ما تتعثر في تعقيداتها الخاصة، مما يبطئ الروبوت أكثر بدلاً من تسريعه. يبقى السؤال الكبير: كيف يمكننا إزالة الفوضى دون فقدان الصورة؟

هنا يبرز SepPrune، وهو أسلوب جديد يعمل كمحرر ذكي لهذه النماذج من الذكاء الاصطناعي. لاحظ الباحثون وراء هذا العمل شيئاً رائعاً أثناء مراقبتهم لكيفية تفكير هذه النماذج؛ فقد وجدوا أنه في المراحل الأولى من المعالجة، يولي النموذج قدراً هائلاً من الانتباه لرموز "الفصل" (separator tokens) الخاصة — وهي علامات صغيرة تقع بين بيانات الصورة وبيانات النص، وتعمل كجسر بين العالمين. وقد تبين أن هذه الفواصل هي المفتاح لفهم الصورة.

بدلاً من محاولة حساب أهمية كل رمز رؤية من خلال مقارنتها ببعضها البعض (وهو أمر بطيء وفوضوي)، يستخدم SepPrune رمز الفصل كـ "استعلام رئيسي" (master query). تخيل رمز الفصل كأنه مرشد سياحي يقف عند مدخل متحف؛ فبدلاً من سؤال كل لوحة بمفردها: "هل أنتِ مهمة؟"، ينظر المرشد إلى الغرفة بأكملها ويشير قائلاً: "أنتِ، وأنتِ، وأنتِ هي التحف الفنية؛ أما البقية فيمكنهم الانتظار". ومن خلال استخدام رمز الفصل لتسجيل درجات رموز الرؤية بسرعة، يستطيع SepPrane تحديد القطع الأكثر إفادة من الصورة فوراً والتخلص من الباقي.

النتائج مبهرة. فعند اختباره على نماذج قوية مثل Qwen2.5-VL-7B، تمكن SepPrune من التخلص من أكثر من 80% من رموز الرؤية مع الحفاظ على 96.3% من دقة النموذج الأصلية. وحتى عندما تم دفع عملية التقليم إلى حد أقصى بلغ 90.2% من الاختزال، حافظ النموذج على 87.2% من أدائه. ويمثل هذا قفزة كبيرة مقارنة بالأسالهم الأخرى، التي غالباً ما تكافح للحفاظ على دقة عالية كهذه عند إجراء عمليات قص عميقة. علاوة على ذلك، ولأن هذه الطريقة لا تتطلب حسابات معقدة بين كل رمز والآخر، فهي أسرع بكثير وتعمل بسلاسة مع تقنيات تسريع الأداء الموجودة حالياً.

لقد أثبت الباحثون أيضاً أن خياراتهم المحددة لها أهمية كبرى. فقد أظهروا أن استخدام رمز الفصل كـ "مرشد" يعمل بشكل أفضل من استخدام أجزاء أخرى من النص، وأن تجاهل "موقع" الرموز (أين تقع في الصورة) أثناء عملية الاختيار يمنع النموذج من الاحتفاظ بالقسم السفلي من الصورة عن طريق الخطأ. باختصار، يشير SepPrune إلى أنه من خلال الاستماع إلى الجسر الواصل بين الصورة والنص، يمكننا جعل خبراء الرؤية من الذكاء الاصطناعي أسرع وأكثر كفاءة دون جعلهم يفقدون التفاصيل التي تهم حقاً.

ملخص تقني: SepPrune

بيان المشكلة

تستخدم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحديثة، مثل Qwen2.5-VL وInternVL3، هياكل مشفر رؤية من نوع "any-res" التي تولد عدداً هائلاً من رموز الرؤية (vision tokens)، لا سيما عند معالجة مدخلات عالية الدقة (مثل فيديوهات بدقة 4K/8K أو صور ذات ميجابكسل عالية). هذا الحجم من الرموز يتجاوز بشكل كبير حجم مدخلات النصوص، مما يخلق عبئاً حسابياً كبيراً وتأخراً في الاستنتاج. وبينما تهدف طرق تقليم رموز الرؤية الحالية إلى التخفيف من ذلك، إلا أنها تعاني من قيود حرجة:

الطرق القائمة على الانتباه (Attention-based methods): غالباً ما تعتمد على درجات الانتباه عبر الوسائط (cross-modal attention scores) التي تقطع التدفق الحسابي، مما يمنع استخدام مشغلات الأجهزة عالية الكفاءة مثل FlashAttention، أو تعتمد على رموز معمارية محددة (مثل [CLS]) غير موجودة في الأنظمة الخلفية للرؤية الحديثة.
الطرق القائمة على التنوع (Diversity-based methods): تتطلب عادةً تعقيداً زمنياً تربيعياً ( $O(N^2)$ ) لحساب مصفوفات التشابه بين الرموز، وهو ما يؤدي للمفارقة بزيادة زمن التأخير (latency) وإبطاء المكاسب الناتجة عن عملية التقليم.

المنهجية: SepPrane

يقترح المؤلفون SepPrune، وهو إطار عمل لتقليم رموز الرؤية، يعمل بنظام "التوصيل والتشغيل" (plug-and-play)، ولا يتطلب تدريباً، ويستفيد من الدور الجوهري لرموز فاصل الوسائط (modality separator tokens). تعمل هذه الطريقة قبل النموذج اللغوي الكبير (LLM backbone)، مما يضمن التوافق مع تقنيات التسريع مثل FlashAttention.

الرؤى الجوهرية

من خلال تحليل توزيعات الانتباه في نماذج مثل Qwen2.5-VL-7B، لاحظ المؤلفون ما يلي:

قمم الفواصل (Separator Peaks): في الطبقات الضحلة، تصل درجات الانتباه من رموز الرؤية والنصوص معاً إلى ذروتها عند رموز فاصل الوسائط (الرموز الخاصة التي تفصل بين الوسائط البصرية والنصية)، بدلاً من التركيز على المحتوى البصري الغني دلالياً.
وظيفة الجسر (Bridge Function): كشفت دراسات الاستئصال (Ablation studies) أن إزالة رموز الفواصل تسبب تدهوراً في الأداء أكبر بكثير من إزالة عدد مماثل من رموز الرؤية أو النصوص، مما يشير إلى أن الفواصل تعمل كجسور حيوية للربط بين الوسائط في مراحل المحاذاة المبكرة.

سير العمل الخوارزمي

يستخدم SepPrune رمز الفاصل كاستعلام موحد (unified query) لتقييم رموز الرؤية دون تغيير بنية الـ LLM:

الاستعلام الموحد: يتم استخدام رمز الفاصل الموجود بعد تسلسل الرؤية ( $S_{right}$ ) كمتجه استعلام ( $Q_{sep}$ ). تم اختيار هذا الرمز لأنه، في ظل أقنعة الانتباه السببي (causal attention masks)، هو الرمز الوحيد القادر على الانتباه إلى المجموعة الكاملة من رموز الرؤية ( $K_{visual}$ ).
إزالة الانحياز (Bias Elimination): لضمان ترتيب الرموز بناءً على الأهمية الدلالية فقط وليس الموقع المكاني، تقوم الطريقة صراحةً باستبعاد تضمينات الموضع الدوارة (RoPE) أثناء مرحلة تسجيل الدرجات. هذا يمنع النموذج من تفضيل الاحتفاظ بالرموز من مناطق معينة في الصورة (مثل الجزء السفلي) بسبب انحياز الموضع.
تسجيل الدرجات والتقليم: يتم حساب درجات الانتباه باستخدام الصيغة:
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
هذا يقلل التعقيد من $O(N^2)$ إلى $O(N)$ . يتم الاحتفاظ بأعلى- $k$ من رموز الرؤية الأكثر معلوماتية بناءً على هذه الدرجات، بينما يتم تقليم البقية.
إعادة استخدام الإسقاط (Projection Reuse): تعيد الطريقة استخدام معاملات الإسقاط المدمجة ( $q\_proj$ , $k\_proj$ ) من الطبقة الأولى للـ LLM، مما لا يتطلب أي معاملات قابلة للتعلم إضافية.

المساهمات الرئيسية

اكتشاف الآلية: الورقة البحثية هي الأولى التي تكشف وتثبت دور فواصل الوسائط كجسور للربط بين الوسائط في نماذج MLLM، وتوضح أهميتها الحاسمة في دمج الرؤية واللغة في المراحل المبكرة.
استراتيجية تقليم مبتكرة: تقديم SepPrune، وهي طريقة خفيفة الوزن، لا تتطلب تدريباً، وتعمل بنظام "التوصيل والتشغيل"، وتستخدم رموز الفاصل لتقييم رموز الرؤية عالمياً.
الكفاءة والتوافق: تحقق الطريقة تعقيداً زمنياً خطياً ( $O(N)$ ) وهي متوافقة تماماً مع أطر تسريع الاستنتاج الحالية (مثل FlashAttention) وإدارة ذاكرة التخزين المؤقت للقيم المفتاحية (KV-cache)، على عكس الأساليب السابقة القائمة على الانتباه.

النتائج التجريبية

قام المؤلفون بتقييم SepPrune على نماذج Qwen2.5-VL-7B وInternVL3-8B عبر 12 اختباراً تغطي المهام العامة للأسئلة والأجوبة البصرية (VQA)، وكشف الهلوسة، والأسئلة والأجوبة الموجهة للنصوص.

الحفاظ على الأداء: في نموذج Qwen2.5-VL-7B، احتفظ SepPrune بـ 96.3% من الدقة الأصلية مع تقليم 80.2% من رموز الرؤية. وقد تفوق هذا على النماذج المرجعية المتطورة (FastV, DivPrune, CDPruner) بفارق كبير (على سبيل المثال، تجاوز CDPruner بنحو 3 نقاط مئوية عند نسبة تقليم 80.2%).
الضغط الشديد: حتى عند نسبة تقليم بلغت 90.1%، حافظ SepPrute على 87.2% من الأداء الأصلي، مما أظهر متانة فائقة في المهام كثيفة المعلومات مثل TextVQA وChartQA.
القدرة على التعميم: لوحظت مكاسب أداء مماثلة في InternVL3-8B، حيث حقق SepPrune درجة نسبية قدرها 93.1% عند تقليم بنسبة 80%.
الكفاءة: أظهرت الاختبارات التجريبية على وحدة NVIDIA H20 أن SepPrune حقق أدنى زمن استجابة نهائي (591.4 ثانية) مقارلاً بالنموذج المرجعي غير المقلم (760.4 ثانية) والطرق الأخرى للتقليم، مما يثبت قابليته للتوسع الخطي.

الأهمية والادعاءات

تزعم الورقة أن SepPrune يعالج عنق الزجاجة في كفاءة استنتاج نماذج MMLM عالية الدقة من خلال إعادة التفكير في آلية التقليم من منظور التفاعل بين الوسائط. ومن خلال تحديد رمز الفاصل كـ "استعلام عالمي" طبيعي، تتجنب الطريقة العبء الحسابي لحسابات المصفوفات القائمة على التنوع والقيود المعمارية للطرق القائمة على الانتباه. ويؤكد المؤلفون أن هذا النهج يسمح بخفض تكلفة الاستنتاج بشكل كبير مع الحفاظ على أداء قوي عبر المهام المتنوعة، مما يوفر حلاً عملياً لنشر نماذج MLLM في البيئات محدودة الموارد.