🤖 AI

VEN-VL: A Visual Ensemble MoE Framework for Effective and Efficient Multi-Modal Understanding

يُعد VEN-VL إطار عمل لخليط الخبراء المعتمد على التجميع البصري، والذي يسد الفجوة بين الأداء والكفاءة في الفهم متعدد الوسائط من خلال إثراء سعة المعلومات البصرية أولاً عبر التوحيد متعدد المنظورات، ثم ضغطها تدريجياً عبر التوجيه التكيفي والإشراف البصري الصريح.

المؤلفون الأصليون: Yinghao Wu, Zhuoyan Luo, Yiyao Yu, Zhaojian Yu, Yujiu Yang, Xiao-Ping Zhang

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yinghao Wu, Zhuoyan Luo, Yiyao Yu, Zhaojian Yu, Yujiu Yang, Xiao-Ping Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شرح لوحة معقدة لصديق مشغول للغاية ولا يمكنه سوى الاستماع إلى ملخص قصير.

المشكلة:
تحاول معظم نماذج الذكاء الاصطناعي الحالية (التي تسمى النماذج اللغوية البصرية الكبيرة) فهم الصور من خلال النظر إلى كل بكسل، مثل قراءة كل كلمة في كتاب. هذا الأمر بطيء ومكلف. ولإصلاح ذلك، حاول باحثون آخرون "تقليم" الصورة — أي التخلص من الأجزاء التي يعتقدون أنها غير مهمة.

ومع ذلك، يجادل البحث بأن هذه الأساليب الحالية تشبه محرراً أخرق يقتطع فقرات كاملة لمجرد أنها تبدو طويلة. إنهم يتخلصون من الكثير من التفاصيل، أو يحتفظون بالتفاصيل الخاطمة، مما يتسبب في فقدان الذكاء الاصطناعي لـ "الصورة الكبيرة" أو تفويت أدلة صغيرة وحاسمة (مثل لافتة صغيرة في الخلفية). والنتيجة هي ذكاء اصطناعي سريع ولكنه ليس ذكياً جداً.

الحل: VEN-VL
يقترح المؤلفون نظاماً جديداً يسمى VEN-VL. يصفون نهجهم بمبدأ بسيط: "الإثراء، ثم الضغط". فكر في الأمر كتحضير وجبة فاخرة لضيف مشغول: أولاً، تجمع أفضل المكونات والنكهات (الإثراء)، ثم تقوم بتعبئتها بعناية في صندوق غداء صغير وعالي الجودة (الضغط) بحيث لا يضيع أي شيء، ولكن يسهل حمله.

إليك كيف يقومون بذلك، مقسماً إلى ثلاث خطوات إبداعية:

1. "مجموعة المعرفة متعددة الجوانب" (MKE) – لجنة الخبراء

بدلاً من النظر إلى الصورة من خلال زوج واحد فقط من النظارات (مثل كاميرا قياسية)، يستخدم VEN-VL خبيرين مختلفين ينظران إلى الصورة في نفس الوقت.

الخبير (أ): ينظر إلى الصورة الكبيرة والمعنى العام (مثل "هذه حديقة").
الخبير (ب): يبحث عن التفاصيل الدقيقة والقوام (مثل "الأوراق تتحول إلى اللون البني").

عادةً ما يؤدي دمج هذين المنظورين إلى إنشاء كمية هائلة وفوضوية من البيانات. لكن VEN-VL يستخدم تقنية "دمج" خاصة. الأمر يشبه وجود محرر ماهر يأخذ أفضل الجمل من ملاحظات كلا الخبيرين وينسجها معاً في قصة واحدة مثالية وموجزة. هذا يضمن أن يكون لدى الذكاء الاصطناعي فهماً أغنى (قدرة معلوماتية أكبر) دون ضجيج.

2. "مجموعة الرموز الهرمية" (HTE) – الفلتر الذكي

الآن بعد أن أصبح لدى الذكاء الاصطناعي هذه القصة الغنية، فإنه يحتاج إلى تصغيرها لتناسب "دماغ" النموذج اللغوي.

الأساليب القديمة تستخدم فلترًا فظاً: "إذا لم يحصل هذا الجزء من الصورة على الكثير من الاهتمام الآن، فقم بالتخلص منه". وهذا غالباً ما يحذف عن طريق الخطأ تفاصيل مهمة ولكنها دقيقة.
يستخدم منهج VEN-VL نظام "خليط من الخبراء" (MoE). تخيل فريقاً من المحققين المتخصصين. بينما يعالج الذكاء الاصطناعي الصورة طبقة تلو الأخرى، يسأل "الموجه" (المدير): "من هو أفضل محقق لهذا الدليل المحدد؟"
- إذا كان الرمز (قطعة من الصورة) يتعلق بنسيج معين، فإنه يذهب إلى "محقق النسيج".
- إذا كان يتعلق بشكل عام، فإنه يذهب إلى "محقق الأشكال".

يقوم النظام فقط بالاحتفاظ بالرموز التي يجدها الخبراء مهمة حقاً. هذا يخلق ملخصاً أكثر كثافة. إنه ليس مجرد قائمة أقصر؛ بل هو قائمة حيث كل عنصر فيها مشحون بمعلومات عالية القيمة.

3. "الحفاظ على معلومات الهيكل" (SIP) – شبكة الأمان

عندما تتخلص من 90% من البيانات، فإنك تخاطر بفقدان الهيكل (كيفية ترابط الأشياء مع بعضها البعض).

الابتكار: يمنح VEN-VL الذكاء الاصطناعي "قوة إعادة البناء الخارقة". قبل أن يرمي قطعة من الصورة، يسأل القطع المتبقية: "هل يمكنك تذكر كيف كان شكل هذه القطعة المفقودة؟"
إنه يستخدم خدعة إشرافية (مثل معلم يصحح الواجب المنزلي) لضمان أنه حتى بعد تقليص الصورة، لا يزال بإمكان الذكاء الاصطناعي "إعادة بناء" الشكل والعلاقات الأصلية في ذهنه. هذا يمنع الذكاء الاصطناعي من الارتباك بشأن أماكن الأشياء في الصورة.

النتيجة

يزعم البحث أنه باستخدام استراتيجية "الإثراء ثم الضغط" هذه، يمكن لـ VEN-VL فهم الصور المعقدة باستخدام حوالي 7.5% إلى 10% فقط من الرموز البصرية (القطع الصغيرة من البيانات) التي تستخدمها النماذج العادية.

على الرغم من استخدام هذا القدر الضئيل من البيانات، إلا أنه في الواقع يؤدي بشكل أفضل من النماذج السريعة الأخرى في المهام الصعبة مثل قراءة النصوص داخل الصور أو الإجابة على أسئلة معقدة حول المشاهد. إنه يسد الفجوة بين كون المرء سريعاً (فعالاً) وذكياً (مؤثراً)، ويثبت أنك لست بحاجة لرؤية كل شيء لفهم كل شيء، طالما أنك ترى الأشياء الصحيحة بالطريقة الصحيحة.

ملخص تقني: VEN-VL

بيان المشكلة

أظهرت التطورات الأخيرة في النماذج البصرية اللغوية الضخمة (LVLMs) إمكانات كبيرة للفهم البصري المعقد، لا سيما عند الاستفادة من بنيات خليط الخبراء (MoE). ومع ذلك، تواجه الطرق الفعالة الحالية لتسريع هذه النماذج عقبة حرجة: تدهور الأداء الناتج عن القيود في السعة المعلوماتية والكثافة المعلوماتية.

تنقسم النهج الحالية عموماً إلى فئتين، تعاني كلتاهما من عيوب متأصلة:

التقليم القائم على المدخلات (Input-wise Pruning): وهي الطرق التي تضغط الميزات البصرية أحادية المسار إلى تمثيل مدمج قبل دخولها إلى النموذج اللغوي الكبير (LLM). غالباً ما تبالغ هذه الطرق في التركيز على نسب ضغط عالية، مما يؤدي إلى الفشل في إنشاء نمذجة دلالية كاملة ويقلل بشكل كبير من السعة والتنوع المعلوماتي.
التقليم القائم على الطبقات (Layer-wise Pruning): وهي الطرق التي تقلم الرموز (tokens) داخل النموذج اللغوي الكبير بناءً على خرائط الانتباه. تعتمد هذه الطرق على المحاذاة البصرية-النصية الخشنة في الطبقات المبكرة، مما يؤدي غالباً إلى إسقاط الرموز التي تحتوي على معلومات مكثفة (مثل الأجسام الصغيرة أو الأنسجة الدقيقة) الضرورية للدلالات الدقيقة في الطبقات اللاحقة.

التحدي الجوهري هو تمكين النماذج البصرية اللغوية الضخمة من تحقيق أداء فائق باستخدام عدد أقل، ولكن أكثر كثافة من المعلومات، من الرموز البصرية.

المنهجية: VEN-VL

يقترح المؤلفون إطار عمل VEN-VL (التحالف البصري لخليط الخبراء - Visual Ensemble MoE)، وهو مصمم لسد الفجوة بين الأداء والكفاءة من خلال اتباع مبدأ "الإثراء ثم التكثيف". تتكون البنية من ثلاثة مكونات رئيسية:

1. تحالف المعرفة متعدد الجوانب (MKE)

الهدف: إثراء السعة المعلوماتية.
بدلاً من ضغط مسار بصري واحد، يقوم MKE بتوحيد التمثيلات البصرية من منظورات مختلفة لتعزيز التنوع الدلالي مع كبح التكرار.

الاستخراج ثنائي المسار: يستخدم مشفرًا أساسيًا (مثل CLIP) للميزات المتوافقة دلاليًا ( $F_{main}$ )، ومشفرًا مساعدًا للميزات الدقيقة والمعززة للتفاصيل ( $F_{extra}$ ).
الضغط الواعي بالهيكل: بدلاً من الدمج البسيط، يستخدم MKE استراتيجية دمج تسلسلية:
- الدمج المكاني: يضغط المحور المكاني لكلا المسارين لتحويل المحلية إلى أبعاد القنوات، مما يحافظ على طوبولوجيا الشبكة ثنائية الأبعاد.
- الدمج الذاتي/المتقاطع: يستخدم عامل دمج ثنائي الأطراف لتحديد أعلى $k$ من تشابهات جيب التمام بين مجموعات الميزات المنفصلة، وتجميع الأزواج المتطابقة عبر المتوسط الموزون. هذا يعمل على كبح التكرار وتكملة الدلالات عالميًا.
النتيجة: مساحة بصرية موحدة ومدمجة ( $V$ ) تحتفظ بسعة وتنوع معلوماتي عالٍ.

2. تحالف الرموز الهرمي (HTE)

الهدف: تعزيز الكثافة المعلوماتية.
يعمل HTE داخل الطبقات العميقة للنموذج اللغوي الكبير، مستفيدًا من الخصوصية المتأصلة في بنية خليط الخبراء (MoE) لتنقية التوزيع البصري تدريجيًا.

MoE بصري متخصص: يقدم الإطار مجموعة من الخبراء خفيفي الوزن يتم تنشيطهم حصريًا للرموز البصرية لالتقاط دلالات بصرية محددة، إلى جانب خبير عالمي ( $E_{global}$ ) يحافظ على قدرات الاستدلال العام.
التوجيه التكيفي: تعمل آلية بوابة (Top- $k$ ) على توجيه الرموز البصرية ديناميكيًا إلى الخبراء الأكثر ملاءمة بناءً على محتواها الدلالي.
آلية البوابة الاختزالية: على عكس الطرق التي تعتمد على خرائط الانتباه الخشنة، يستخدم HTE درجات تنشيط التوجيه كمقياس لبروز الرمز (saliency). يتم الاحتفاظ بالرموز ذات البروز العالي (التي تتطلب معالجة موجهة)، بينما يتم تقليم الرموز ذات الدرجات المنخفضة (التافهة أو المكررة).
النتيجة: زيادة تدريجية في الكثافة المعلوماتية عبر الطبقات، مما يضمن تركيز الحوسبة في الطبقات العميقة فقط على الرموز الأكثر تكثيفًا.

3. الحفاظ على المعلومات الهيكلية (SIP)

الهدف: توفير التوجيه الاستقرائي.
لمنع فقدان المعلومات الهيكلية أثناء تقليم الرموز، يمنح SIP النموذج قدرات إعادة البناء.

الانتشار الدلالي: يتم إعادة تهيئة تضمينات الرموز المقلمة بخصائص هيكلية (RoPE). تقوم الرموز المكثفة المتبقية بنشر الدلالات الشمولية بشكل تكراري إلى هذه الرموز المقلمة في مساحة مشتركة حتى التقارب.
الإشراف البصري الصريح: يتم تطبيق خسارة إعادة بناء ( $\mathcal{L}_{qrec}$ ) بين التمثيل المعاد بناؤه والمدخلات الأصلية. ومن الأهمية بمكان أن هذا يستخدم الكمية (quantization) لخرائط القيم الدقيقة إلى تمثيلات منخفضة المستوى، لتجنب اعتماد النموذج المفرط على استرجاع قيم البكسل الدقيقة (والذي قد يؤدي إلى التركيز على الأنماط التافهة).
النتيجة: تضمن الرموز المحتفظ بها استعادة المعلومات المكثفة الأصلية إلى حد كبير، مما يوجه عملية الاختيار.

المساهمات الرئيسية

مبدأ "الإثراء ثم التكثيف": يقدم البحث فلسفة تصميم تبدأ بإثراء المساحة البصرية عبر MKE ثم تكثيفها تدريجيًا عبر HTE، لمعالجة السعة والكثافة المعلوماتية معًا.
إطار عمل VEN-VL: إطار عمل مبتكر لخليط الخباء البصري (Visual Ensemble MoE) يدمج MKE وHTE وSIP، مما يسد بفعالية الفجوة بين الأداء والكفاءة في النماذج البصرية اللغوية الضخمة.
الحفاظ على المعلومات الهيكلية (SIP): آلية توفر توجيهًا استقرائيًا لاختيار الرموز من خلال منح النموذج قدرات إعادة البناء، مما يضمن الحفاظ على السلامة الهيكلية أثناء الاختزال.
أداء يمثل أحدث ما توصل إليه العلم (SOTA): يحقق الإطار نتائج متفوقة في المهام متعددة الوسائط المعقدة باستخدام عدد أقل بكثير من الرموز (الاحتفاظ بنحو 7.5% إلى 10% فقط من الرموز البصرية).

النتائج التجريبية

قيم المؤلفون VEN-VL على عدة معايير مرجعية، بما في ذلك MMBench وTextVQA وMME وMMMU، باستخدام مختلف ركائز النماذج اللغوية الكبيرة (مثل Qwen2.5 وQwen3).

مكاسب الأداء: مقارنة بالخط المرجعي القوي TinyLLaVA (Qwen2.5-1.5B)، حقق VEN-VL تحسينات جوهرية: +8.1% في TextVQA، و**+5.2%** في MMB، و**+6.8%** في MMBCN، على الرغم من الاحتفاظ بنحو 10% فقط من الرموز البصرية.
الكفاءة: في المقارنات مع طرق تقليم الرموز الأخرى (مثل PruMerge وFastV) في إعدادات عادلة (باستخدام ركيزة Qwen3-0.6B)، تفوق VEN-VL عليها بشكل كبير مع الاحتفاظ بـ 7.5% فقط من الرموز. على سبيل المثال، حقق متوسط درجة قدره 50.1 مقارنة بـ 40.9 لـ PruMerge، مع زيادة يمكن السيطرة عليها في العمليات الحسابية (FLOPs) بالنسبة لمكسب الأداء.
القابلية للتوسع: أظهر التصميم توافقًا قويًا مع أطر MoE الموجودة (مثل Kimi-VL)، مما يظهر إمكانية التوسع لنماذج أكبر مع الحد الأدنى من فجوة الأداء وزيادات كبيرة في سرعة الاستنتاج.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة MKE إلى تقليل متوسط الأداء، مما يؤكد الحاجة إلى الإثراء متعدد الجوانب.
- تطبيق HTE في الطبقات الضحلة فقط أو عبر جميع الطبقات (Dense) أعطى نتائج دون المستوى؛ حيث كان تطبيق "النصف الثاني" (الطبقات العميقة) هو الأكثر فعالية.
- أدت إزالة SIP أو استخدام خسارة إعادة بناء MSE القياسية ( $\mathcal{L}_{rec}$ ) بدلاً من الخسارة الكمية ( $\mathcal{L}_{qrec}$ ) إلى انخفاض الأداء، مما أكد ضرورة التوجيه القائم على الطوبولوجيا.

الأهمية والادعاءات

يدعي البحث أن VEN-VL يعالج بفعالية عقبة السعة والكثافة المعلوماتية في النماذج البصرية اللغية الضخمة الحالية. من خلال توحيد التمثيلات البصرية متعددة المنظورات واستخدام موجهات MoE التكيفية للاختيار الديناميكي للرموز، يسمح إطار العمل للنماذج بأداء مهام فهم بصري معقدة بجزء بسيط من الرموز البصرية المطلوبة في النهج القياسية.

يضع المؤلفون VEN-VL كخطوة مهمة نحو فهم متعدد الوسائط قابل للتوسع وفعال، موضحين أن الأداء العالي لا يستلزم بالضرورة أعدادًا كبيرة من الرموز إذا تم الحفاظ على الكثافة المعلوماتية والسلامة الهيكلية من خلال آليات التحالف والتقليم المتخصصة. ويقرون بأنه بينما يعد التحسين الخوارزمي قويًا، فإن ترجمة تخفيضات العمليات الحسابية (FLOPs) النظرية إلى تسريع حقيقي في نهاية الطرف (end-to-end) يتطلب المزيد من الجهود على مستوى الأنظمة (مثل تحسينات النواة/Kernel optimizations).