🤖 AI

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

يُعد DUET-VLM إطار عمل متعدد الاستخدامات ثنائي المراحل يجمع بين ضغط الوعي بالوفرة المعتمد على الرؤية فقط وبين إسقاط الرموز الموجه بالنص البارز لتحقيق تقليص هجومي في الرموز المرئية (يصل إلى 89% للصور و93.4% للفيديو) مع الحفاظ على دقة النماذج اللغوية البصرية أو حتى تجاوزها مقارنة بالنماذج الأساسية.

المؤلفون الأصليون: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً جداً (نموذج لغة ورؤية - VLM) بارعاً في الإجابة على الأسئلة المتعلقة بالصور ومقاطع الفيديو. لكن هناك مشكلة: هذا المساعد جائع للغاية.

في كل مرة تعرض له صورة، يحاول أكل كل بكسل بمفرده كلقمة طعام منفصلة. قد تحتوي الصورة عالية الدقة على آلاف من هذه "اللقم" (الرموز/Tokens). وإذا عرضت له فيديو، سيصبح جوعه لا يشبع. هذا يجعل المساعد بطيئاً، ومكلف التشغيل، ويصعب وضعه في هاتفك أو حاسوبك المحمول.

تقدم الورقة البحثية DUET-VLM، وهي طريقة جديدة لإطعام هذا المساعد ليبقى شبعاناً وذكياً، ولكن يأكل طعاماً أقل بكيد. فكر في الأمر كأنه "نظام غذائي ذكي" من مرحلتين.

المشكلة: "بوفيه" البكسلات

حالياً، عندما ينظر الذكاء الاصطناعي إلى صورة، فإنه يرى بوفيه ضخماً مكوناً من 576 (أو حتى 2,800+) من قطع الطعام الصغيرة. يحاول مضغ كل واحدة منها، حتى بكسلات الخلفية المملة التي لا تهم. هذا يهدر الطاقة والوقت.

المحاولات السابقة لإصلاح ذلك كانت تشبه نادلاً غير ماهر:

الطريقة (أ): "لنقم بهرس كل الطعام معاً في عصير سموذي واحد كبير." (دمج مبكر جداً). النتيجة: تفقد نكهة التفاصيل المحددة.
الطريقة (ب): "لنرمِ نصف الطبق بشكل عشوائي فحسب." (حذف الرموز بشكل موحد). النتيجة: قد ترمي بالخطأ الجزء الأهم من الوجبة.

الحل: نظام "DUET" الغذائي

يقترح المؤلفون نهجاً ثنائي المراحل، يشبه نظام تصفية من مرحلتين.

المرحلة الأولى: "المصنف الذكي" (مشفر الرؤية - Vision Encoder)

قبل أن يصل الطعام إلى الدماغ الرئيسي، يمر عبر مصنف ذكي.

التشبيه: تخيل أن لديك كومة من 500 قطعة ليجو (Lego). بعضها يمثل الهيكل الأساسي للقلعة (الرموز "المهيمنة")، وبعضها الآخر مجرد قطع حمراء متطابقة مبعثرة على الأرض (الرموز "الفائضة").
ما يفعله DUET: بدلاً من الاحتفاظ بـ 500 قطعة كاملة، فإنه يختار الـ 50 قطعة الأكثر أهمية التي تمسك القلعة معاً. ثم يأخذ الـ 450 قطعة المتبقية ويلصقها في 10 حزم صغيرة ومنظمة (عناقيد/Clusters).
النتيجة: بدلاً من 500 قطعة منفصلة، أصبح لديك الآن 60 عنصراً (50 قطعة رئيسية + 10 حزم). لم تفقد شكل القلعة، لكنك قللت الفوضى بنسبة 88%.

المرحلة الثانية: "الطاهي السياقي" (العمود الفقري اللغوي - Language Backbone)

الآن، يذهب الطعام المختزل إلى الدماغ الرئيسي (النموذج اللغوي)، الذي يقرأ سؤالاً مثل: "ما الرقم الموجود على قميص اللاعب؟"

التشبيه: الدماغ يشبه طباخاً يقرأ وصفة. هو يعلم أنه ليس بحاجة لتذوق الحساء بأكه ليعرف ما إذا كان مالحاً؛ يحتاج فقط لتذوق ملعقة بالقرب من وعاء الملح.
ما يفعله DUET: بينما يقرأ الذكاء الاصطناعي السؤال، فإنه ينظر إلى العناصر الـ 60 من المرحلة الأولى. ويسأل نفسه: "أي من هذه العناصر يساعدني في الإجابة على السؤال؟"
- إذا كان السؤال عن رقم القميص، يقول الذكاء الاصطناعي: "تجاهل الأشجار والخلفية والسماء. احتفظ باللاعب والقميص".
- يقوم تدريجياً بحذف الحزم والقطع غير ذات الصلة بينما يتعمق في عملية الاستنتاج.
النتيجة: بحلول الوقت الذي يقدم فيه الذكاء الاصطناعي إجابة، قد يكون ينظر فقط إلى 10 أو 20 عنصراً، لكنه احتفظ بالقطع المحددة المطلوبة لحل اللغز.

لماذا يعد هذا أمراً هاماً؟

اختبر المؤلفون هذا النظام على نماذج ذكاء اصطناي شهيرة (مثل LLaVA و Video-LLaVA) ووجدوا نتائج مذهلة:

كفاءة فائقة: لقد قللوا كمية البيانات التي يتعامل معها الذكاء الاصطناعي بنسبة 67% إلى 89%. هذا يشبه تقليل فاتورة البقالة الخاصة بك بنسبة 80% دون أن تشعر بالجوع.
لا يزال ذكياً جداً: حتى مع بيانات أقل بكثير، حافظ الذكاء الاصطناعي على 99% من دقته. وفي بعض الحالات، ولأنه لم يتشتت بـ "الأكل غير الصحي" (البكسلات الفائضة)، فقد أدى أداءً أفضل مما كان عليه سابقاً.
يعمل على الفيديوهات أيضاً: مقاطع الفيديو هي وحوش بيانات ضخمة. نجح DUET-VLM في تقليل بيانات الفيديو بأكثر من 90% ومع ذلك فهم القصة بشكل مثالي.

الخلاصة

DUET-VLM يشبه منح الذكاء الاصطناعي نظارات ذكية. بدلاً من التحديق في العالم بأكمله بعيون واسعة وغير مركزة، فإنه يتعلم كيف يركز على التفاصيل المهمة ويتجاهل الضجيج.

الطريقة القديمة: "أنا أرى كل شيء، لذا يجب أن أفكر في كل شيء." (بطيئة، ومكلفة).
طريقة DUET: "أنا أرى الأشياء المهمة، لذا أفكر في ذلك فقط." (سريعة، رخيصة، وذكية تماماً).

هذا يعني أنه يمكننا تشغيل نماذج ذكاء اصطناعي قوية على أجهزة أصغر، وبسرعة أكبر، وبتكلفة أقل، دون التضحية بمدى ذكائها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "DUET-VLM: تقليل الرموز الموحد ثنائي المراحل والفعال لتدريب واستنتاج نماذج الرؤية واللغة (VLM)."

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) قدرات استدلال مذهلة، لكنها تعاني من تكاليف حوسبية عالية بسبب التشفير الكثيف للرموز البصرية (Dense Visual Tokenization).

عنق الزجاجة: تولد الصور عالية الدقة آلاف الرموز البصرية (على سبيل المثال، يولد نموذج LLaVA-NeXT أكثر من 2,800 رمز لصورة واحدة)، مما يؤدي إلى تكاليف انتباه تربيعية ( $O(N^2)$ ) في المحولات (Transformers). وهذا يخلق اختناقات في الذاكرة وزمن الاستجابة (Latency).
محدودية الطرق الحالية: تندرج أساليب الكفاءة الحالية عموماً تحت فئتين، لكل منهما عيوب كبيرة:
- الضغط من جانب الرؤية (الدمج المبكر - Early Merging): طرق مثل VisionZip أو PruMerge تقوم بدمج الرموز مبكراً في مشفر الرؤية. وبينما تقلل هذه الطرق من التكرار، إلا أنها غالباً ما تخاطر بفقدان المعلومات عبر الدمج المبكر جداً أو باستخدام استراتيجيات ثابتة/استدلالية تفتقر إلى التكيف الدلالي.
- التقليم من جانب اللغة (الإسقاط المتأخر - Late Dropping): طرق مثل PyramidDrop أو FastV تقوم بإسقاط الرموز تدريجياً داخل الهيكل اللغوي الأساسي. ومع ذلك، فإنها غالباً ما تسقط الرموز بشكل موحد أو تفتقر إلى آلية لتحسين التمثيل البصئي الأولي بشكل مشترك مع السياق اللغوي.
الفجوة: هناك نقص في إطار عمل موحد يُحسن بشكل مشترك إزالة التكرار والاحتفاظ بالسياق عبر كل من هياكل الرؤية واللغة.

2. المنهجية: DUET-VLM

يقترح المؤلفون DUET-VLM، وهو إطار عمل مزدوج المراحل وقابل للتوصيل والتشغيل (Plug-and-play)، يعمل في مرحلتين متكاملتين لإدارة الرموز البصرية بكفاءة.

المرحلة الأولى: الدمج من الرؤية إلى الرؤية (V2V Merging) (الضغط الواعي بالتكرار)

تحدث هذه المرحلة داخل مشفر الرؤية (Vision Encoder) قبل الاندماج عبر الوسائط.

اختيار الرموز المهيمنة: باستخدام خريطة الانتباه الذاتي (Self-attention map) من مشفر الرؤية (مثل CLIP)، يحدد النموذج مجموعة فرعية مكونة من $k_1$ من الرموز "المهيمنة" التي تمتلك تقارباً بصرياً-بصرياً عالياً.
تجميع العناقيد المحلية (ابتكار جديد): بدلاً من حساب المتوسط العالمي للرموز المتبقية (والذي قد يؤدي لتخفيف الميزات دقيقة التفاصيل)، يقوم DUET-VLM بتقسيم الرموز المتبقية إلى $k_2$ $k_{2}$ من العناقيد الصغيرة.
- اختيار المركز (Centroid Selection): يتم اختيار مراكز العناقيد بناءً على ترتيب درجات الانتباه الذاتي (V2V).
- المتوسط المحلي: يتم حساب متوسط الجيران ضمن عرض عنقود ثابت $w$ لتشكيل "رمز سياقي" واحد.
- الإسقاط المبكر: الرموز التي لا تقع ضمن هذه العناقيد المحلية يتم إسقاطها فوراً، مما يقلل عدد الرموز قبل دخولها إلى النموذج اللغوي.
الهدف: الحفاظ على التنوع الهيكلي والإشارات دقيقة التفاصيل مع إزالة الضوضاء الخلفية.

المرحلة الثانية: التقليم من النص إلى الرؤية (T2V Pruning) (الإسقاط الموجه بالبروز)

تحدث هذه المرحلة داخل الهيكل اللغوي (LLM) أثناء الاستنتاج أو التدريب.

تحديد الرموز البارزة: يحدد النموذج مجموعة فرعية من الرموز النصية "البارزة" ( $S$ ) من المطالبة (Prompt) المدخلة. ومن المهم ملاحظة أن الرمز النصي الأخير (Sink token) يُدرج دائماً لضمان استقرار الانتباه، لكن الطريقة تجرب أيضاً استخدام رموز بارزة أخرى بناءً على الاستعلام.
التقليم التدريجي عبر الطبقات: تتم معالجة الرموز البصرية عبر طبقات الـ LLM. في مراحل محددة (طبقات)، يحسب النموذج درجات الانتباه المتقاطع (Text-to-Vision T2V) بين الرموز النصية البارزة والرموز البصرية المحتفظ بها.
الترتيب والإسقاط (Rank-and-Drop): يتم ترتيب الرموز البصرية حسب درجات الانتباه الخاصة بها. ويتم إسقاط الرموز الأقل أهمية تدريجياً ( $\lfloor \lambda \cdot N_l \rfloor$ ) في كل مرحلة، مما يضمن أن الطبقات الأعمق تنتبه فقط إلى المناطق ذات الصلة دلالياً والمحددة بواسطة الاستعلام النصي.

3. المساهمات الرئيسية

التحسين المشترك للرؤية واللغة: على عكس الطرق السابقة أحادية الجانب، يقوم DUET-VLM بربط هياكل الرؤية واللغة عبر واجهة قابلة للاشتقاق (Differentiable interface). وهذا يسمح للتمثيلات البصرية والسياق اللغوي بالتكيف معاً أثناء تقليل الرموز، مما يحافظ على التوافق القوي عبر الوسائط.
الضغط البصري ثنائي المراحل: يوفر الإطار دمجاً هيكلياً في المرحلة المبكرة (V2V) مع تقليم دلالي في المرحلة المتأخرة (T2V). يضمن هذا الحفاظ على التفاصيل منخفضة المستوى في البداية، بينما يتم إزالة التكرار مع تعمق عملية الاستدلال.
تجميع العناقيد المحلية: تعديل مبتكر لدمج الرموز يستبدل المتوسط العالمي بتجميع الجوار المحلي، مما يمنع تخفيف الميزات المعلوماتية ذات التردد المنخفض.
الكفاءة الواعية بالتدريب: تم تصميم الطريقة لتكون فعالة ليس فقط للاستنتاج ولكن أيضاً للتدريب، مما يسمح بالتكيف القوي مع المدخلات البصرية المختزلة دون التضحية بالدقة.

4. النتائج التجريبية

قام المؤلفون بتقييم DUET-VLM على نماذج LLaVA-1.5-7B، و LLaVA-NeXT-7B، و Qwen-2.5-VL-7B، و Video-LLaVA-7B عبر عدة اختبارات معيارية (POPE, GQA, TextVQA, MME, SQA, و datasets لأسئلة الفيديو).

أداء الاستنتاج فقط (LLaVA-1.5-7B):
- تقليل الرموز بنسبة 67% (192 رمزاً): يحافظ على 99.0% من دقة النموذج الأساسي (متفوقاً على VisionZip بنسبة 97.7% و PyramidDrop بنسبة 96.4%).
- تقليل الرموز بنسبة 89% (64 رمزاً): يحتفظ بـ 95.4% من دقة النموذج الأساسي.
- تسريع السرعة: يحقق تسريعاً يصل إلى 1.16× في الاستنتاج.
أداء التدريب:
- عند التدريب باستخدام DUET-VLM، يحقق النموذج دقة 99.7% عند تقليل 67%، و 97.6% عند تقليل 89%، متفوقاً على الطرق السابقة (SoTA).
- وقت التدريب: يقلل وقت التدريب بنسبة 31% (عند 128 رمزاً) مع الحفاظ على دقة تزيد عن 99%.
فهم الفيديو (Video-LLaVA-7B):
- عند تقليل الرموز بنسبة 53.1%، يتفوق DUET-VLM على النموذج الأساسي، محققاً دقة أعلى من 100%.
- عند تقليل حاد بنسبة 93.4%، يحتفظ بـ 97.6% من الدقة، وهو ما يتفوق بشكل كبير على الطرق الأخرى (التي تهبط إلى حوالي 45-91%).
التعميم: تتوسع الطريقة بشكل جيد مع الهياكل الأحدث مثل Qwen-2.5-VL-7B، حيث تحافظ على دقة تزيد عن 98% حتى عند معدلات ضغط عالية.

5. الأهمية

تحول في النموذج المعرفي (Paradigm Shift): يثبت DUET-VLM أن الإدارة الذكية للرموز يمكن أن تضاهي أو حتى تتجاوز توسيع النماذج التقليدي من حيث الدقة. وهو يثبت أن الضغط القوي لا يتطلب مقايضة في الأداء إذا كان الضغط واعياً بالسياق وثنائي المراحل.
الكفاءة: يوفر مساراً عملياً لنشر نماذج رؤية ولغة (VLMs) مدمجة وعالية الأداء ضمن نفس الميزانية الحوسبية، مما يعالج قيود الذاكرة وزمن الاستجابة في النماذج اللغوية الكبيرة متعددة الوسائط الحالية.
تعدد الاستخدامات: كإطار عمل "قابل للتوصيل والتشغيل"، يمكن دمجه في مختلف بنيات نماذج الرؤية واللغة (للصور والفيديو) دون الحاجة إلى تغييرات جوهرية في البنية، مما يجعله قابلاً للتوسع بشكل كبير لأنظمة المستقبل متعددة الوسائط.

في الختام، يسد DUET-VLM الفجوة بين التكرار البصري والأهمية الدلالية، ويقدم حلاً قوياً لتعلم متعدد الوسائط يتسم بالكفاءة، حيث يحافظ على المعلومات الحرجة مع تقليل العبء الحوسبي بشكل جذري.