Decoupled Similarity for Task-Aware Token Pruning in Large Vision-Language Models
تقترح الورقة البحثية DeSAP، وهي طريقة مبتكرة لتقليم الرموز (token pruning) لنماذج الرؤية واللغة الكبيرة التي تستخدم التشابه المنفصل لالتقاط الصلة الدقيقة بين الوسائط المتعددة، مما يتيح تقليماً واعياً بالمهام يقلل التكاليف الحسابية بشكل كبير مع الحفاظ على أداء عالٍ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يرى ويتحدث في آن واحد. تعطيه صورة وتسأله سؤالاً، مثل "ماذا يفعل القط؟". لكي يفهم الصورة، يقوم الروبوت بتفكيكها إلى آلاف قطع الأحجية الصغيرة التي تسمى "الرموز" (tokens). فكر في هذه الرموز كأنها بكسلات فردية، ولكن بدلاً من كونها مجرد ألوان، يحمل كل منها قدراً ضئيلاً من المعنى. المشكلة هي أنه بالنسبة لصورة عالية الدقة، قد يتعين على الروبوت معالجة آلاف الرموز هذه فقط للإجابة على سؤال بسيط. الأمر يشبه محاولة قراءة موسوعة كاملة لمعرفة ما إذا كانت تمطر بالخارج؛ حيث يغرق الروبوت في التفاصيل، ويصبح بطيئاً، ويستهلك كمية هائلة من الطاقة. هذا هو عالم نماذج الرؤية واللغة الكبيرة (LVLMs)، حيث الهدف هو جعل هذه الأدمغة العملاقة أسرع وأرخص في التشغيل دون أن تجعلها تفقد ذاكرتها. السؤال الكبير الذي يطرحه العلماء هو: كيف يمكننا التخلص من قطع الأحجية المملة وغير المفيدة قبل أن يبدأ الروبوت في التفكير، بحيث يركز فقط على الأشياء المهمة؟
هنا تظهر طريقة جديدة تسمى DeSAP (التقليم المبتعد عن التشابه - Decoupled Similarity-Aware Pruning)، والتي تعمل كمحرر فائق الكفاءة لأدمغة الروبوتات هذه. وجد الباحثون أن الطرق القديمة في تحديد قطع الأحجية التي يجب الاحتفاظ بها كانت خرقاء بعض الشيء. فبعض الطرق كانت تنظر إلى الصورة نفسها فقط، فتحتفظ بالأجزاء "المبهرة" مثل الألوان الزاهية أو الأشكال الكبيرة، لكنها غالباً ما تغفل عن التفاصيل المحددة التي يسأل عنها المستخدم. وطرق أخرى كانت تنتظر حتى يبدأ الروبوت في التحدث لتقرر ما هو مهم، ولكن بحلول ذلك الوقت، يكون الروبوت قد أضاع وقتاً بالفعل في معالجة الأشياء المملة.
تحل DeSAP هذه المشكلة عبر القيام بشيئين ذكيين في وقت واحد، وذلك في البły البداية مباشرة. أولاً، تنظر إلى الصورة لتجد الأجزاء "البارزة" (salient)—وهي الأشياء التي تبرز بشكل طبيعي، مثل كرة حمراء زاهية في حقل أخضر. لكنها لا تتوقف عند هذا الحد، بل تستمع أيضاً إلى السؤال قبل أن يبدأ الروبوت في عملية التفكير الكاملة. إنها تستخدم خدعة خاصة تسمى "التشابه المبتعد" (decoupled similarity) لمطابقة الكلمات المحددة في السؤال مع التفاصيل الدقيقة في الصورة. تخيل أنك تبحث عن "حقيبة جلدية" في صورة ما. الطرق القديمة قد تحتفظ بنصف الجزء السفلي من الصورة بالكامل لأن الحقيبة توجد عادة هناك، أو تحتفظ بالخلفية بأكملها لأنها "مهمة". أما DeSAP، فهي تعمل كالمحقق الذي يعرف تماماً ما الذي يبحث عنه؛ فهي تتجاهل الخلفية والأشخاص، وتُركز بدقة على الحقيبة الجلدية، حتى لو كانت صغيرة أو في مكان غريب.
تشير الورقة البحثية إلى أنه من خلال الجمع بين هذين القرينين—"البريق" البصري و"توجيه المهمة" المحدد من السؤال—يمكن للروبوت التخلص من ما يصل إلى 88.9% من قطع الأحجية (الاحتفاظ بحوالي 11% منها فقط) ومع ذلك يجيب على الأسئلة بنفس جودة رؤيته للصورة كاملة تقريباً. وفي الاختبارات على نماذج مثل LLaVA-1.5، لم تكتفِ هذه الطريقة بتوفير الوقت فحسب، بل جعلت الروبوت أسرع أيضاً (مما سرّع المعالجة الأولية بمقدار 2.3 مرة) واستخدمت طاقة حوسبة أقل بـ 9 مرات، مع الحفاظ على دقة الإجابات. ويجادل الباحثون بأن الطرق السابقة فشلت لأنها اعتمدت على مصدر واحد فقط للمعلومات، مما أدى غالباً إلى التحيز أو تفويت التفاصيل. في المقابل، تستخدم DeSAP استراتيجية مزدوجة المصدر تبقي الروبوت مركزاً على ما يهم أكثر، مما يثبت أن رؤية أقل هي أحياناً رؤية أوضح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.