Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin
تقترح هذه الورقة البحثية "تنبؤ انتباه الطبقة المتوسطة" (MAP)، وهي طريقة تحدد ديناميكيًا طبقات الانتباه المثلى الخاصة بكل عينة وتعمل على تقطيرها في متنبئ خفيف الوزن لتقليص الرموز البصرية قبل معالجتها بواسطة النموذج اللغوي، مما يحقق تسريعًا في الأداء بنسبة 3.09 ضعفًا من البداية إلى النهاية مع الحفاظ على 97.5% من الأداء على نموذج LLaVA-NeXT-7B.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يرى العالم ويتحدث عنه في نفس الوقت. هذا هو عالم نماذج اللغات الكبيرة متعددة الوسائط (MLLMs). فكر في هذه النماذج كأنها محققون بارعون يمكنهم النظر إلى صورة والإجابة على أسئلة حولها، مثل "ما هو لون طوق الكلب؟" أو "لماذا يركض الشخص؟". للقيام بذلك، لا يكتفي الروبوت بمجرد "النظر" إلى الصورة؛ بل يقوم بتفكيكها إلى آلاف القطع الرقمية الصغيرة من الألغاز التي تسمى الرموز البصرية (visual tokens). كل رمز هو قطعة صغيرة من المعلومات حول جزء من الصورة.
المشكلة هي أن هذه الروبوتات جائعة للغاية. لكي تحصل على نظرة جيدة حقاً على صورة ما، قد تحتاج إلى معالجة آلاف الرموز هذه. الأمر يشبه محاولة قراءة موسوعة كاملة للعثور على الإجابة لسؤال بسيط حول قبعة قطة. هذا يستغرق الكثير من الوقت والطاقة (قدرة حوسبية). لقد حاول العلماء معرفة كيفية جعل هذه الروبوتات أسرع عن طريق التخلص من قطع الألغاز غير المفيدة قبل أن تبدأ في القراءة حتى. يسمى هذا تقليم الرموز البصرية (visual token pruning). الحيلة تكمكمن في معرفة أي القطع يجب الاحتفاظ بها وأيها يجب رميها. إذا رميت القطعة الخطأ، سيصاب الروبوت بالارتباك. وإذا احتفظت بالكثير منها، فسيظل بطيئاً. السؤال الكبير هو: كيف نعرف بالضبط أي قطع الصورة هي الأكثر أهمية للسؤال المحدد المطروح؟
المشكلة: المقاس الواحد لا يناسب الجميع
اكتشف الباحثون وراء هذه الورقة البحثية، بقيادة يوياو صن وتاو دينج، خللاً محيراً في الطريقة التي نحاول بها حالياً مساعدة هذه الروبوتات في تقرير ما تحتفظ به.
سابقاً، اعتقد العلماء أنه إذا نظروا إلى "انتباه" الروبوت (طريقة فنية لقول "ما الذي يركز عليه الروبوت") من طبقة وسطى محددة في دماغه، فيمكنهم العثور على قطع الصور الأكثر أهمية. كان الأمر يشبه قول: "مهلاً أيها الروبوت، انظر فقط إلى ما كنت تفكر فيه في منتصف عملية التفكير الخاصة بك، واحتفظ بقطع الصور تلك".
لكن المؤلفين وجدوا أن نهج "المقاس الواحد الذي يناسب الجميع" هذا مكسور. تخيل أنك تنظر إلى صورة لشاطئ.
- إذا سأل شخص ما: "ما هو لون الرمل؟"، فإن دماغ الروبوت يضيء على الرمل في منتصف عملية تفكيره.
- إذا سأل شخص ما: "ما هو لون السماء؟"، فإن دماغ الروبوت يضيء على السماء، ولكن ربما في مرحلة مختلفة من تفكيره.
أظهر الباحثون أن الطبقة "الأفضل" للدماغ التي يجب التحقق منها تعتمد تماماً على السؤال المحدد. أحياناً تكون الإجابة في الطبقة 10، وأحياناً في الطبقة 20. استخدام طبقة ثابتة يشبه محاولة استخدام مفتاح واحد لكل باب في مبنى؛ فهو يعمل لبعضها، لكنه يفشل مع البعض الآخر.
علاوة على على ذلك، كانت هناك مشكلة ثانية وأكبر. لمعرفة أي طبقة كانت "الأفضل" لسؤال معين، كان على الروبوت معالجة الصورة الكاملة عبر كل تلك الطبقات أولاً. إنه يشبه محاولة العثور على أفضل طريق للوصول إلى المدرسة عبر قيادة الطريق بأكمله أولاً، فقط لترى أي منعطف كان الأفضل. بحلول الوقت الذي تعرف فيه أي القطع يجب الاحتفاظ بها، تكون قد أهدرت بالفعل كل الوقت والطاقة التي كنت تحاول توفيرها!
الحل: المحقق "تباين السؤال"
لحل هذه المشكلة، اقترح الفريق طريقة جديدة تسمى MAP (تنبؤ انتباه الطبقة الوسطى). بدلاً من جعل الروبوت يقوم بالعمل الشاق أثناء المحادثة الفعلية، علموا مساعداً صغيراً وسريعاً للغاية أن يخمن ما الذي كان الروبوت سيركز عليه.
إليك كيف دربوا هذا المساعد:
خدعة "التباين" (QCTS): توصلوا إلى طريقة ذكية لاختيار "المعلم" المناسب لكل سؤال. أخذوا صورة وسألوا الروبوت شيئين:
- السؤال أ: السؤال الحقيقي (مثلاً: "ما هو لون القارب؟").
- السؤال ب: سؤال ممل وعام (مثلاً: "ماذا يوجد في هذه الصورة؟").
ثم قارنوا بين انتباه الروبوت لكل من السؤالين. الطبقات التي تغير فيها تركيز الروبوت أكثر بين السؤالين هي الطبقات التي اهتمت حقاً بالتفاصيل المحددة للقارب. هذه الطريقة، التي تسمى اختيار المعلم عبر تباين السؤال (QCTS)، تعمل مثل كشاف الضوء، حيث تحدد فوراً الجزء الأكثر إثارة في دماغ الروبوت بخصوص السؤال المحدد.
المتنبئ خفيف الوزن: بمجرد معرفة أي طبقة كانت هي "النجمة" لسؤال معين، لم يحتفظوا بتلك الطبقة الثقيلة. بدلًا من ذلك، علموا متنبئاً صغيراً وخفيف الوزن لمحاكاة سلوك تلك الطبقة النجمية. هذا المتنبئ صغير وسريع جداً لدرجة أنه يمكنه النظر إلى الصورة والسؤال قبل أن يبدأ الروبوت الكبير في التفكير، ويقول فوراً: "احتفظ بـ 5% فقط من قطع الصورة، وارمِ الباقي".
النتائج: سريع، خفيف، وذكي
اختبر الفريق هذا النظام الجديد على عدة أدمغة روبوتية مختلفة (MLLMs) ومجموعة واسعة من الأسئلة الصعبة. كانت النتائج مبهرة.
- السرعة: في أحد النماذج التي اختبروها (LLaVA-NeXT-7B)، جعلت MAP الروبوت أسرع بمقدار 3.09 مرة من البداية إلى النهاية. هذا يشبه تحويل مشية مدتها 10 دقائق إلى ركض لمدة 3 دقائق.
- الكفاءة: تمكنوا من التخلص من 94.4% من الرموز البصرية (الاحتفاظ بـ 5.56% منها فقط) ومع ذلك حصل الروبوت على 97.5% من الإجابات الصحيحة التي كان سيحصل عليها مع الصورة الكاملة.
- الاختيار الذكي: على عكس الطرق الأخرى التي تكتفي بالتخمين أو تستخدم قاعدة ثابتة، ضمنت قاعدة "التنوع" الخاصة بـ MAP أنه حتى عند الاحتفاظ بعدد قليل جداً من الرموز، فإنه لن يختار قطعاً متشابهة فحسب. بل اختار قطعاً مختلفة عن بعضها البعض ولكنها لا تزال ذات صلة بالسؤال، مما يضمن عدم تفويت الروبوت لأي تفاصيل حاسمة.
لماذا يهم هذا الأمر؟
هذه الورقة البحثية لا تقترح مجرد فكرة رائعة؛ بل تقدم أداة عاملة تحل عقبة حقيقية. من خلال إثبات أن "الطبقة الأفضل" تتغير لكل سؤال، وأنه يمكننا التنبؤ بها دون القيام بالعمل الشاق أولاً، تسمح MAP لهذه النماذج الذكية (AI) القوية بالعمل بشكل أسرع بكثير على أجهزة الكمبيوتر القياسية. إنها تشبه إعطاء أمين مكتبة بطاقة فهرسة سحرية تخبره بالضبط أي كتاب يجب أن يسحبه من الرف قبل أن يمشي حتى إلى المكتبة، مما يجنبه مسح كل كتاب موجود على الجدران.
يوضح المؤلفون أنه باستخدام هذه الطة، يمكننا الحصول على كل شيء في آن واحد: يمكننا الحفاظ على ذكاء الروبوت عالياً مع جعله أسرع بكثير وأقل تكلفة في التشغيل. وهذا يشير إلى أن مستقبل الذكاء الاصطناعي لا يتعلق فقط بجعل الأدمغة أكبر وأثقل، بل بتعليمها كيف تكون أكثر ذكاءً فيما تولي له اهتمامها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.