TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

تخيل حاسوباً يحاول فهم صورة فوتوغرافية. للقيام بذلك، يقوم الجهاز بتفكيك الصورة إلى آلاف القطع الصغيرة، معتبراً كل قطعة منها وحدة معلومات متميزة. ومع ازدياد تطور هذه النماذج، تعلمت معالجة هذه القطع بتفاصيل مذهلة، ولكن هذا يأتي بتكلفة باهظة. فكلما زادت تفاصيل الصورة، زاد عدد القطع التي يجب على الحاسوب الاحتفاظ بها في ذاكرته قصيرة المدى لاستيعابها. وهذا يخلق عنق زجاجة: حيث ينفد من الحاسوب المساحة أو يستغرق وقتاً طويلاً في التفكير، خاصة عندما تكون الصورة عالية الدقة أو عندما تتطلب المحادثة إجابة طويلة ومفصلة. لسنوات، حاول الباحثون حل هذه المشكلة عبر تعليم الحاسوب تجاهل القطع الأقل أهمية في الصورة، آملين في الاحتفاظ بالقطع الذكية والتخلص من الباقي.

ومع ذلك، تشير دراسة جديدة إلى أن الطريقة التي كان العلماء يختبرون بها استراتيجيات "التجاهل" هذه كانت معيبة بشكل جوهري. لفترة طويلة، اعتمد المجال على اختبارات لا يتطلب فيها الحاسوب سوى تقديم إجابة من كلمة واحدة، مثل اختيار حرف من قائمة متعددة الخيارات أو قول "نعم" أو "لا". وقد اكتشف الباحثون وراء هذا العمل الجديد، والذي يسمى "TwinPrune"، أن هذه الاختبارات البسيطة تقيس فقط مدى فهم الحاسوب للصورة في بداية العملية تماماً. فهي تفشل في رصد ما يحدث عندما يتعين على الحاسوب الاستمرار في الحديث، مستخدماً ذاكرته لتوليد جمل طويلة. وفي الواقع، تظهر الدراسة أن إحدى الطرق قد تبدو مثالية في هذه الاختبارات البسيطة بينما تفشل تماماً عند مطالبتها بكتابة وصف طويل، لأن الاختبارات البسيطة لم تختبر فعلياً جزء الذاكرة من العملية.

ولإصلاح ذلك، طور الفريق طريقة جديدة لتحديد أي قطع من الصورة تستحق الاحتفاظ بها. فبدلاً من النظر إلى مدى بروز قطعة معينة من الصورة بالنسبة لسؤال محدد، نظروا إلى مدى تفرد القطعة مقارنة بجيرانها المباشرين. فإذا بدت قطعة من الصورة مشابهة جداً للقطع المحيطة بها، فمن المرجح أنها زائدة عن الحاجة ويمكن إزالتها بأمان. أما إذا بدت مختلفة، فمن المرجح أنها تحمل معلومات مهمة. يتم حساب درجة "الكثافة" هذه مرة واحدة في البداية وتُستخدم لوظيفتين مختلفتين: أولاً، تساعد الحاسوب على دمج قطع الصورة المتشابهة معاً قبل أن يبدأ التفكير، مما يوفر قدرة المعالجة. ثانياً، تساعد الحاسوب على اتخاذ القرار بشأن قطع المعلومات التي يجب التخلص منها من ذاكرته أثناء كتابة إجابة طويلة، مما يضمن الاحتفاظ بالتفاصيل الأكثر تفرداً وفائدة.

اختبر الباحثون هذا النهج على أنواع مختلفة من نماذج الرؤية واللغة، بدءاً من الأنظمة الصغيرة وصولاً إلى الأنظمة الضخمة التي تحتوي على مليارات المعلمات. وقارنوا طريقتهم مع أقوى التقنيات الموجودة باستخدام كل من الاختبارات القديمة البسيطة والاختبارات الجديدة الأكثر تطلباً والتي تتطلب إجابات طويلة. في الاختبارات البسيطة، أدت طريقتهم أداءً يضاهي أفضل المنافسين. ولكن في الاختبارات المتطلبة، حيث يتعين على الحاسوب توليد جمل كاملة، كان الفرق صارخاً. فبينما تسببت الطرق الأخرى في انهيار دقة الحاسوب عندما يُطلب منه أن يكون موجزاً، حافظت الطريقة الجديدة على دقة عالية حتى عند الاحتفاظ بجزء ضئيل فقط من بيانات الصورة الأصلية. على سبيل المثال، في اختبار مرجعي معين يتعلق بالنصوص داخل الصور، تفوقت الطريقة الجديدة على ثاني أفضل تقنية بنحو عشر نقاط مئوية عندما كانت الذاكرة مقيدة بشدة.

ولعل الأهم من ذلك، أن الدراسة كشفت أن الطريقة القديمة في الاختبار كانت تخفي مشكلة كبرى. فعندما قام الباحثون بإزالة جميع الذاكرة البصرية من الحاسوب أثناء مرحلة الكتابة، أظهرت الاختبارات البسيطة تغيراً طفيفاً في الأداء، بينما أظهرت اختبارات الإجابات الطويلة انخفاضاً هائلاً في الجودة. وقد أثبت هذا أن الاختبارات البسيطة كانت عمياء عن الشيء الأكثر أهمية للاستخدام في العالم الحقيقي: وهو القدرة على تذكر واسترجاع المعلومات عبر محادثة طويلة. لقد نجحت الطريقة الجديدة، من خلال استخدام قاعدة واحدة متسقة لإدارة كل من التفكير الأولي والذاكرة طويلة المدى، في تسريع المعالجة الأولية للحاسوب بأكثر من ثلاث مرات مع تقليص بصمة الذاكرة بشكل كبير.

تشير النتائج إلى أن المجال كان يعمل على تحسين المقياس الخاطئ. فمن خلال نقل التركيز إلى الاختبارات التي تتطلب إجابات كاملة وطويلة، أظهر الباحثون أنه من الممكن جعل هذه الحواسيب القوية أسرع وأكثر كفاءة دون التضحية بقدرتها على فهم المشاهد المعقدة. يعمل هذا النهج باستمرار عبر أحجام النماذج المختلفة، من الأجهزة الصغيرة إلى أكبر الحواسيب الفائقة، ولا يتطلب إعادة تدريب الحاسوب. إنه يقدم مساراً عملياً للمضي قدماً في نشر هذه الأنظمة المتقدمة على الأجهزة اليومية، مما يضمن قدرتها على التعامل مع الصور عالية الدقة والمحادثات الطويلة دون أن ينفد منها الوقود.