Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

في عالم الذكاء الاصطناوي، تبرز فئة متنامية من النماذج المصممة للنظر إلى الصور وفهمها، تماماً كما يفعل البشر. هذه الأنظمة، المعروفة باسم "محولات الرؤية" (Vision Transformers)، لا تقوم بمسح الصورة بكسل تلو الآخر في خط مستقيم، بل تقطع الصورة إلى العديد من الرقع المربعة الصغيرة، وتتعامل مع كل رقعة كقطعة منفصلة من المعلومات، أو ما يسمى "الرمز" (token). ثم يقوم النموذج بمعالجة كل هذه الرموز معاً، ويقدر مدى استحقاق كل منها للاهتمام لاتخاذ قرار نهائي. هذا النهج قوي للغاية في مهام مثل تحديد نوع معين من الطيور أو طراز نادر لسيارة، حيث قد يكون الفرق بين فئتين دقيقتين بسيطاً مثل انحناء المنقار أو شكل المصباح الأمامي. ومع ذلك، نظرًا لأن هذه النماذج تنظر إلى كل رقعة بمفردها، فقد تصبح بطيئة للغاية ومكلفة حاسوبياً، خاصة عند التعامل مع صور عالية الددق. ولتسريعها، طور المهندسون تقنية تسمى "تقليم الرموز" (token pruning)؛ وهي طريقة للتخلص من الرقع الأقل أهمية في وقت مبكر من العملية، والاحتفاظ فقط بالرقع الأكثر صلة لتوفير الوقت والطاقة. والسؤال الجوهي كان دائماً: كيف نقرر أي الرقع هي الأكثر أهمية؟

لسنوات، اعتمدت الطريقة القياسية لاتخاذ هذا القرار على إشارة محددة داخل النموذج، حيث تطلب من النظام فعلياً النظر إلى المكان الذي ينجذب إليه "تركيزه" بشكل طبيعي. افترض الباحثون أنه إذا كان النموذج يولي اهتماماً لرقعة ما، فإن تلك الرقعة لا بد أن تحتوي على التفاصيل الحاسمة للتعريف. غير أن دراسة جديدة تتحدى هذا الافتراض الذي ساد لفترة طويلة؛ إذ اكتشف الباحثون أن الطريقة المستخدمة لتقرير أي الرقع يجب الاحتفاظ بها من أجل السرعة، ليست بالضرورة هي نفس الطريقة التي تضمن أن النموذج ينظر بالفعل إلى الأجزاء الصحيحة من الكائن. ووجدوا أن النظام المُحسّن للاحتفاظ بالرقع التي تطابق الشكل المادي لطائر أو سيارة، غالباً ما ينتهي به الأمر باتخاذ قرارات موثوقة تماماً مثل النظام القياسي، ولكن بمنطق داخلي مختلف تماماً. في الواقع، يمكن لهذين الهدفين — الاحتفاظ بالأجزاء المادية الصحيحة والاحتفاظ بالمنطق الصحيح للإجابة النهائية — أن يسحبا في اتجاهات متعاقة، مما يعني أن الأداة المستخدمة لتسريع النموذج قد تخفي السبب الحقيقي وراء عمل النموذج.

قام الفريق وراء هذا البحث، ومقره جامعات في غانا، باختبار هذا الانفصال باستخدام "التصنيف البصري دقيق التفاصيل" (fine-grained visual classification)، وهو مجال مخصص للتمييز بين أشياء متشابهة جداً مثل موديلات مختلفة من الطائرات أو سلالات الطيور. استخدموا نسخة أصغر ومعيارية من نموذج "محول الرؤية"، واختبروه على ثلاث مجموعات بيانات معروفة: صور للطيور، والسيارات، والطائرات. كان هدفهم هو مقارنة طريقتين مختلفتين للحكم على جودة نظام التقليم. المقياس الأول نظر إلى "تغطية الأجزاء" (part coverage)، والذي يتحقق ببساه من أن الرقع التي احتفظ بها النموذج تتداخل فعلياً مع الأجزاء المادية الحقيقية للكائن، مثل أجنحة الطائرة أو شبكة السيارة. أما المقياس الثاني فقد نظر إلى "الأمانة" (faithfulness)، والتي تتحقق مما إذا كان قرار النموذج النهائي يظل كما هو سواء رأى الصورة الكاملة أو النسخة المقلمة. وإذا كان أسلوب التقليم جيداً حقاً، فيجب أن يؤدي بشكل جيد في كلا الجانبين.

اختبر الباحثون عدة استراتيجيات لتحديد الرقع التي يجب الاحتفاظ بها. استخدمت إحدى الاستراتيجيات إشارة "الاهتمام" القياسية، وهي الطريقة الافتراضية التي تستخدمها معظم الأنظمة اليوم. كما اختبروا استراتيجية جديدة نظرت إلى كيفية تغير الحالة الداخلية للنموذج عندما يتم تغيير المدخلات قليلاً، وهي تقنية تلتقط علاقة أعمق وأكثر مباشرة بين الصورة والإجابة النهائية. وعند تشغيل التجارب، كانت النتائج مفاجئة. فالاستراتيجية الجديدة، التي استخدمت هذه الإشارة الداخلية الأعمق، كانت أفضل بك mycket في الاحتفاظ بالرقع التي تغطي الأجزاء الفعلية للكائنات. ففي مجموعة بيانات الطائرات، على سبيل المثال، حسنت هذه الطالة الجديدة من تغطية أجزاء الطائرة الفعلية بأكثر من ست نقاط مئوية مقارنة بالطريقة القياسية. ومع ذلك، عندما تحققوا من "الأمانة" — أي قدرة النموذج المقلم على اتخاذ نفس القرار الصحيح مثل النموذج الكامل — وجدوا أن الطريقتين متطابقتان تقريباً. لم تجعل الطريقة الجديدة النموذج أقل موثوقية، بل جعلته ينظر إلى الأشياء الصحيحة بشكل متكرر أكثر دون تغيير حكمه النهائي.

يكشف هذا الاكتشاف عن فجوة خفية في كيفية تقييم هذه الأنظمة حالياً. لفترة طويلة، افترض المجال أنه إذا حافظ أسلوب التقليم على دقة النموذج، فإنه ينظر أيضاً إلى الأجزاء الصحيحة من الصورة. وتظهر الدراسة أن هذا ليس صحيحاً دائماً؛ إذ يمكن للنظام أن يكون دقيقاً بينما ينظر إلى الرقع الخاطئة، أو يمكن أن يكون دقيقاً بينما ينظر إلى الرقع الصحيحة ولكن باستخدام مسار داخلي مختلف للوصول إلى هناك. قدم الباحثون إطاراً جديداً لقياس هذه الفجوة، وهو ما يسمونه "الانفصال" (decoupling). ووجدوا أن هذه الفجوة تكون أكثر وضوحاً عندما ينظر النموذج إلى الصورة في مرحلة وسيطة محددة من معالجته. فإذا نظر النموذج مبكراً جداً أو متأخراً جداً في سلسلة المعالجة الخاصة به، فإن الفرق بين الطريقتين يتلاشى. كما وجدوا أن هذا التأثير يكون أقوى عندما يُجبر النموذج على أن يكون فعالاً للغاية، بحيث يحتفظ بجزء صغير فقط من رقع الصورة الأصلية.

كما استبعدت الدراسة بعناية احتمال أن تكون هذه التحسينات ناتجة ببساطة عن امتلاك الطريقة الجديدة لقوة حاسوبية أكبر أو معاملات إضافية للتعلم بها. فمن خلال مقارنة طريقتهم الجديدة بنسخة تمتلك نفس القدرة الإضافية ولكن لم يتم تدريبها باستخدام الإشارة الجديدة المحددة، أكدوا أن التحسن جاء من الطريقة المحددة التي عُلّم بها النموذج كيف ينظر إلى الصورة، وليس فقط من امتلاكه لأدوات أكثر. ووجدوا أن الطريقة القياسية، التي تعتمد على اهتمام النموذج الطبيعي، غالباً ما تفشل في التقاط الأجزاء الأكثر أهمية من الكائن عندما يُجبر النموذج على الكفاءة. وفي المقابل، اختارت الطريقة الجديدة باستمرار الرقع التي تتوافق مع السمات المادية التي يستخدمها البشر لتحديد الكائن.

هذا الاكتشاف مهم لأنه يغير كيفية بناء هذه الأنظمة والوثوق بها. فإذا أراد مطور إنشاء نظام سريع لتحديد أنواع الطيور، فلا يمكنه ببساطة افتراض أن طريقة التقليم القياسية كافية. فقد يحصل على نظام سريع يعمل، ولكنه قد يتجاهل الريش أو أشكال المناقير التي تحدد النوع. تشير الدراسة إلى أنه باستخدام إشارة تدريب مختلفة، يمكنهم الحصول على نظام بنفس السرعة والدقة، ولكنه ينظر بالفعل إلى منقار الطائر وأجنحته. ويؤكد الباحثون أن هذا ليس حلاً سحرياً يعمل في كل حالة؛ إذ يعتمد التأثير بشدة على الحجم المحدد للنموذج وكمية الصورة التي يتم الاحتفاظ بها. ومع ذلك، بالنسبة لأنواع النماذج الصغيرة والفعالة المستخدمة في العديد من التطبيقات الواقعية، يوفر النهج الجديد مساراً واضحاً لأداء أفضل.

وأشار الباحثون أيضاً إلى أن هذه الظاهرة ليست عالمية. فعندما اختبروا نسخة أكبر وأقوى بكثير من النموذج، تلاشت الفجوة بين الطريقتين. وهذا يشير إلى أن المشكلة خاصة بالنماذج الأصغر والأسرع التي تُستخدم غالباً في التطبيقات العملية. في هذه النماذج الأصغر، لا تكون الطريقة القياسية لتحديد ما يجب الاحتفاظ به دقيقة كما يمكن أن تكون. توفر الدراسة خارطة طريق واضحة للمهندسين: إذا كنت بحاجة إلى أن يكون نموذجك سريعاً وتحتاج أيضاً إلى أن ينظر إلى الأجزاء الصحيحة من الصورة، فعليك استخدام إشارة التدريب الجديدة. أما إذا كنت تهتم فقط بالسرعة والدقة النهائية، فقد تظل الطريقة القديمة تعمل، لكنك تأخذ مخاطرة بأن النموذج يتخذ قراراته لأسباب خاطئة.

في نهاية المط المطاف، يضفي هذا العمل مستوى جديداً من الوضوح على مجال الرؤية الحاسوبية. فهو يوضح أن الكفاءة والقدرة على التفسير ليستا دائماً شيئاً واحداً. يمكن للنموذج أن يكون فعالاً دون أن يكون شفافاً، ويمكن أن يكون شفافاً دون أن يكون فعالاً. ومن خلال فصل هذين الهدفين، منح الباحثون المجتمع العلمي طريقة أفضل لقياس وتحسين هذه الأنظمة. لقد أظهروا أنه مع التدريب الصحيح، يمكننا الحصول على الأمرين معاً: نظام سريع بما يكفي ليعمل على هاتف، ودقيق بما يكفي لتحديد طائر نادر، وصادق بما يكفي ليظهر لنا بالضبط الجزء الذي ينظر إليه من الطائر. وهذه خطوة مهمة نحو جعل الذكاء الاصطناعي ليس قوياً فحسب، بل مفهوماً وموثوقاً أيضاً.