Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم العالم من خلال عرض صور عليه. ولكن للقيام بذلك، لا "يرى" الروبوت الصورة كما يراها البشر؛ بل يقوم بتفكيك الصورة إلى آلاف القطع الرقمية الصغيرة التي تسمى "الرموز" (tokens). فكر في هذه الرموز كأنها نوتات موسيقية فردية في أوركسترا ضخمة وفوضوية. على الروبوت أن يستمع إلى كل نوتة ليفهم الأغنية. ولكن هنا تكمن المشكلة: بالنسبة للصور عالية الدقة، تكون هذه الأوركسترا ضخمة جدًا لدرجة أنها تبطئ الروبوت، وتجعله ثقيل الحركة ومتعطشًا لذاكرة الكمبيوتر.

لقد حاول العلماء إصلاح ذلك عبر تعليم الروبوت تجاهل النوتات "المملة" — تلك التي يبدو أنها تكرر نفسها أو لا تحمل الكثير من المعنى. يُسمى هذا "تقليم الرموز" (token pruning). الأمر يشبه قائد أوركسترا يطلب من العازفين التوقف عن عزف النوتات التي تبدو متشابهة، على أمل أن تظل الموسيقى مثالية ولكنها تعمل بشكل أسرع بكثير. مؤخرًا، ساعدت أداة جديدة تسمى "EmbedLens" الباحثين على إدراك أن هذه الرموز ليست جميعها متشابهة. فبعضها "حي" (يحمل القصة الحقيقية للصورة)، وبعضها "خامد/غائر" (أنماط متكررة تجلس هناك فقط)، وبعضها "ميت" (ضجيج زائد عن الحاجة تمامًا). السؤال الكبير كان: إذا عرفنا أي الرموز هي "الميتة"، فهل يمكننا ببساًا رميها جميعًا لتسريع العملية؟

هذه الورقة البحثية، بعنوان "ليست كل الرموز الزائدة متشابهة"، تغوص في هذا السؤال تحديدًا. لقد أخذ الباحثون نظرة فاحصة على كيفية اتخاذ طرق التقليم المختلفة لقرار بشأن الرموز التي يجب قصها. واكتشفوا شيئًا مفاجئًا: الطرق التي تحاول قص الرموز "الميتة" لا تعمل دائمًا بشكل أفضل من تلك التي لا تفعل ذلك. في الواقع، تشير تجاربهم إلى أن حتى الرموز "الميتة" قد تكون تفعل شيئًا مهمًا في الكواليس، مثل الحفاظ على تماسك الأوركسترا. ومن خلال حماية هذه الرموز "الميتة" من الحذف، أصبح الروبوت في بعض الأحيان أفضل في الإجابة على الأسئلة، وليس أسوأ. اتضح أنه لمجرد أن الرمز يبدو عديم الفائدة بمفرده، لا يعني ذلك أنه من الآمن التخلص منه؛ فأحيانًا، يحتاج الجمع بأكمله للبقاء معًا لكي تبدو الموسيقى صحيحة.

قصة الأوركسترا الرقمية

لفهم سبب أهمية ذلك، دعونا ننظر إلى كيفية عمل نماذج الرؤية واللغة (VLMs) هذه. تخيل أن لديك روبوتًا يمكنه القراءة والرؤية. عندما تعرض عليه صورة قطة، يقوم "عين" الروبوت (مشفر الرؤية) بتفكيك تلك الصورة إلى قائمة طويلة من قطع البيانات الصغيرة. ثم يتم تسليم هذه القطع إلى "عقل" الروبوت (نموذج لغوي كبير) ليفهم ماذا تفعل القطة.

المشكلة هي أن صورة واحدة يمكن أن تولد مئات من هذه القطع. إذا كان لديك فيديو أو صورة مفصلة للغاية، فإن القائمة تصبح طويلة جدًا لدرجة تجعل الروبوت يشعر بالارتباك. يستغرق الأمر وقتًا طويلاً لمعالجة الجزء الأول من الصورة (ما يسمى بـ "زمن استجابة التجهيز المسبق" أو prefill latency)، ويستهلك الكثير من الذاكرة، ويكلف الكثير من الطاقة. ولإصلاح ذلك، طور الباحثون "تقليم الرموز". هذا يشبه محررًا ذكيًا ينظر إلى قائمة القطع ويقول: "حسنًا، لسنا بحاجة إلى 500 نسخة من نفس السماء الزرقاء؛ لنحتفظ بـ 50 نسخة فقط".

لفترة من الوقت، افترض الجميع أن القاعدة بسيطة: "احتفظ بالأشياء المثيرة للاهتمام، وارمِ الأشياء المملة". مؤخرًا، غيرت أداة تسمى EmbedLens قواعد اللعبة. فقد نظرت داخل عقل الروبوت ووجدت أن الرموز تنقسم إلى ثلاث مجموعات متميزة:

1. الرموز الحية (Alive Tokens): هي النجوم. تحمل التفاصيل المحددة للصورة، مثل "الفراء الناعم" أو "العشب الأخضر".
2. الرموز الخامدة/الغائرة (Sink Tokens): هي مثل الهمهمة في الخلفية. هي متكررة ولا تتحدث حقًا عن الصورة المحددة، لكنها مستقرة ودائمة الوجود.
3. الرموز الميتة (Dead Tokens): هي الضجيج المطلق. تبدو وكأنها لا تملك أي صلة بالصورة أو بالكلمات على الإطلاق.

التخمين المنطقي كان: "إذا كان لدينا رموز ميتة، فلنحذفها! إنها عديمة الفائدة!"

تجربة التقليم الكبرى

قرر مؤلفو هذه الورقة اختبار ذلك التخمين. أخذوا ثلاث طرق تقليم شائعة (FastV، وDART، وDivPrune) وسألوا: "عندما تقوم بتقليل عدد الرموز، أي منها تقوم بقصه فعليًا؟"

أجروا هذه الطرق على عشر مجموعات اختبار مختلفة، تراوحت من أسئلة بسيطة مثل "ما لون السيارة؟" إلى أسئلة علمية معقدة. وتتبعوا بدقة عدد الرموز "الحية" و"الخامدة" و"الميتة" التي تمت إزالتها عند مستويات مختلفة من القص (من 12.5% إلى 87.5% من الرموز المزالة).

ما وجدوه كان فوضويًا نوعًا ما.
الأساليب المختلفة للتقليم لم تتفق على ما هو "عديم الفائدة".

• DivPrune كان عدوانيًا للغاية في قطع الرموز "الميتة". بدا وكأنه يتبع القاعدة: "احذف الضجيج".
• ومع ذلك، كان FastV و DART يحميان الرموز "الخامدة" بشكل غريب. لقد احتفظا بالهمهمة المتكررة في الخلفية رغم أنها بدت زائدة عن الحاجة.

إليك المفاجأة: مجرد كون الطريقة تقطع المزيد من الرموز "الميتة" لم يعني أنها تعمل بشكل أفضل. في الواقع، كان DivPrune (الذي قطع أكبر عدد من الرموز الميتة) هو الأفضل أحيانًا، ولكنه في أحيان أخرى كان FastV (الذي احتفظ بالرموز الميتة) هو الأفضل. لم يكن هناك تطابق مثالي بين "قطع الأشياء الميتة" و"الحصول على درجة جيدة".

مفاجأة "حماية الميت"

لمعرفة سبب حدوث ذلك، أجرى الباحثون تجربة ذكية. بدلًا من ترك طرق التقليم تقرر، أجبروا الروبوت على الاحتفاظ بأنواع معينة من الرموز. قالوا: "حسنًا، يا FastV، يمكنك قطع ما تريد، ولكن يجب عليك الاحتفاظ بجميع الرموز الميتة".

توقعوا أن ينخفض الأداء. فبعد كل شيء، إذا كانت الرموز الميتة عديمة الفائدة، فإن الاحتفاظ بها يجب أن يهدر المساحة ويربك الروبوت فقط.

النتيجة؟ لم ينخفض. في كثير من الحالات، ارتفع.

• عندما قاموا بحماية الرموز الحية، تحسن الأداء (وهذا أمر منطقي).
• ولكن عندما قاموا بحماية الرموز الميتة، تحسن أداء الروبوت بنحو 0.93% في المتوسط لطريقة DivPrume.

كانت هذه صدمة. لقد اقترح ذلك أنه حتى لو بدا رمز واحد "ميت" كأنه قمامة، فإن حذف جميعها قد يكسر شيئًا آخر.

قائد الأوركسترة الخفي

لماذا قد يساعد الاحتفاظ بالرموز "عديمة الفائدة"؟ نظر المؤلفون إلى كيفية تواصل الرموز مع بعضها البعض باستخدام ما يسمى بـ الانتباه (attention). تخيل أن الرموز هي موسيقيون يمررون النوتات لبعضهم البعض.

وجدوا أنه بينما لا يحصل رمز "ميت" واحد على الكثير من الانتباه (فهو ليس عازفًا منفردًا)، إلا أن هناك الكثير منها، بحيث أنها كمجموعة، تستحوذ على جزء ضخم من "ميزانية الانتباه". إنهم مثل جوقة ضخمة من المغنيين في الخلفية. إذا قمت بقطعهم جميعًا، فإن الموسيقيين المتبقين (الرموز الحية) سيفقدون سياقهم. قد لا تغني الرموز "الميتة" اللحن، لكنها تحافظ على الإيقاع والبنية. الرموز "الميتة" قد لا تغني اللحن، لكنها تمسك بالإيقاع وهيكل الأغنية.

عندما قام الباحثون بحماية الرموز الميتة، ظلت أنماط الانتباه بين الرموز المتبقية أكثر توازنًا. استطاعت الرموز "الحية" التفاعل بشكل صحيح لأن الرموز "الميتة" كانت لا تزال موجودة لدعم الهيكل.

الخلاصة

تشير الورقة إلى أنه لا يمكننا مجرد النظر إلى رمز وقول: "أنت ميت، ارحل". الأمر ليس بهذه البساية. الرموز "الميتة" قد تكون ضعيفة بمفردها، لكنها قوية كمجموعة.

خلص المؤلفون إلى أن التقليم الفعال لا ينبغي أن يقتصر فقط على إيجاد الرموز الأكثر أهمية. بل يجب أن يتعلق بـ التركيب (composition). نحن بحاجة للتأكد من أننا لا نزيل بالخطأ فئة كاملة من الرموز التي، رغم كونها مملة بشكل فردي، إلا أنها ضرورية لعمل المجموعة. إنه تذكير بأنه في نظام معقد مثل الذكاء الاصطناوي، حتى الأجزاء "الزائدة" قد تؤدي وظيفة لا نفهمها بالكامل بعد.

لذا، في المرة القادمة التي تفكر فيها في تنظيف غرفة فوضوية، تذكر: أحيانًا الأشياء التي تعتقد أنها مجرد كركبة هي في الواقع ما يحمل الرف ويمنعه من السقوط.