RoRA: Role-Oriented Regional Allocation for Visual Token Pruning in MLLMs

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يرى العالم. أنت لا تكتفي فقط بعرض صورة عليه؛ بل تغذيه بتدفق هائل ولا نهائي من قطع الأحجية الرقمية الصغيرة المسماة "الرموز" (tokens). كل قطعة تحمل جزءًا ضئيلًا من المعلومات حول الصورة. بالنسبة لصورة بسيطة، يكون هذا أمرًا جيدًا، ولكن بالنسبة لصورة عالية الدقة، أو فيديو، أو مشهد معقد، سيتعرض الروبوت لفيضان من آلاف هذه القطع. الأمر يشبه محاولة قراءة مكتبة كاملة من الكتب لمجرد الإجابة على سؤال واحد حول قطة في الزاوية. سيشعر الروبوت بالارتباك، ويستغرق وقتًا طويلاً في التفكير، ويحتاج إلى كمية هائلة من الذاكرة فقط ليحتفظ بكل تلك القطع في عقله. هذه هي المشكلة التي يحاول الباحثون في مجال النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) حلها: كيف نساعد الروبوت على التركيز على الأجزاء المهمة من الصورة دون أن يغرق في الضجيج.

الحيلة المعتادة هي التخلص من القطع التي تبدو أقل أهمية. لكن هنا تكمن المشكلة: عقل الروبوت ليس مثاليًا في تحديد ما هو مهم. أحيانًا، يتشتت انتباهه بحواف الصورة أو يعلق في بقعة معينة، متجاهلاً الكائن الفعلي الذي سألت عنه. تحاول طرق أخرى توزيع القطع بالتساوي عبر الصورة، لكن هذا يشبه التقاط صورة لحشد مع الاحتفاظ ببضع بكسلات من قمصان كل شخص منهم بينما تغفل عن وجوههم تمامًا. النتيجة غالبًا هي روبوت يرى الخلفية ولكنه يفتقد الحدث الرئيسي.

هنا يأتي دور طريقة جديدة تسمى RoRA (التخصيص الإقليمي الموجه حسب الدور)، والتي تعمل كمحرر ذكي لرؤية الروبوت. بدلاً من مجرد اختيار القطع "الأكثر أهمية" أو توزيعها عشوائيًا، تعامل RoRA الصورة كقصة تحتاج إلى ثلاثة أنواع محددة من الأدلة لتُروى بشكل صحيح.

أولاً، تحدد RoRA الجوهر الدلالي (Semantic Core). فكر في هذا كـ "الشخصية الرئيسية" للقصة. إذا سألت: "ما الرقم الموجود على قميص ذلك اللاعب؟"، فإن الجوهر هو البكسلات ذات الثقة العالية الموجودة مباشرة على ذلك القميص. تحمي RoRA هذه القطع بشدة، مما يضمن أن الروبوت لن يفقد الموضوع الرئيسي أبدًا، بغض النظر عن مقدار ما يقصه من بقية الصورة.

ثانيًا، تبحث عن السياق التكميلي (Complementary Context). هذا هو "طاقم التمثيل المساعد" و"المكان". بمجرد أن يعرف الروبوت من هو الشخصية الرئيسية، فإنه يحتاج إلى معرفة أين يقف وماذا يحدث حوله. تضمن RoRA التقاط قطع من خارج المنطقة المباشرة للشخصية الرئيسية، حتى لا يرى الروبوت مجرد قميص عائم، بل يفهم أنه على لاعب في ملعب. إنها تتجنب بنشاط التقاط الكثير من القطع من نفس المكان (الذي سيكون مكررًا) وتبحث بدلاً من ذلك عن معلومات جديدة في المناطق المحيطة.

ثالثًا، توفر RoRA ميزانية صغيرة لـ التفاصيل الدقيقة (Fine-Grained Detail). هذه هي "التحولات المفاجئة في الحبكة" أو القرائن الصغيرة، مثل نص صغير على لافتة، أو ملمس نسيج، أو جسم صغير يختبئ في الزاوية. ولأن هذه التفاصيل غالبًا ما تكون صغيرة ومن السهل تفويتها، تمنحها RoRA "مهمة إنقاذ" خاصة لضمان عدم حذفها بالخطأ لمجرد أنها ليست أكبر شيء في الصورة.

إن سحر RoRA يكمن في كيفية تنظيم هذه الأدوار. فهي لا تسأل فقط: "أي القطع هي الأكثر لمعانًا؟"، بل تسأل: "هل لدينا الشخصية الرئيسية؟ هل لدينا المكان؟ هل لدينا القرائن الصغيرة؟". وهي تستخدم خريطة ذكية تسمى المناطق المرتبطة بالانتباه (Attention-Anchored Regions - AARs) لتحديد مكان الشخصية الرئيسية، بحيث تعرف بالضبط أين تبحث عن "المكان" (خارج الخريطة) وأين تبحث عن "القرائن" (داخل الخريطة).

النتائج مبهرة. فعند اختبارها على عقول روبوتية قوية مثل LLaVA و Qwen-VL، تمكنت RoRA من تقليص عدد قطع الصورة بنسب هائلة — تصل إلى 88.9% في بعض النماذج — مع الحفاظ على 96.5% من الدقة الأصلية. وفي الواقع، في بعض الاختبارات، كانت فعالة للغاية لدرجة أنها سرعت وقت تفكير الروبوت بنسبة 24.6%، مما جعلها أسرع بمقدار 1.33 مرة من النسخة غير المختصرة. والأهم من ذلك، أنها لم تكتفِ بالتخمين؛ بل قامت بقياس ذلك على أجهزة حقيقية (وحدة معالجة رسوميات NVIDIA H800)، حيث أظهرت أنها تستغرق 0.7 مللي ثانية فقط لتقرر أي القطع يجب الاحتفاظ بها.

على عكس الطرق القديمة التي قد تركز بالخطأ على الأجزاء الخاطئة من الصورة أو تعلق في حلقة مفرغة من فحص كل قطعة مقابل كل قطعة أخرى (وهو أمر بطيء ومكلف)، فإن RoRA سريعة ومركزة. لقد أثبتت أنه من خلال تخصيص "وظائف" محددة لقطع الصورة بدلاً من مجرد اختيار "الأفضل" منها، يمكننا جعل هذه الروبوتات فائقة الذكاء ترى العالم بوضوح وسرعة، ودون أن تصاب بصداع من كثرة البيانات.