💬 NLP

Why 1 + 1 < 1 in Visual Token Pruning: Beyond Naive Integration via Multi-Objective Balanced Covering

تقدم هذه الورقة البحثية إطار عمل "التغطية المتوازنة متعددة الأهداف" (MoB)، وهو إطار عمل مبتكر لتقليم الرموز البصرية يستفيد من مسافة هوسدورف ونظرية التغطية بـ $\epsilon$ لاستخلاص حد خطأ في صيغة مغلقة وموازنة محاذاة المطالبات مع الحفاظ البصري ديناميكيًا، مما يحقق تسارعًا كبيرًا في الاستدلال مع أدنى حد من فقدان الأداء عبر مختلف النماذج متعددة الوسائط.

المؤلفون الأصليون: Yangfu Li, Hongjian Zhan, Tianyi Chen, Qi Liu, Yue Lu

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yangfu Li, Hongjian Zhan, Tianyi Chen, Qi Liu, Yue Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "1 + 1 < 1 في تقليم الرموز المرئية" (Visual Token Pruning) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبيرة: الطاهي المثقل بالأعباء

تخيل أن نموذج لغة كبير متعدد الوسائط (MLLM) مثل LLaVA هو طاهٍ بارع. يحاول هذا الطاهي الإجابة على سؤال حول صورة (على سبيل المثال: "ماذا يفعل الكلب في الحديقة؟").

لفهم الصورة، يقوم الطاهي بتفكيكها إلى آلاف القطع الصغيرة من الأحجية تسمى "الرموز" (tokens).

المشكلة: الصور عالية الدقة تخلق الكثير جداً من الرموز (مثل 2000 قطعة أحجية). يجب على الطاهي النظر في كل قطعة منها. هذا يجعل الطاهي بطيئاً، متعباً، ومكلفاً في التشغيل (تكلفة حوسبة عالية).
الهدف: نريد من الطاهي أن يرمي قطع الأحجية المملة وغير المفيدة (مثل السماء الزرقاء أو العشب الفارغ) ويحتفظ فقط بالقطع المهمة (مثل الكلب، الكرة، الشجرة) حتى يتمكن الطاهي من العمل بشكل أسرع دون فقدان القدرة على الإجابة على السؤال بشكل صحيح.

الطريقة القديمة: استراتيجيتان سيئتان

حاول الباحثون سابقاً تجربة طريقتين رئيسيتين لتحديد القطع التي يجب الاحتفاظ بها:

طاهي "الحفاظ على المرئيات" (VP): ينظر هذا الطاهي إلى الصورة ويقول: "أنا بحاجة للاحتفاظ بالقطع الأكثر ألواناً وتفصيلاً لضمان ظهور الصورة بشكل جيد".
- النتيجة: رائعة لوصف المشهد، لكنها قد تغفل عن التفاصيل المحددة التي سأل عنها المستخدم.
طاهي "محاذاة المطالبة" (PA): ينظر هذا الطاهي إلى السؤال ("أين الكلب؟") ويقول: "أنا أحتاج فقط للقطع التي تشبه الكلب".
- النتيجة: رائعة للإجابة على السؤال المحدد، لكنها قد تغفل عن السياق (مثل كون الكلب مربوطاً بمقود يمسكه شخص).

المفاجأة: حاول الباحثون دمج هذين الطاهيين (1 + 1) للحصول على أفضل ما في العالمين. ولكن للمفاجأة، كانت النتيجة 1 + 1 < 1. فالطاهي المدمج غالباً ما كان أداؤه أسوأ من استخدام طاهٍ واحد بمفرده! لماذا؟ لأن الطاهيين كانا يتنازعان على نفس قطع الأحجية، ولم يعرفا كيف يتقاسمان العمل.

الاكتشاف الجديد: الأمر يعتمد على "الاقتران"

اكتشف مؤلفو هذه الورقة أن العلاقة بين السؤال (المطالبة/Prompt) و الصورة (المرئيات/Visuals) تتغير اعتماداً على المهمة. وهم يسمونها "الاقتران بين المطالبة والمرئيات" (Prompt-Visual Coupling).

تخيل سيناريوهين:

السيناريو أ: "الاقتران القوي" (الأحجية السهلة)
- مثال: "ما لون السيارة؟" (الصورة: سيارة فيراري حمراء زاهية).
- الأجواء: الإجابة موجودة هناك مباشرة في الصورة. السؤال والصورة مرتبطان ارتباطاً وثيقاً.
- الاستراتيجية: لا تحتاج للبحث عن الإجابة. أنت فقط بحاجة للاحتفاظ بنظرة عامة جيدة للصورة بأكملها. هنا يتفوق "الحفاظ على المرئيات" (Visual Preservation).
السيناريو ب: "الاقتران الضعيف" (الأحجية الصعبة)
- مثال: "ما هي الكتابة الموجودة على اللوحة في الخلفية؟" (الصورة: مشهد شارع مزدحم).
- الأجواء: الإجابة مخفية في ركن صغير ومحدد للغاية. السؤال محدد جداً، لكن الصورة ضخمة وفوضوية.
- الاستراتيجية: أنت بحاجة للبحث عن تلك القطعة المحددة من النص. هنا تتفوق "محاذاة المطالبة" (Prompt Alignment). إذا احتفظت فقط بالأجزاء "الجميلة" من الصورة، فستفقد اللوحة.

خطأ الطرق القديمة: كانوا يستخدمون نفس "الوصفة" لكل مهمة. حاولوا موازنة الطاهيين بالتساوي، بغض النظر عما إذا كانت المهمة "أحجية سهلة" أو "أحجية صعبة".

الحل: MoB (التغطية المتوازنة متعددة الأهداف)

ابتكر المؤلفون طريقة جديدة تسمى MoB. فكر في MoB كـ مدير ذكي يقوم بتعيين قطع الأحجية بناءً على صعوبة المهمة المحددة.

يعامل MoB المشكلة مثل تغطية الأرض بالسجاد:

الهدف: لديك ميزانية محدودة من السجاد (الرموز التي يمكنك الاحتفاظ بها). تحتاج لتغطية "منطقة السؤال" و "منطقة الصورة".
المفاضلة: إذا استخدمت كل ميزانيتك لتغطية "منطقة السؤال" بشكل مثالي، ستترك "منطقة الصورة" مكشوفة. وإذا غطيت الصورة بأكملها، فقد تفقد التركيز على السؤال المحدد.
الحركة السحرية: يحسب MoB مدى "بعد" السؤال عن الصورة (الاقتران).
- إذا كانا بعيدين عن بعضهما (اقتران ضعيف): يقول المدير: "نحن بحاجة لإنفاق المزيد من الميزانية للبحث عن الإجابة المحددة!". فهو يخصص المزيد من الرموز لـ "محاذاة المطالبة" (Prompt Alignment).
- إذا كانا قريبين من بعضهما (اقتران قوي): يقول المدير: "الإجابة في كل مكان؛ دعونا فقط نحتفظ بنظرة واسعة وجيدة". فهو يخصص المزيد من الرموز لـ "الحفاظ على المرئيات" (Visual Preservation).

لماذا يعد هذا أمراً مهماً؟

مثبت رياضياً: لم يكتفِ المؤلفون بالتخمين؛ بل استخدموا الهندسة والرياضيات (مسافة Hausdorff ونظرية التغطية) لإثبات كيفية تقسيم الميزانية بدقة للحصول على أفضل النتائج.
لا يحتاج لإعادة تدريب: لا تحتاج لإعادة تعليم الذكاء الاصطنا، فقط قم بتوصيل MoB وسيعمل فوراً.
سريع: يقوم بتسريع الذكاء الاصطنا-بنسبة 1.3 إلى 1.5 مرة دون فقدان الكثير من الدقة.
النتائج:
- في اختبار قياسي (LLaVA-1.5)، حافظ MoB على 96.4% من الأداء مع التخلص من 88.9% من الرموز المرئية.
- يعمل أيضاً على الفيديو، حيث حافظ على 97.9% من الأداء باستخدام 6.6% فقط من الرموز.

الخلاصة

تعلمنا هذه الورقة أن "المقاس الواحد لا يناسب الجميع". في عالم الذكاء الاصطنا، الجمع العشوائي بين استراتيجيتين جيدتين غالباً ما يؤدي إلى الفوضى. بدلاً من ذلك، أنت بحاجة إلى نظام ذكي (MoB) يفهم العلاقة بين السؤال والصورة، ويقرر ديناميكياً مقدار الانتباه الذي يجب إعطاؤه لـ "البحث عن الإجابة" مقابل "الحفاظ على جمالية الصورة".

باخت-صر: MoB هو المدير الذكي الذي يعرف متى يكون محققاً (يبحث عن الأدلة) ومتى يكون رساماً (يحافظ على المشهد)، مما يضمن بقاء الذكاء الاصطناعي سريعاً ودقيقاً مهما كانت المهمة التي يواجهها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "لماذا 1 + 1 < 1 في تقليم الرموز البصرية: ما وراء التكامل الساذج عبر التغطية المتوازنة متعددة الأهداف" (MoB).

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) عبئًا حوسبيًا كبيرًا بسبب الحشو المكاني العالي للمدخلات البصرية، والتي يتم ترميزها كعدد كبير من الرموز (Tokens). يهدف تقليم الرموز البصرية إلى التخفيف من ذلك عن طريق اختيار مجموعة فرعية ممثلة من الرموز.

تندرج الأساليب الحالية عمومًا تحت فئتين:

الحفاظ البصري (Visual Preservation - VP): يحتفظ بالرموز بناءً على البروز البصري أو تقليل الحشو (مثل دمج الرموز المتشابهة).
المحاذاة مع المطالبة (Prompt Alignment - PA): يختار الرموز الأكثر صلة بالمطالبة النصية باستخدام الانتباه المتقاطع (cross-modal attention).

القضية الجوهرية: تحاول الأساليب الحديثة متعددة الأهداف دمج كل من VP و PA. ومع ذلك، لاحظ المؤلفون أن مجرد الجمع بين هذه الأهداف غالبًا ما يؤدي إلى أداء غير متسق أو دون المستوى الأمثل مقارنة بالنماذج المرجعية أحادية الهدف (ظاهرة "1 + 1 < 1"). يحدث هذا لأن الأساليب الحالية تستخدم استراتيجيات ثابتة تتجاهل الأهمية النسبية المتغيرة لكل من VP و PA عبر المهام المختلفة. وتحديدًا، تعتمد فعالية هذه الأهداف على الاقتران بين المطالبة والبصريات (المسافة الدلالية بين المطالبة والرموز البصرية)، والتي تختلف بشكل كبير عبر المعايير (على سبيل المثال، اقتران ضعيف في TextVQA مقابل اقتران قوي في MMB).

2. المنهجية: التغطية المتوازنة متعددة الأهداف (MoB)

يقترح المؤلفون MoB، وهو خوارزمية تقليم خالية من التدريب قائمة على نظرية التغطية الهندسية وتحليل مسافة هاوسدورف (Hausdorff distance).

أ. الأساس النظري

اشتقاق حد الخطأ: تشتق الورقة أول حد خطأ بصيغة مغلقة لتقليم الرموز البصرية. وهي تنمذج خطأ التقليم كدالة لـ:
- خطأ الحفاظ البصري ( $d_H(S_v, V)$ ).
- خطأ المحاذاة مع المطالبة ( $d_H(S_p, P)$ ).
- الاقتران بين المطالبة والبصريات ( $\eta$ ): مسافة هاوسدورف بين المجموعة البصرية الكاملة ومجموعة المطالبة.
المقايضة الهندسية: باستخدام نظرية التغطية $\epsilon$ $ϵ$ -covering، يثبت المؤلفون وجود مقايضة جوهرية بين VP و PA. ففي ظل ميزانية رموز ثابتة $K$ $K$ ، فإن تحسين أحد الأهداف يؤدي حتمًا إلى تدهور الآخر. يتم تحديد التوازن الأمثل من خلال قوة الاقتران $\eta$ $η$ :
- الاقتران الضعيف ( $\eta$ كبيرة): تكون المطالبة بعيدة دلاليًا عن معظم المناطق البصرية. هنا تصبح المحاذاة مع المطالبة (PA) أمرًا بالغ الأهمية للعثور على "الدليل الذهبي".
- الاقتران القوي ( $\eta$ صغيرة): ترتبط المطالبة ارتباطًا وثيقًا بالمحتوى البصري. يصبح الحفاظ البصري (VP) أكثر كفاءة حيث تحدث المحاذاة بشكل طبيعي.

ب. خوارزمية MoB

تعيد MoB صياغة التقليم كـ مشكلة تغطية ثنائية الأهداف. تقوم بتقسيم مجموعة الرموز المحتفظ بها $S$ إلى مجموعتين منفصلتين: $S_p$ (مراكز المطالبة) و $S_v$ (المراكز البصرية).

تخصيص الميزانية: بدلاً من النسبة الثابتة، تقوم MoB بتخصيص الميزانية $K$ ديناميكيًا إلى $K_p$ (لـ $S_p$ ) و $K_v$ (لـ $S_v$ ) بناءً على تقدير قوة الاقتران $\eta$ .
استراتيجيات الاختيار:
- اختيار مركز المطالبة ( $S_p$ ): يستخدم تغطية أقرب جار ( $k$ -fold Nearest-Neighbor). للتعامل مع الاقتران الضعيف حيث قد تُفقد الأجزاء الحرجة، تقوم الخوارزمية بالإفراط في أخذ عينات من الـ $k$ من أقرب الرموز البصرية لكل رمز مطالبة، ثم تختار أفضل $K_p$ التي تعظم أسوأ حالات المحاذاة.
- اختيار المركز البصري ( $S_v$ ): يستخدم أخذ عينات النقطة الأبعد (Farthest Point Sampling - FPS) على الرموز المتبقية لضمان انتشار المجموعة البصرية $S_v$ جيدًا عبر الفضاء البصري، مما يقلل نصف قطر التغطية للحفاظ البصري.
التعقيد: تحقق الخوارما خطية متعددة (multilinear scalability) بمقدار $O(N(L+K)d)$ ، مما يجعلها فعالة للمدخلات عالية الدقة والفيديوهات الطويلة.

3. المساهمات الرئيسية

طفرة نظرية: اشتقاق أول حد خطأ بصيغة مغلقة لتقليم الرموز البصرية، مع توصيف صريح لمساهمات VP و PA والاقتران بين المطالبة والبصريات.
تكميم المقايضة: تحديد المقايضة الجوهرية واشتقاق مستويات التحقيق المثلى ( $\epsilon^*$ ) في ظل ميزانيات وظروف اقتران محددة.
خوارزمية MoB: طريقة مبتعة خالية من التدريب تختزل المقايضة المعقدة إلى مشكلة تخصيص ميزانية يمكن إدارتها عبر تجارة نصف القطر الجشعة (greedy radius trading)، وتوفر ضمانات أداء مثبتة.
التفوق التجريبي: أظهرت تحسنًا مستمرًا على كل من الأهداف الأحادية والأساليب متعددة الأهداف المتطورة عبر مختلف المعايير.

4. النتائج التجريبية

قيم المؤلفون MoB على 14 معيارًا باستخدام نماذج مثل LLaVA-1.5-7B، و LLaVA-Next-7B، و Qwen2-VL-7B، و Video-LLaVA-7B.

الاحتفاظ بالأداء:
- في LLaVA-1.5-7B، تحتفظ MoB بـ 96.4% من الأداء الأصلي مع استخدام 11.1% فقط من الرموز البصرية (تقليل بنسبة 88.9%).
- في Video-LLaVA-7B، تحافظ على 97.9% من الأداء باستخدام 6.6% فقط من الرموز.
- تتفوق على ثاني أفضل طريقة (DART) بنسبة 2.7% و 1.6% على التوالي في هذه السيناريوهات.
الكفاءة: سرعت MoM نموذج LLaVA-Next-7B بمقدار 1.3–1.5× مع فقدان ضئيل جدًا في الأداء.
المتانة: على عكس الأساليب متعددة المراحل (مثل MustDrop) التي تفشل تحت التقليم الشديد أو أنماط الاقتران المحددة، تحافظ MoB على مقايضة قوية بين الأداء وزمن الاستجابة عبر جميع السيناريوهات المختبرة.
التعميم: تندمج بنجاح في النماذج المتقدمة (Qwen2-VL، LLaVA-Next) والمهام المتنوعة (فهم الصور، الإجابة على أسئلة الفيديو، التعرف الضوئي على الحروف OCR).

5. الأهمية

تحول في النموذج الفكري: تتحدى الورقة الافتراض القائل بأن "المزيد من الأهداف = أداء أفضل". فهي تثبت أن التكامل الساذج يفشل دون فهم المقايضات الهندسية المدفوعة بالاقتران البياني.
التوجيه النظري: توفر إطارًا رياضيًا صارمًا (مسافة هاوسدورف وأعداد التغطية) لتوجيه تصميم خوارزميات تقليم الرموز المستقبلية، متجاوزةً مجرد درجات الانتباه التجريبية.
الأثر العملي: تقدم حلاً قابلاً للتوسع وخاليًا من التدريب يمكّن نماذج MLLM من العمل بكفاءة على الأجهزة ذات الموارد المحدودة (الأجهزة الطرفية/المحمولة) مع التعامل مع الصور عالية الدقة والفيديوهات الطويلة، وهو أمر بالغ الأهمية للنشر الواقعي للذكاء الاصط์ناعي متعدد الوسائط.
المصدر المفتوح: تم إصدار الكود المصدري، مما يسهل إعادة الإنتاج ومزيد من الأبحاث في ضغط النماذج متعددة الوسائط.

باختدال، تحل MoB مشكلة "1 + 1 < 1" من خلال الإثبات الرياضي بأن التوازن الأمثل بين الحفاظ البصري والمحاذاة مع المطالبة ليس ثابتًا، بل يعتمد على الاقتران المحدد للبيانات المدخلة، وتوفر خوارزمية فعالة لتحقيق هذا التوازن ديناميكيًا.