💬 NLP

Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning

تُعد Nüwa إطار عمل لتقليم الرموز (token pruning) يتكون من مرحلتين، يعالج التدهور المكاني في النماذج الرؤية اللغوية الحالية عبر الجمع بين الاحتفاظ بالمرتكزات المكانية العالمية المستوحى من ذكاء السرب وبين تصفية صلة المهام الموجهة بالنص، محققاً بذلك أداءً هو الأفضل في فئته في كل من مهام الإجابة على الأسئلة البصرية والترسيخ البصري.

المؤلفون الأصليون: Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "Nüwa: إصلاح السلامة المكانية التي مزقتها عملية تقليم الرموز في نماذج الرؤية واللغة (VLM)"، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "الخريطة الضبابية"

تخيل نموذج الرؤية واللغة (VLM) كأنه محقق ذكي جداً يحاول حل لغز بناءً على صورة وسؤال. وللقيام بذلك، يقوم المحقق بتفكيك الصورة إلى مئات القطع الصغيرة من الأحجية (تسمى الرموز أو tokens).

ومع ذلك، فإن النظر إلى كل قطعة بمفردها أمر بطيء ومرهق. ولتسريع العملية، حاولت الطرق السابقة التخلص من القطع "المملة"، والاحتفاظ فقط بالقطع الأكثر إثارة للاهتمام. وهذا ما يسمى تقليم الرموز (Token Pruning).

العقبة:
بينما نجحت طريقة التسريع هذه بشكل رائع في الأسئلة العامة مثل "ماذا يحدث في هذه الصورة؟" (الإجابة على الأسئلة البصرية - VQA)، إلا أنها فشلت فشلاً ذريعاً عندما كان على المحقق الإشارة إلى مكان محدد، مثل "أين الكوب الأحمر؟" (التحديد البصري - Visual Grounding).

لماذا؟
تجادل الورقة البحثية بأن الطرق السابقة كانت تشبه خريطة قام شخص ما بتمزيق حوافها ومركزها، تاركاً فقط بعض النقاط العشوائية. كان المحقق لا يزال يعرف ماهية الأشياء، لكنه فقد الخريطة العالمية. لقد نسي أين يقع الأعلى والأسفل واليسار واليمين بالنسبة لبعضهم البعض. وبدون تلك "السلامة المكانية"، لم يعد بإمكانه الإشارة بدقة.

الحل: Nüwa (إلهة الخلق)

يقترح المؤلفون طريقة جديدة تسمى Nüwa. في الأساطير الصينية، قامت "نوا" بإصلاح السماء. وهنا، تقوم "نوا" بإصلاح الخريطة "الممزقة" للصورة.

تعمل الطريقة على مرحلتين، مثل عملية تصفية مكونة من خطوتين:

المرحلة الأولى: استراتيجية "السرب" (داخل مشفر الرؤية)

بدلاً من مجرد اختيار القطع "الأفضل" عشوائياً، تستخدم Nüwa استراتيجية مستوحاة من أسراب الطيور (أو أسراب النحل).

التقسيم: تخيل أن الصورة عبارة عن شبكة عملاقة. تقوم Nüwa بتقسيم هذه الشبكة إلى أحياء صغيرة ومنظمة (مثل كتل المدن). هذا يضمن تمثيل كل جزء من الصورة.
المحاذاة (اختيار القادة): في كل حي، تختار Nüwa رمزاً "قائداً". لكنها لا تختار فقط الرمز الأكثر ضجيجاً؛ بل تختار الرمز الذي يحمل أهمية كبيرة ومعلومات وفيرة في آن واحد.
التجميع (التكتل): تتكتل القطع الأخرى في ذلك الحي حول قائدهم. يدمجون معلوماتهم في "القائد"، لكنهم يحتفظون بـ "عنوانهم" (موقعهم) الأصلي سليماً.

التشبيه: فكر في فصل دراسي. بدلاً من طرد نصف الطلاب لتوف توفير الوقت، يقوم المعلم بتجميعهم في مجموعات حسب المقاعد. تختار كل مجموعة "مندوباً" يلخص ما يقوله الجميع. والأهم من ذلك، يحتفظ المعلم بقائمة توضح أين جلست كل مجموعة، حتى تظل خريطة الفصل كاملة.

المرحلةلة الثانية: "الدليل النصي" (داخل نموذج اللغة الكبير - LLM)

بمجرد تكثيف قطع الصورة، يتم تمريرها إلى "عقل" النموذج (نموذج اللغة الكبير).

هنا، تستخدم Nüwa السؤال النصي كدليل. إذا كان السؤال هو "أين القطة؟"، ينظر النموذج إلى قطع الصورة المكثفة ويسأل نفسه: "أي من هذه القطع تبدو بالفعل مثل قطة؟" ثم يقوم بتقليم القطع التي لا تتطابق مع النص، محتفظاً فقط بالقطع ذات الصلة للإجابة النهائية.

لماذا تنجح هذه الطريقة؟ (لحظة الإدراك!)

اكتشفت الورقة البحثية أن الطرق السابقة كسرت إطار المرجع المكاني العالمي.

الطريقة القديمة: إذا قمت بقص منتصف الخريطة، فستفقد الإحساس باتجاهات "الشمال" و"الجنوب".
طريقة Nüwa: تحافظ على "الهيكل العظمي" للخريطة. حتى لو قللت عدد القطع بنسبة تقارب 90%، فإنها تضمن أن القطع المتبقية لا تزال تعرف بالضبط موقعها بالنسبة للصورة بأكملة.

النتائج: سريعة ودقيقة

اختبرت الورقة البحثية Nüwa في نوعين من المهام:

الأسئلة العامة (VQA): "ماذا يفعل الشخص؟"
- النتيجة: حافظت Nüwa على 95% من الدقة مع استخدام عدد أقل بكثير من الرموز. كانت ذكية تماماً مثل النسخة البطيئة.
مهام الإشارة (التحديد البصري): "ارسم مربعاً حول الشخص."
- النتيجة: هنا تألقت Nüwa. الطرق السابقة انخفضت دقتها إلى ما يقرب من الصفر في هذه المهام. أما Nüwa فقد حافظت على 47% إلى 75% من الدقة الأصلية (وهو تحسن هائل مقارلة بـ 7% إلى 18% للطرق الأخرى).

الملخص

فكر في Nüwa كأنها محرر ذكي لصورة.

المحررون القدامى كانوا يحذفون بكسلات عشوائية لجعل حجم الملف أصغر، مما يدمر القدرة على إيجاد أشياء محددة.
Nüwa تنظم البكسلات في أحياء، وتختار ممثلاً لكل حي، وتحتفظ بسجل مثالي لموقع كل حي. هذا يسمح للذكاء الاصطناعي بأن يكون سريعاً للغاية (لأن لديه قطع أقل للمعالجة) ولكن أيضاً دقيقاً للغاية (لأنه لم يفقد الخريطة أبداً).

تخلص الورقة البحثية إلى أنه من خلال إصلاح "السلامة المكانية" (الخريطة)، يمكننا جعل هذه النماذج الذكية أسرع وأفضل في تحديد الأشياء، دون الحاجة إلى إعادة تدريبها من الصفر.

ملخص تقني: Nüwa: إصلاح السلامة المكانية الممزقة بفعل تقليم رموز نماذج الرؤية واللغة (VLM)

1. بيان المشكلة

تنتج نماذج الرؤية واللغة (VLMs) عدداً هائلاً من الرموز البصرية (vision tokens) أثناء الاستدلال، مما يؤدي إلى عبء حوسبي مرتفع وانخفاض في معدل الإنتاجية. وبينما برزت تقنية تقليم الرموز (token pruning) كطريقة فعالة للتسريع، إلا أن الطرق الحالية تظهر قصوراً حرجاً: فهي تعمل بشكل جيد في مهام الإجابة على الأسئلة البصرية (VQA) ولكنها تعاني من تدهور كبير في الأداء في مهام التوطين البصري (Visual Grounding - VG).

حدد المؤلفون أن استراتيجيات التقليم الحالية، التي تعتمد على التشابه الدلالي العالمي أو درجات الانتباه، تؤدي إلى تعطيل إطار المرجع المكاني العالمي (global spatial reference frame). هذا الإطار المرجعي، المستمد من معلومات تموضع الرموز، ضروري للاستدلال المكاني وتحديد مواقع الأشياء. فعندما تقوم طرق التقليم بضغط أو التخلص من الرموز دون الحفاظ على الطوبولوجيا المكانية، يفقد النموذج القدرة على تحديد مواقع الأشياء بدقة داخل الصورة، حتى لو احتفظ بالقدرة على الإجابة على أسئلة عامة حول محتوى الصورة.

2. المنهجية: إطار عمل Nüwa

لمعالجة فقدان السلامة المكانية، اقترح المؤلفون Nüwa، وهو إطار عمل لتقليم الرموز مدرك للمكان ويتكون من مرحلتين. تم تصميم هذا النهج للحفاظ على الركائز المكانية العالمية مع تجميع المعلومات الزائدة، يليه صقل موجه بالنص.

المرحلة الأولى: تقليم التماسك المكاني (مشفر الرؤية)

تعمل هذه المرحلة مباشرة بعد مشفر الرؤية، حيث تقلل عدد الرموز البصرية الأولية من $N^2$ إلى تسلسل كثيف يحافظ على المكان عبر ثلاث عمليات مستوحاة من ذكاء السرب (تحديداً خوارزميات Boids):

التباعد (Separation): يتم تقسيم شبكة الرموز المدخلة إلى مناطق محلية غير متداخلة ( $M \times M$ ). يضمن ذلك أن عمليات الاختيار والتجميع اللاحقة تحدث على مستوى إقليمي، مما يحافظ على نظام إحداثيات عالمي كامل.
المحاذاة (تحديد البروز - Salience Identification): داخل كل منطقة، يتم اختيار رموز "مرجعية" (benchmark tokens) كمركزات للتجميع. تجمع معايير الاختيار بين:
- الانتباه العالمي (Global Attention): الدرجات من رمز [CLS].
- السعة المعلوماتية (Information Capacity): معيار L2 لمتجه المفتاح الخاص بالرمز ( $\|k_i\|^2$ ).
- المنطق: غالباً ما تعمل الرموز ذات المعيار العالي (High-norm tokens) كـ "سجلات" (anchors مستقلة عن المهمة) في محولات الرؤية (Vision Transformers). تحدد الطريقة الرموز ذات درجات البروز الأعلى لتشكيل مجموعة الرموز المرجعية ( $T_B$ ).
التجميع (التقارب المكاني - Spatial Proximity): يتم دمج ميزات الرموز المجاورة في المجموعة المرجعية.
- توزيع الأدوار: تُصنف الرموز في $T_B$ كـ رموز ركيزة (Pillar Tokens) (عالية الـ L2-norm، والربع الأعلى) أو رموز جامع (Collector Tokens). تحتفظ رموز الركيزة بميزاتها الأصلية لمنع إزاحة توزيع الميزات، بينما تقوم الرموز الجامعة بتجميع الميزات من الجيران.
- التجميع الموزون: يتم إنشاء مصفوفة أوزان باستخدام كل من التشابه الدلالي (ارتباط إيجابي فقط) والتقارب المكاني (المسافة الإقليدية ضمن عتبة معينة). يضمن ذلك حدوث التجميع محلياً، مما يحافظ على التمثيلات المتمحورة حول الأشياء ويمنع دمج الرموز المتباعدة مكانياً.

المرحلة الثانية: التقليم المعدل نصياً (LLM)

بعد محاذاة الميزات متعددة الوسائط، يتم تغذية الرموز البصرية المجمعة إلى النموذج اللغوي الكبير (LLM). في الطبقات المتوسطة من الـ LLM، تحدث مرحلة تقليم ثانية:

يتم اشتقاق متجه استعلام نصي شامل عن طريق متوسط تضمينات الرموز النصية.
يتم تسجيل درجات الرموز البصرية بناءً على تشابه جيب التمام (cosine similarity) مع متجه الاستعلام هذا في فضاء التضمين المشترك.
يتم الاحتفاظ فقط بأعلى- $K$ من الرموز البصرية الأكثر صلة لعمليات الاستدلال وتوليد الاستجابة اللاحقة. يضمن ذلك أن تكون مجموعة الرموز النهائية متماسكة مكانياً (من المرحلة الأولى) وذات صلة بالمهمة (من المرحلة الثانية).

3. المساهمات الرئيسية

يقدم البحث ثلاث مساهمات رئيسية:

التحليل النوعي لمسارات عمل VLMs: حلل المؤلفون مسارات عمل معالجة VLMs بشكل منهجي، وكشفوا أن نماذج VLMs تعمل من خلال مسار متعدد المراحل ينتقل من التكامل الدلالي العالمي إلى التركيز الدقيق المتمحور حول الأشياء. كما أثبتوا أن مهام التوطين (grounding) تعتمد بشدة على الحفاظ على إطار المرجع المكاني العالمي خلال المراحل المتوسطة من المعالجة، وهو مطلب غالباً ما تتجاهله طرق التقليم الحالية.
إطار عمل Nüwa: قدموا إطار عمل للتقليم يتكون من مرحلتين:
- يحافظ على الطوبولوجيا المكانية عبر التباعد القائم على المناطق والتجميع التكيفي.
- يحافظ على الركائز المكانية العالمية من خلال التمييز بين رموز "الركيزة" ورموز "الجامع".
- يستفيد من الدلالات النصية في الـ LLM للتقليم الدقيق الموجه نحو المهمة.
التحقق من الأداء: أظهرت التجارب الواسعة عبر 13 مجموعة بيانات وعدة نماذج VLMs (مثل LLaVA-1.5، LLaVA-NeXT، Qwen2.5-VL) أن Nüwa يحقق نتائج جديدة هي الأفضل في فئتها (SOTA). فهو يحقق 95% من استبقاء الأداء في معايير VQA و 47.2% استبقاء في معايير التوطين البصري (تحت تقليص بنسبة 88.9% للرموز)، متفوقاً بشكل كبير على الطرق السابقة التي غالباً ما تهبط إلى نسب أحادية الرقم في مهام VG.

4. النتائج التجريبية

أداء VQA: يحقق Nüwa أداءً هو الأفضل (SOTA) في 10 معايير VQA (مثل GQA، MMB، MME)، حيث يحتفظ بـ 94%–95% من أداء النموذج الأصلي مع تقليص يصل إلى 88.9% من الرموز.
أداء التوطين البصري (Visual Grounding): في معايير سلسلة RefCOCO، يحقق Nüwa تحسينات جوهرية مقارنة بالطرق الحالية. على سبيل المثال، في تكوين يحتفظ بـ 64 رمزاً فقط (تقليص بنسبة 88.9%)، يحقق Nüwa 47.2% من الأداء الأصلي، بينما تهبط طرق مثل VisionZip و SparseVLM إلى 7.28% و 1.88% على التوالي.
الكفاءة: يقلل المنهج من العمليات الحسابية (TFLOPs) بنسبة 89% ومن وقت التعبئة المسبقة (prefill time) بنسبة 62%. العبء الحوسبي الناتج عن مقاييس التقليم ضئيل جداً (زيادة قدرها ~1 مللي ثانية فقط في وقت التعبئة المسبقة مقارنة بالنماذج المرجعية SOTA).
دراسات الاستئصال (Ablation Studies): تؤكد التجارب أن تقسيم المناطق أمر بالغ الأهمية لمهام التوطين (مما يتيح استراتيجية تمديد رسم الخرائط النسبية للموقع)، بينما يحسن معيار L2-norm عملية اختيار الرموز عبر جميع المهام.

5. الأهمية والادعاءات

يدعي البحث أن تدهور أداء نماذج VLMs في مهام التوطين مدفوع بشكل أساسي بفقدان إطار المرجع المكاني العالمي أثناء تقليم الرموز. ومن خلال إعادة بناء هذه السلامة المكانية عبر عملية مكونة من مرحلتين تجمع بين التجميع المكاني المستوحى من السرب والصقل الموجه نصياً، يقوم Nüwa بـ "إصلاح" السلامة المكانية الممزقة بفعالية.

يؤكد المؤلفون أن نهجهم لا يتطلب إعادة تدريب (فهو خالٍ من التدريب/training-free) ومتوافق مع بنيات VLM الحالية وتحسينات الأجهزة (مثل FlashAttention). يسلط العمل الضوء على أن الاستدلال الفعال لنماذج VLM يجب أن يأخذ في الاعتبار المتطلبات الخاصة بكل مهمة، وخاصة الحاجة إلى التماسك المكاني في مهام التوطين، بدلاً من الاعتماد فقط على تقليل الحشو الدلالي.