💻 computer science

When LLaVA Meets Objects: Token Composition for Vision-Language-Models

يُعد Mask-LLaVA إطار عمل يعمل على تحسين كفاءة النماذج اللغوية البصرية ذات التوليد الذاتي من خلال الجمع بين الرموز البصرية العالمية والمحلية والقائمة على القناع، مما يسمح بتقليل مرن في عدد الرموز البصرية أثناء الاستدلال دون فقدان ملحوظ في الأداء.

المؤلفون الأصليون: Soumya Jahagirdar, Walid Bousselham, Anna Kukleva, Hilde Kuehne

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Soumya Jahagirdar, Walid Bousselham, Anna Kukleva, Hilde Kuehne

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وصف مشهد شارع مزدحم ومكتظ لصديق عبر مكالمة هاتفية بطيئة للغاية ومكلفة، حيث تكلفك كل كلمة دولاراً واحداً.

إذا حاولت وصف كل تفصيل صغير، مثل ملمس الرصيف، أو كل حصاة فردية، أو الدرجة الدقيقة لكل طوبة، فستنفد أموالك قبل أن تذكر حتى الأشياء الأكثر أهمية، مثل السيارة الحمراء أو الشخص الذي يمشي مع كلب.

هذه هي المشكلة التي تواجهها نماذج الرؤية واللغة (VLMs) الحالية — الذكاء الاصطناعي الذي "يرى" و"يتحدث". لفهم صورة ما، تقوم هذه النماذج عادةً بتحويلها إلى مئات أو حتى آلاف "الرموز البصرية" الصغيرة (مثل قطع أحجية رقمية صغيرة). ومعالجة كل هذه القطع تتطلب قدرًا هائلاً من قوة الكمبيوتر والوقت.

تقدم ورقة بحثية بعنوان "When LLaVA Meets Objects" طريقة أذكى "للتحدث" عن الصور تسمى Mask-LLaVA.

الحل: نهج "المراسل الذكي"

بدلاً من إرسال كل قطعة صغيرة من الأحجية إلى عقل الذكاء الاصطناعي، يعمل Mask-LLaVA كمراسل ذكي يلخص المشهد باستخدام ثلاث "عدسات" مختلفة:

رؤية القمر الصناعي (الرموز العالمية - Global Tokens): هذه تشبه نظرة سريعة من مروحية. إنها تعطي الذكاء الاصطناعي "الانطباع العام" للصورة بأكملها — هل هي حديقة، أم مطبخ، أم مدينة؟ إنها ملخص واحد رفيع المستوى.
رؤية الخريطة (رموز الرقع المحلية - Local Patch Tokens): هذه تشبه النظر إلى خريطة مبسطة. بدلاً من رؤية كل نصل عشب، يرى الذكاء الاصطناعي "بقعاً خضراء". إنها تلتقط التخطيط والمحيط العام دون الغرق في التفاصيل المجهرية.
رؤية تسليط الضوء (رموز الكائنات - Object Tokens): هذا هو السر. يستخدم الذكاء الاصطناعي أداة "تحرٍ" للعثين على الأشياء المهمة بالفعل — الكلب، السيارة، المزهرية. إنه يضع "تسليط ضوء" على هذه الكائنات ويقوم بإنشاء ملخص مركز خاص لكل منها.

لماذا يعد هذا تغييراً لقواعد اللعبة؟

1. إنه فعال للغاية (ميزة "الميزانية"):
من خلال استخدام هذه الملخصات الثلاثة بدلاً من آلاف القطع الصغيرة، وجد الباحثون أنهم استطاعوا استخدام 70% أقل من الرموز (Tokens). الأمر يشبه وصف فيلم من خلال التحدث عن الشخصيات الرئيسية والإعداد، بدلاً من وصف كل إطار من إطارات الفيلم.

2. إنه مرن (ميزة "مفتاح التحكم في السطوع"):
هذا هو الجزء الأروع. نظرًا لأن النموذج تم تدريبه لفهم المستويات الثلاثة جميعها، يمكنك رفع "مقبض التفاصيل" أو خفضه أثناء المحادثة الفعلية.

إذا كان لديك كمبيوتر خارق القدرة، يمكنك إعطاؤه المزيد من تفاصيل الكائنات.
إذا كنت تشغل الذكاء الاصطناعي على هاتف ذكي رخيص، يمكنك "تقليم" (قص) تفاصيل الكائنات الإضافية وإعطائه الأساسيات فقط. لن "يفقد" الذكاء الاصطناعي عقله — سيظل ذكياً بشكل ملحوظ حتى مع وجود معلومات قليلة جداً.

3. إنه أكثر دقة (ميزة "مكافحة الهلوسة"):
أحياناً، عندما يحاول الذكاء الاصطناعي النظر إلى كل شيء في وقت واحد، يصاب بالارتباك ويبدأ في "الهلوسة" (رؤية أشياء ليست موجودة). ولأن Mask-LLaVA يركز "تسليط الضوء" الخاص به تحديداً على الكائنات الحقيقية، فإنه أفضل بكثير في الإجابة على أسئلة مثل "هل توجد مزهرية في هذه الغرفة؟" دون تخمين.

ملخص في كبسولة

الذكاء الاصطناعي الحالي يحاول قراءة الصورة مثل كتاب عبر النظر إلى كل حرف فيه. أما Mask-LLaVA فيقرأ الصورة مثل البشر: يأخذ الفكرة العامة، وينظر إلى التخطيط، ثم يركز عينيه على الكائنات المهمة. وهذا يجعل الذكاء الاصطناعي أسرع، وأرخص، وأذكى.

ملخص تقني: Mask-LLaVA: تركيب الرموز لنماذج الرؤية واللغة

1. بيان المشكلة

تعاني نماذج الرؤية واللغة (VLMs) ذات التوليد الذاتي الحالية، مثل LLaVA و LLaVA-NeXT، من تكالفت حوسبية عالية أثناء الاستنتاج. ويرجع ذلك أساسًا إلى العدد الهائل من الرموز البصرية (visual tokens) المطلوبة لتمثيل الصورة. على سبيل المثال، بينما يستخدم نموذج LLaVA-1.5 نحو 576 رمزًا، يمكن للنماذج الأحدث ذات الدقة العالية أن تستخدم ما يصل إلى 2,880 رمزًا. وبما أن هذه الرموز تُغذى إلى نموذج لغة كبير (LLM)، فإن طول التسلسل يزدادة بشكل كبير، مما يؤدي إلى زيادة زمن الاستجابة واستهلاك الذاكرة. تركز الحلول الحالية عادةً على تقليم الرموز (حذف الرموز) أو ضغط الرموز (تجميع الرموز)، لكنها غالبًا ما تعمل فقط على الرموز المعتمدة على الرقع (patch-wise tokens) وتواجه صعوبة في الحفاظ على الأداء عند تقليل عدد الرموز بشكل جذري.

2. المنهجية

يقترح المؤلفون Mask-LLaVA، وهو إطار عمل يحقق الكفاءة من خلال استخدام استراتيجية تركيب الرموز متعددة المستويات. فبدلاً من الاعتماد فقط على شبكة كثيفة من رموز الرقع، يجمع Mask-LLaVA بين ثلاثة مستويات متميزة من التمثيل البصري:

الميزات العالمية ( $F_{global}$ ): رمز [CLS] من العمود الفقي للرؤية (مثل ViT)، والذي يوفر ملخصًا عالي المستوى لسياق الصورة بأكمها.
الميزات المحلية ( $F_{local}$ ): مجموعة مدمجة من رموز الرقع المجمعة. يتم إعادة تشكيل الـ 576 رمز رقعة الأصلية إلى شبكة 24×24 ثم معالجتها عبر تجميع متوسط ثنائي الأبعاد (2D average pooling) (على سبيل المثال، باستخدام نواة 4×4) لتقليل التكرار مع الحفاظ على البنية المكانية.
الميزات المتمحورة حول الكائنات ( $F_{object}$ ): هذا هو الابتكار الجوهري. يستخدم النموذج مسارًا مؤتمتًا:
1. كشف الكائنات: يقوم كاشف "وجود الكائنات" (Deformable DETR) بتحديد صناديق الإحاطة (bounding boxes).
2. التجزئة: يقوم نموذج SAM (Segment Anything Model) بإنشاء أقنعة دقيقة لهذه الصناديق، بالإضافة إلى قناع الخلفية.
3. عكس القناع (Maskinversion): عملية متخصصة تعمل على تحسين رمز التضمين (embedding token) بحيث يتوافق "خريطة القابلية للتفسير" الخاصة به مع قناع التجزئة المحدد، مما يؤدي فعليًا إلى "تقطير" ميزات ذلك الكائن المحدد في رمز واحد.
4. الترميز الموضعي: تُضاف تضمينات جيبية (Sinusoidal embeddings) بناءً على مراكز صناديق الإحاطة للحفاظ على الوعي المكاني.

التحسينات التقنية الرئيسية:

تدرج الرموز (Token Scaling): نظرًا لأن أنواع الرموز المختلفة (CLS، patch، object) لها معايير عددية مختلفة، فقد طبق المؤلفون آلية قياس. حيث يقومون بتطبيع (normalize) رموز CLS والرموز الكائنية باستخدام المتوسط ( $\mu$ ) والانحراف المعياري ( $\sigma$ ) لرموز الرقع لضمان معالجتها بمقياس متسق بواسطة نموذج اللغة الكبير (LLM).
التقليص الديناميكي للرموز: أثناء التدريب، يتم تدريب النموذج على مجموعة "مفرطة العينات" (جميع الرموز). وفي وقت الاختبار، يمكن للنموذج إسقاط الرموز الكائنية بمرونة (باستخدام تصفية قائمة على IoU) أو تجميع رموز الرقع بشكل أكبر دون الحاجة لإعادة التدريب.

3. المساهمات الرئيسية

تركيب الرموز الهرمي: تقديم طريقة مبتكرة لدمج الرموز العالمية، والمحلية، والمستوى الكائني في تدفق إدخال واحد.
التمثيل الكائني الفعال: إعادة توظيف تقنية عكس القناع (Maskinversion) لتفكيك ميزات العمود الفقي البصري إلى أجزاء كائنية مكونة للتعلم متعدد الوسائط.
مرونة الاستنتاج الخالية من التدريب: إثبات أن النموذج المدرب على مجموعة كبيرة من الرموز يمكن تقليصه ديناميكيًا في وقت الاختبار لتلبية ميزانيات حوسبية مختلفة دون انخفاض كبير في الأداء.
استراتيجية قياس المعيار (Norm Scaling): اقتراح طريقة لمواءمة مقاييس الميزات لأنواع الرموز غير المتجانسة.

4. النتائج

تم تقييم النموذج على ثمانية اختبارات معيارية (بما في ذلك VQAv2، GQA، POPE، MME، و MMBench).

الكفاءة مقابل الأداء: يحقق Mask-LLaVA نتائج تنافسية باستخدام جزء ضئيل فقط من الرموز التي يستخدمها نموذج LLaVA المرجعي. عند نسبة تقليص تبلغ 90% (باستخدام حوالي 57 رمزًا فقط)، فإنه يتفوق على العديد من الطرق الرائدة في كفاءة الرموز (مثل FastV و FitPrune) وينافس نموذج LLaVA-1.5 الأصلي.
الضغط الشديد: حتى عند مستويات التقليص القصوى (على سبيل المثال، تقليص بنسبة 97%، باستخدام 15 رمزًا فقط)، يحافظ النموذج على أداء عالٍ، بينما تشهد طرق التقليم التقليدية انخفاضًا حادًا.
المتانة تجاه الهلوسة: في اختبار POPE (الذي يختبر هلوسة الكائنات)، أظهر Mask-LLaVA قدرة فائقة على تحديد وجود أو غياب الكائنات بشكل صحيح مقارنة بنموذج LLaVA القياسي.
التوسع مع النماذج الأكبر: أكدت التجارب مع عمود فقري بـ 13 مليار معلمة (Vicuna-13B) أن مكاسب الكفاءة تظل قائمة مع توسع نموذج اللغة.

5. الأهمية

يمثل Mask-LLaVA تحولًا من معالجة الرؤية "القائمة على الرقع الكثيفة" إلى معالجة الرؤية "المدركة دلاليًا". ومن خلال إعطاء الأولوية للرموز التي تمثل كائنات حقيقية وسياقًا عالميًا، يحاكي النموذج الانتباه البصري البشري — بالتركيز على الكيانات ذات المعنى بدلاً من كل رقعة بكسل. وهذا يجعل الإطار العملي ذا أهمية كبيرة للحوسبة الطرفية والنشر على الأجهزة المحمولة، حيث يجب أن يكون استنتاج نموذج اللغة الكبير سريعًا للغاية وفعالًا في استهلاك الذاكرة، ومع ذلك يظل قادرًا على الاستدلال المعقد والتعرف الدقيق على الكائنات.