💻 computer science

LLaVA-UHD v4: What Makes Efficient Visual Encoding in MLLMs?

يقدم LLaVA-UHD v4 مخطط ترميز بصري عالي الدقة يجمع بين الترميز القائم على الشرائح والضغط المبكر داخل نموذج ViT لتقليل عمليات الحساب العائمة (FLOPs) للترميز البصري بنسبة 55.8% مع الحفاظ على أداء النماذج اللغوية الكبيرة متعددة الوسائط الحالية أو تجاوزه.

المؤلفون الأصليون: Kechen Fang, Yihua Qin, Chongyi Wang, Wenshuo Ma, Tianyu Yu, Yuan Yao

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kechen Fang, Yihua Qin, Chongyi Wang, Wenshuo Ma, Tianyu Yu, Yuan Yao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة فوتوغرافية ضخمة وعالية الدقة لشارع مدينة مزدحم. تريد من مساعد ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير متعدد الوسائط، أو MLLM) أن ينظر إلى هذه الصورة ويجيب على أسئلة حولها، مثل "ما هي اللوحة الموجودة على المخبز؟" أو "كم عدد الأشخاص الذين يعبرون الشارع؟"

المشكلة هي أن هذه الصورة ضخمة جداً لدرجة أنها تحتوي على ملايين التفاصيل الصغيرة (البكسلات). إذا قمت بتغذية الذكاء الاصطناعي بالصورة بأكملرها دفعة واحدة، فسيصاب بالإرهاق. الأمر يشبه محاولة قراءة مكتبة كاملة من الكتب في ثانية واحدة؛ سيصبح الذكاء الاصطناعي عالقاً وهو يحاول معالجة كل هذه المعلومات دفعة واحدة، مما يجعله بطيئاً ومكلفاً في التشغيل.

قرر مؤلفو هذه الورقة البحثية، LLaVA-UHD v4، إعادة التفكير في كيفية تغذية هذه الصور العملاقة للذكاء الاصطناعي. لقد وجدوا حيلتين ذكيتين لجعل العملية أسرع دون فقدان أي تفاصيل مهمة.

1. استراتيجية "التقطيع والتقسيم" (بدلاً من الفطيرة الكاملة)

الطريقة القديمة: تقليدياً، كان الناس يحاولون تغذية الصورة العملاقة بأكملها إلى "دماغ الرؤية" الخاص بالذكاء الاصطناعي (المسمى Vision Transformer) دفعة واحدة. كان على الذكاء الاصطناعي النظر إلى كل بكسل وتحديد كيفية ارتباطه بكل بكسل آخر عبر الصورة بأكملها. كان هذا مجهداً حوسبياً، مثل محاولة حل أحجية مكونة من 10,000 قطعة وأنت معصوب العينين، ثم نزع العصابة لتتحقق من عملك.

الطريقة الجديدة (التشفير القائم على الشرائح): أدرك المؤلفون أنه من الأفضل تقطيع الصورة العملاقة إلى شرائح أصغر يمكن التحكم فيها (مثل تقطيع بيتزا كبيرة إلى شرائح فردية) والنظر إليها واحدة تلو الأخرى.

التشبيه: تخيل أنك تحاول قراءة خريطة مفصلة وكبيرة. بدلاً من التحديق في الخريطة بأكملها ومحاولة تذكر كل شارع في آن واحد، تستخدم عدسة مكبرة للنظر إلى حي واحد في كل مرة.
النتيجة: للمفاجأة، فهم الذكاء الاصطناعي التفاصيل بشكل أفضل بالفعل عندما نظر إلى الشرائح. من خلال التركيز على مناطق صغيرة ومحلية، تمكن الذك الذكاء الاصطناعي من رصد الأشياء الدقيقة (مثل النص على لافتة أو كائن معين) بوضوح أكبر مما كان عليه الحال عندما كان يحاول معالجة الصورة الفوضوية بأكملها في وقت واحد.

2. استراتيجية "الخروج المبكر" (الضغط قبل العمل الشاق)

الطريقة القديمة: حتى بعد تقسيم الصورة إلى شرائح، كانت لا تزال هناك قطع كثيرة جداً ليتمكن الذكاء الاصطناعي من التعامل معها بكفاءة. كانت الطريقة القديمة هي ترك الذكاء الاصطناعي يعالج جميع الشرائح بالكامل أولاً، ثم يحاول تقليص المعلومات في النهاية تماماً.

التشبيه: هذا يشبه استئجار فريق من 100 عامل نقل لحمل كل صندوق في المنزل إلى الشاحنة، ثم إدراك "أوه، نحن نحتاج فقط إلى 25 صندوقاً"، ورمي الـ 75 صندوقاً المتبقية. لقد أهدرت الكثير من الجهد في نقل صناديق لم تكن بحاجة إليها.

الطريقة الجديدة (الضغط الداخلي المبكر لـ ViT): قام المؤلفون ببناء وحدة "ضاغط" خاصة توضع داخل دماغ الرؤية الخاص بالذكاء الاصطناعي، بالقرب من البداية.

التشبيه: بدلاً من نقل جميع الـ 100 صندوق، يعمل هذا الضاغط الجديد مثل فرز ذكي عند الباب الأمامي. فهو يقوم فوراً بتجميع الصناديق المتشابهة معاً ويرمي النسخ المكررة قبل أن يبدأ فريق النقل الثقيل عمله.
السر الخفي: لجعل هذا يعمل دون تعطيل دماغ الذكاء الاصطناعي، لم يقوموا فقط برمي قطع عشوائية. لقد استخدموا تقنية "البداية الدافئة" (warm start)؛ حيث أخذوا المعرفة التي يمتلكها الذكاء الاصطناعي بالفعل حول كيفية النظر إلى الصور واستخدموها لتعليم الضاغط الجديد كيفية تقليص البيانات. إنه يشبه تعليم موظف جديد من خلال جعله يرافق خبيراً مخضرماً، بدلاً من البدء من الصفر.

النتيجة النهائية: LLaVA-UHD v4

من خلال الجمع بين التقطيع (النظر إلى الصورة كأجزاء) والضغط المبكر (تقليص البيانات قبل بدء المعالجة الثقيلة)، أنشأوا نظاماً جديداً يسمى LLaVA-UHD v4.

السرعة: يقلل من العمل الحوسبي (الطاقة والوقت) بنسبة تقارب 56%.
الذكاء: رغم القيام بعمل أقل، إلا أنه يجيب على الأسئلة بنفس جودة الأنظمة الأبطأ أو حتى أفضل منها. وهو بارع بشكل خاص في قراءة النصوص ورصد التفاصيل الدقيقة في الصور عالية الدقة.

باخت-صار: تظهر الورقة البحثية أنك لست بحاجة لإجبار الذكاء الاصطناعي على التحديق في صورة ضخمة دفعة واحدة لفهمها. من خلال تقسيم الصورة إلى قطع وتلخيص المعلومات بذكاء في مرحلة مبكرة، يمكنك جعل الذكاء الاصطناعي أسرع وأرخص دون جعله "أقل ذكاءً".

ملخص تقني: LLaVA-UHD v4

بيان المشكلة

يمثل الترميز البصري (Visual encoding) عائقاً حسابياً رئيسياً في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، لا سيالما عند معالجة الصور عالية الدقة. يعتمد النموذج السائد حالياً على الترميز الشامل (Global encoding)، حيث يتم تغذية الصورة الكاملة مباشرة إلى محول الرؤية (Vision Transformer - ViT)، يليه ضغط ما بعد الـ ViT (Post-ViT compression) لتقليل تسلسل الرموز (tokens) قبل دخوله إلى النموذج اللغوي الكبير (LLM).

يعاني هذا النهج من عدم كفاءة حرجة في جانبين:

التكلفة التربيعية للانتباه (Quadratic Attention Cost): يجبر الترميز الشامل محول الرؤية (ViT) على حساب الانتباه الذاتي الكامل عبر تسلسل ضخم من الرموز (يتناسب مع مساحة الصورة) قبل حدوث أي عملية تقليص.
توقيت الضغط غير الفعال: يعمل الضغط الذي يلي مرحلة الـ ViT على تخفيف العبء عن النموذج اللغوي الكبير (LLM) فحسب؛ لكنه لا يقلل التكلفة الحسابية المتكبدة داخل الـ ViT نفسه، حيث تم تنفيذ كامل حسابات المشفّر بالفعل.

مع زيادة دقة الصور، يصبح "انفجار الرموز" (token explosion) هذا حاجز كفاءة مركزي أمام الترميز البصري عالي الدقة في النماذج الحديثة.

المنهجية

يقترح المؤلفون LLaVA-UHD v4، وهو مخطط ترميز بصري فعال يعيد التفكير في استراتيجية الترميز وتوقيت ضغط الرموز. تعتمد المنهجية على ركيزتين أساسيتين:

1. الترميز القائم على الشرائح (Slice-Based Encoding - SE) مقابل الترميز الشامل (Global Encoding - GE)

خلافاً للإجماع في المجتمع العلمي بأن الترميز الشامل هو الأفضل للحفاظ على السياق، يثبت المؤلفون أن الترميز القائم على الشرائح أكثر فعالية للمدخلات عالية الدقة.

الآلية: بدلاً من تغذية الصورة الكاملة إلى الـ ViT، يتم تقسيم الصورة إلى صورة مصغرة (thumbnail) منخفضة الدقة ومجموعة من الشرائح عالية الدقة بناءً على سياسة شبكة تراعي نسبة العرض إلى الارتفاع. يتم ترميز هذه المناظر بشكل مستقل.
الميزة: يحافظ هذا النهج على التفاصيل المحلية من خلال السماح للمشفّر بالتركيز على الأنماط الدقيقة داخل كل شريحة. والأهم من ذلك، أنه يتجنب هيكلياً التضخم الحسابي التربيعي المرتبط بالانتباه الذاتي الشامل على الصورة بأكملها.

2. الضغط المبكر داخل الـ ViT (Intra-ViT Early Compression)

لمعالجة التكلفة الحسابية المتبقية داخل الـ ViT، قدم المؤلفون ضاغطاً مبكراً يعيد استخدام المعلمات (parameter-reuse early compressor) يتم إدراجه داخل مسار الـ ViT، وليس بعده.

الموضع: يتم إدراج الضاغط ( $D$ ) بعد طبقة ضحلة محددة ( $k=6$ في هيكل SigLIP 2) من الـ ViT.
البنية: تتكون الوحدة من:
1. انتباه النافذة (Window Attention): كتلة انتباه نافذة غير متداخلة ( $2 \times 2$ ) تسمح للرموز بالتفاعل مع جيرانها المكانيين المباشرين.
2. أخذ العينات والدمج (Downsampling & Fusion): عملية "Pixel-Unshuffle" بنسبة $2 \times 2$ تتبعها طبقة MLP تقوم بدمج القنوات، مما يقلل عدد الرموز بمقدار $4\times$ .
استراتيجية التهيئة: لمنع تعطيل التمثيلات البصرية سابقة التدريب، لا يتم تهيئة الضاغط عشوائياً. بدلاً من ذلك، فإنه يعيد استخدام أوزان طبقة الـ ViT السابقة (تحديداً أوزان إسقاط الانتباه وأوزان الـ FFN). تضمن هذه "البداية الدافئة" (warm start) أن تعمل الوحدة الجديدة على نفس مجال التمثيل الخاص بالـ ViT الأصلي منذ خطوة التدريب الأولى.

3. مسار الضغط ثنائي المراحل

تستخدم البنية النهائية مسار تقليص مكون من مرحلتين:

داخل الـ ViT (Intra-ViT): يحدث تقليص بمقدار $4\times$ في مرحلة مبكرة من المشفّر (بعد الطبقة 6)، مما يضمن أن معظم طبقات الـ Vi� اللاحقة تعمل على $25\%$ فقط من ميزانية الرموز الأصلية.
بعد الـ ViT (Post-ViT): يقوم موصل (connector) قياسي يعتمد على الـ MLP (باستخدام Pixel-Unshuffle) بعملية تقليص إضافية بمقدار $4\times$ قبل الـ LLM، مما يؤدي إلى نسبة ضغط إجمالية قدرها $16\times$ من البداية إلى النهاية.

المساهمات الرئيسية

إعادة النظر في نماذج الترميز: يثبت البحث تجريبياً أن الترميز القائم على الشرائح يتفوق باستمرار على الترميز الشامل عبر مختلف الاختبارات المعيارية (بما في ذلك مهام التعرف الضوئي على الحروف OCR والإدراك الدقيق) وأحجام البيانات، مما يتحدى الافتراض بأن السياق العالمي ضروري دائماً للفهم عالي الدقة.
بنية الضغط داخل الـ ViT: اقترح المؤلفون وحدة ضغط مبكرة مبتكرة تقلل الرموز داخل الـ ViT. ومن خلال الجمع بين انتباه النافذة وتهيئة إعادة استخدام المعلمات، حققوا توفيراً هائلاً في الحسابات دون التضحية بالقدرة التمثيلية للنموذ de المسبقة التدريب.
LLaVA-UHD v4: يؤدي دمج الترميز القائم على الشرائح مع الضغط داخل الـ ViT إلى نظام يقلل عمليات الـ FLOPs للترميز البصري بنسبة 55.75% مع مضاهاة أو تفوق الأداء على النماذج المرجعية القوية التي تعتمد على ما بعد الـ ViT.

النتائج التجريبية

قيم المؤلفون LLaVA-UHD v4 مقابل نموذج مرجعي قوي يعتمد على ما بعد الـ ViT (ترميز قائم على الشرائح مع ضاغط MLP بمقدار $16\times$ بعد الـ ViT) عبر ثمانية اختبارات معيارية تغطي الأسئلة البصرية العامة (VQA)، والاستنتاج، والإدراك الدقيق (مثل OCRBench، MMMU، MathVista).

الكفاءة: قللت الطريقة المقترحة عمليات الـ FLOPs للترميز البصري من 3555.1 G إلى 1573.1 G (انخفاض بنسبة 55.75%) لشريحة واحدة.
الأداء: عبر أحجام بيانات تدريب تتراوح من 4 ملايين إلى 64 مليون عينة، طابقت LLaVA-UHD v4 أداء النموذج المرجعي بهامش ضئيل جداً (متوسط انحراف قدره $-0.29$ نقطة).
دراسات الاستئصال (Ablation Studies):
- توقيت الضغط: إدراج الضاغط مبكراً جداً (مثلاً في الطبقة 3) يدمر الأداء، بينما إدراجه متأخراً جداً (مثلاً في الطبقة 15) يعطي عوائد ضئيلة. تم تحديد الطبقة 6 كأفضل حل وسط.
- تصميم الوحدة: الفشل في استعادة دقة النموذج المرجعي عند استخدام الدمج البسيط (Average Pool) أو التهيئة العشوائية. إن الجمع بين انتباه النافذة (Window Attention) وتهيئة إعادة استخدام المعلمات (Parameter-Reuse Initialization) أمر ضروري للحفاظ على الأداء.
- تصميم الموصل (Connector): يتفوق الموصل المعتمد على الـ MLP في دمج المساحات على أدوات إعادة العينات القائمة على الاستعلام (query-based resamplers)، خاصة عند نسب الضغط المنخفضة.

الأهمية والادعاءات

يزعم البحث أنه يمكن تحسين كفاءة الترميز البصري بشكل كبير دون التضحية بالأداء في المهام اللاحقة من خلال نقل نموذج الضغط من "ما بعد الـ ViT" إلى "داخل الـ ViT".

اتجاه التصميم: يوفر العمل اتجاهاً تصميمياً عملياً لنماذج MLLM عالية الدقة وفعالة، مما يشير إلى إمكانية إجراء تقليص عدواني للرموز داخل مشفر الرؤية.
القابلية للتوسع: من خلال تقليل الاختناق الحسابي داخل الـ ViT، يتيح هذا النهج نماذج تأسيسية متعددة الوسائط أكثر قابلية للتوسع وقادرة على التعامل مع مدخلات فائقة الدقة.
النطاق المحدود: يقر المؤلفون بأن وحدتهم الحالية تستخدم معدل خفض عينات موحداً وثابتاً. ويشيرون إلى أن العمل المستقبلي يمكن أن يستكشف آليات تقليل الرموز الديناميكية المعتمدة على المحتوى (على سبيل المثال، تخصيص المزيد من الرموز للمناطق الكثيفة بالنصوص) وأن العمق الأمثل للإدراج قد يختلف باختلاف بنيات الـ Backbone.

باختสร، يوضح LLaVA-UHD v4 أنه من خلال إعادة التفكير في أين وكيف يتم ضغط الرموز البصرية، يمكن تحقيق توفير كبير في الحسابات مع الحفاظ على قدرات الإدراك الدقيق المطلوبة للمهام متعددة الوسائط المتقدمة.