Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM

إليك ملخص تقني مفصل لورقة البحث بعنوان "Granulon: إيقاظ المشفّرات البصرية على مستوى البكسل عبر الدلالات التكيفية متعددة التدرج لنماذج اللغة الكبيرة متعددة الوسائط (MLLM)".

1. بيان المشكلة

تواجه نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) حاليًا مقايضة جوهرية في التشفير البصري:

• المشفّرات القائمة على CLIP: تتفوق هذه النماذج في المحاذاة الدلالية العالمية والفهم عبر الوسائط، لكنها تعاني من نقص في التفاصيل البصرية دقيقة الحبيبات (مثل الأنسجة، أو سمات كائن محدد). فهي تميل إلى إنتاج تمثيلات خشنة تؤدي إلى فقدان المعلومات في الاستنتاج على مستوى البكسل.
• المشفّرات على مستوى البكسل (مثل DINOv3): تمتلك هذه النماذج (تحديدًا النماذج ذات التعلم الذاتي مثل DINOv3) إدراكًا استثنائيًا على مستوى البكسل وفهمًا للبنية العلاقاتية. ومع ذلك، فهي تفتقر إلى التجريد الدلالي خشن الحبيبات، مما يجعلها أقل فعالية في المهام التي تتطلب استنتاجًا عالي المستوى أو سياقًا عالميًا.
• الفجوة: تعتمد الحلول الحالية غالبًا على بنيات متعددة المشفّرات (التي تجمع بين CLIP وDINO)، وهي مكلفة حوسبيًا وتفشل في توحيد الاستنتاج من الخشن إلى الناعم ضمن مشفّر واحد. هناك حاجة إلى آلية تسمح لمشفّر واحد يعمل بمستوى البكسل بتكييف مستوى تجريده ديناميكيًا بناءً على الاستعلام المدخل.

2. المنهجية: Granulon

يقترح المؤلفون Granulon، وهو بنية MLLM مبتكرة مبنية على المشفّر البصري DINOv3. بدلاً من الاعتماد على الميزات العالمية الثابتة، يقدم Granulon تعزيزًا تكيفيًا لتدرج الحبيبات لإطلاق القدرة الدلالية الكامنة للمشفّرات التي تعمل بمستوى البكسل. تتكون البنية من وحدتين أساسيتين:

أ. متحكم التدرج المشروط بالنص

• الوظيفة: تتنبأ هذه الوحدة ديناميكيًا بمستوى التجريد البصري الأمثل (تدرج الحبيبات) بناءً على التعقيد اللغوي والنطاق المرجعي للمدخل النصي (السؤال).
• الآلية:
  • تأخذ تمثيلات النص ($T_e$) من الطبقة الأولى للنموذج اللغوي الكبير (LLM).
  • تقوم بتجميع هذه التمثيلات عبر طبقة تجميع وإسقاط ($\Psi_{agg}$) لإنشاء واصف نصي مدمج.
    ways.
  • يقوم رأس MLP ($\Phi_{MLP}$) برسم هذا الواصف على توزيع احتمالي فوق مجموعة محددة مسبقًا من فرضيات التدرج ($\pi_\Theta = \{g_k\}$).
  • تحدد كل فرضية $g_k$ معلمات لخفض العينات المكاني ($\alpha_k$) وعدد عناصر العناقيد الرمزية ($\beta_k$).
• النتيجة: يتعلم النموذج اختيار الإعدادات "الخشنة" للأسئلة العالمية (مثل "ما هو المشهد؟") والإعدادات "الدقيقة" للأسئلة التي تهتم بالتفاصيل (مثل "ما لون أذن الكلب؟").

ب. التجميع التكيفي للرموز (AdaTA)

بمجرد تحديد معلمات التدرج، تقوم وحدة AdaTA بمعالجة الميزات البصرية من DINOv3 لإنشاء رموز دلالية. وهي تعمل عبر ثلاث مراحل:

1. التجميع الموجه بالتدرج: يتم خفض عينات خريطة الميزات البصرية مكانيًا باستخدام حجم نواة (kernel size) يتم تحديده بواسطة $\alpha^*$ الخاص بالمتحكم. وهذا يربط دقة الرموز بمستوى التجريد المطلوب.
2. تجميع الميزات (Clustering): تقوم عملية k-means مصغرة بتجميع الميزات المجمعة في عناقيد. يتم التحكم في عدد العناقيد بواسطة $\beta^*$. ومن المهم أن يأخذ التجميع في الاعتبار كل من التقارب المكاني وأنماط الانتباه (التماسك العلاقاتي) لضمان أن يمثل كل عنقود منطقة متسقة دلاليًا.
3. صقل واختيار الميزات: يتم حساب درجة جودة لكل عنقود بناءً على الدعم المكاني، التجانس الدلالي، والانتشار. يتم اختيار أفضل $K$ من العناقيد لتشكيل الرموز الدلالية النهائية.

ج. هدف التدريب

يتم تدريب Granulon لتعظيم الاحتمالية المشتركة لتدفقين متكاملين من الرموز:

1. المساهمة على مستوى البكسل: لضمان احتفاظ النموذج بالتفاصيل دقيقة الحبيبات.
2. مساهمة التدرج: لضمان أن الرموز الدلالية المجمعة توفر فهمًا عالميًا قويًا.
   تجمع دالة الخسارة بين خسارة المهمة القياسية والمنظمات التي تشجع الرموز البكسلية والدلالية الغنية بالمعلومات، والتي يتم موازنتها بواسطة المعاملات $\lambda_d$ و $\lambda_t$.

3. المساهمات الرئيسية

• نموذج جديد لـ MLLMs: تحدد الورقة اتجاهًا جديدًا لتعزيز المشفّرات بمستوى البكسل (مثل DINOv3) بقدرات التجريد خشنة الحبيبات، بدلاً من الاعتماد فقط على مشفّرات CLIP الدلالية.
• بنية Granulon: تقديم إطار عمل موحد يدمج متحكمًا مشروطًا بالنص وتجميعًا تكيفيًا للرموز (AdaTA) لتعديل التجريد البصري ديناميكيًا من "البكسل" إلى "الدقيق" إلى "الخشن" في تمريرة أمامية واحدة.
• مكاسب الأداء: يوضح أن التدرج التكيفي يحسن دقة الاستنتاج ويقلل من الهلوسة مقارنة بالمشفّرات الثابتة.
• القابلية للتفسير: يوفر تحليلًا يظهر أن Granulon يحقق محاذاة أفضل مع الطبقات الخاصة بالنموذج اللغوي الكبير (LLM) مقارنة بالنماذج المرجعية، مما يؤكد أن التحسن نابع من آلية التدرج التكيفي وليس من انحياز النموذج.

4. النتائج التجريبية

قيم المؤلفون Granulon عبر اختبارات متنوعة (VQA، وصف الصور، الاستنتاج، والمجال الطبي) باستخدام إعدادات متطابقة لإجراء مقارنة عادلة مع نماذج CLIP وSigLIP وDINOv2 وDINOv3 المرجعية.

• تحسينات الدقة:
  • VQA (SEED-Bench & A-OKVQA): حسن Granulon الدقة بنسبة ~30% مقارنة بنماذج CLIP المرجعية (على سبيل المثال، 58.8% مقابل 50.91% في SEED-Bench مع Qwen2.5).
  • الاستنتاج (FLUX-Reason): حقق درجة GPT بلغت 56.67% (مع Llama3)، متفوقًا على DINOv2 (19.49%) وCLIP (28.97%) بفوارق كبيرة.
  • المجال الطبي (SurgVLM): أظهر أداءً فائقًا في التعرف على المراحل والأدوات، حيث وصل إلى درجات BERT تبلغ 97.32% و97.95%.
• تقليل الهلوسة:
  • قلل Granulon معدلات الهلوسة بنسبة ~20% مقارنة بالنماذج المرجعية.
  • في مهام الاستنتاج مع Llama3، انخفض معدل الهلوسة من 61.3% (DINOv3) إلى 46.3% (Granulon)، وهو انخفاض نسبي قدره 46%.
• الكفاءة: بينما يؤدي المتحكم التكيفي إلى زيادة طفيفة في استهلاك الرموز (~10%)، فإن مكسب الأداء الإجمالي (تحسن يصل إلى 39.7% عن DINOv3 الأصلي) يفوق التكلفة بكثير، مما يثبت أن الاختيار المتكيف مع النص أكثر أهمية من كمية الرموز الخام.

5. الأهمية

• توحيد الإدراك والاستنتاج: نجح Granulon في سد الفجوة بين الإدراك البكسلي منخفض المستوى والاستنتاج الدلالي عالي المستوى داخل مشفّر واحد، مما يلغي الحاجة إلى إعدادات متعددة المشفّرات ذات التكلفة الحوسبية العالية.
• تخفيف الهلوسة: من خلال ربط النموذج اللغوي الكبير (LLM) بأدلة بصرية تكيفية ومتعددة المقاييس، يصبح النموذج أقل عرضة لـ "النشاط المفرط" للمقدمات الدلالية الداخلية التي تؤدي إلى الهلوسة.
• الاتجاه المستقبلي: تشير هذه الدراسة إلى أن مستقبل نماذج MLLM لا يكمن فقط في النماذج الأكبر، بل في التمثيلات البصرية الديناميكية والمتكيفة مع المهام التي يمكنها الانتقال بمرونة بين وضعيات الاستنتاج التفصيلية والمجردة بناءً على قصد المستخدم.

في الختام، يثبت Granulon أن المشفّرات بمستوى البكسل، عندما تُزود بتحكم دلالي تكيفي، يمكن أن تتفوق على المشفّرات الدلالية الراسخة (مثل CLIP) في كل من الدقة والموثوقية، مما يقدم مسارًا واعدًا نحو استنتاج متعدد الوسائط قوي.