Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space
تقدم هذه الورقة أول دراسة منهجية تقارن بين نماذج اللغة الانتشارية متعددة الوسائط ونماذج اللغة الرؤيوية ذات التوليد الذاتي كأدوات تضمين، كاشفةً أنه في حين تظهر النماذج الأولى أداءً أقل بشكل عام بسبب عدم كفاية المحاذاة بين الصورة والنص، فإن فجوة الأداء تتباين بشكل كبير بين نماذج محددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة حيث يتم تخزين كل كتاب وصورة وفيديو ليس على الرفوف، بل كـ "هالة" أو "بصمة" فريدة. في عالم الذكال الاصطناعي، تُسمى هذه البصمات Embeddings (التضمينات). وهي تتيح للحواسيب أن تفهم أن صورة كلب وكلمة "كلب" مرتبطان ببعضهما، رغم أن أحدهما صورة والآخر نص.
لفترة طويلة، كانت الطريقة الأفضل لإنشاء هذه البصمات هي استخدام النماذج ذات الترتيب التلقائي (Autoregressive Models). فكر في الأمر كشخص يقرأ قصة كلمة بكلمة، من اليسار إلى اليمين. إنهم بارعون جداً في فهم السياق لأنهم يبنون المعنى خطوة بخطوة.
مؤخراً، ظهر نوع جديد من الذكاء الاصطناعي يُسمى نماذج الانتشار (Diffusion Models). تخيل هؤلاء مثل النحات الذي يبدأ بكتلة من الرخام مغطاة بالضجيج، ثم يبدأ ببطء في نحت الضجيج ليكشف عن التمثال. أو فكر فيهم كشخص يمكنه النظر إلى جملة كاملة دفعة واحدة وملء الكلمات المفقودة في آن واحد، بدلاً من التخمين واحدة تلو الأخرى. هذه النماذج رائعة لأنها تستطيع رؤية "الصورة الكبيرة" (الانتباه ثنائي الاتجاه) دفعة واحدة.
السؤال الكبير
سأل الباحثون في هذه الورقة سؤالاً بسيطاً: هل يمكن لهذه النماذج الجديدة من نوع "النحات" (Diffusion) أن تكون بجودة نماذج "القارئ" (Autoregressive) القديمة في إنشاء بصمات "الهالة" هذه؟
التجربة
لمعرفة ذلك، أخذ الفريق أفضل نموذجين من نوع "النحات" (يُسميان LaViDa و MMaDA) وأفضل نموذجين من نوع "القارئ" (يُسميان LLaVA-1.6 و Qwen2.5-VL). وعلموا جميع هذه النماذج كيفية إنشاء هذه البصمات باستخدام طريقة تدريب قياسية (مثل تعليمهم مطابقة صورة مع وصفها الصحيح).
ثم وضعوهم تحت الاختبار في ثلاثة سيناريوهات مختلفة:
- التصنيف (Classification): "ما هذه الصورة؟" (مثلاً: هل هي قطة أم كلب؟)
- الإجابة على الأسئلة البصرية (VQA): "بالنظر إلى هذا الرسم البياني، ما هي أعلى قيمة؟"
- الاسترجاع (Retrieval): "ابحث لي عن صورة تطابق هذا الوصف المحدد."
النتائج: "النحاتون" عانوا
كانت النتائج مفاجئة. فعلى الرغم من أن نماذج "النحات" (Diffusion) تمتلك قوة خارقة وهي القدرة على رؤية كل شيء في وقت واحد، إلا أنها بشكل عام أدت أداءً أقل مقارنة بنماذج "القارئ".
- "النحات الجيد" (LaViDa): أدى هذا النموذج بشكل جيد جداً. كان متأخراً قليلاً فقط عن أفضل نماذج "القارئ" (بفارق 3 إلى 4 نقاط على مقي scale من 100)، وكان بارعاً بشكل خاص في التعامل مع أنواع البيانات الجديدة وغير المألوفة (خارج النطاق)، مما يش sugiere أنه أكثر مرونة.
- "النحات المتعثر" (MMaDA): كان لهذا النموذج فجوة هائلة. فقد سجل أقل بأكثر من 20 نقطة من نماذج "القارئ" في جميع المجالات. ببساطة، لم يستطع مواكبة المنافسة.
لماذا حدث هذا؟
تعمق الباحثون لفهم سبب خسارة "النحاتين". ووجدوا سببين رئيسيين:
- بصمات غير متطابقة: في نماذج "القارئ"، تصبح الصورة والنص قريبين جداً من بعضهما في مساحة البصمة (يتطابقان تماماً). أما في نماذج "النحات"، فغالباً ما تظل بصمة الصورة وبصمة النص بعيدتين عن بعضهما، مثل شخصين يحاولان الإمساك بأيدي بعضهما لكنهما يقفان على طرفي الغرفة المتقابلين. لم تتعلم النماذج كيفية ربط الصورة والنص ببعضهما بقوة.
- أهداف تدريب خاطئة: نموذج (MMaDA) "المتعثر" تم تدريبه على القيام بشيئين في آن واحد: فهم الصور و توليد صور جديدة من الصفر. ويشتبه الباحثون في أن محاولة كونه "رساماً" (توليد الصور) قد ألهت النموذج عن كونه "أمين مكتبة" جيداً (إنشاء بصمات دقيقة للبحث).
الخلاصة
على الرغم من أن نماذج الانتشار (Diffusion) مثيرة للاهتمام وتمتلك ميزات رائعة مثل رؤية الصورة الكاملة في وقت واحد، إلا أنها ليست جاهزة تماماً بعد لتحل محل نماذج "القارئ" القديمة في إنشاء بصمات صديقة للبحث. لا تزال نماذج "القارئ" تحتفظ بالعرش من حيث الدقة، وذلك أساساً لأنها أفضل في الربط الوثيق بين ما تراه وما تقرأه.
تخلص الورقة إلى أنه على الرغم من امتلاك نماذج الانتشار لإمكانات (خاصة نموذج LaViDa)، إلا أنها بحاجة لأن تصبح أفضل بكثير في مطابقة الصور والنصوص قبل أن تصبح الخيار الأول لهذه المهام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.