🤖 machine learning

Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance

تتحدى هذه الورقة معايير اختيار النماذج التقليدية لنماذج الرؤية واللغة من خلال إثبات أن التشابه الهيكلي بين وسائط الرؤية واللغة، والذي يُقاس عبر مسافة "غروموف-واسرشتاين"، يعد مؤشراً أفضل لأداء المحاذاة مقارنة بحجم المشفر أو دقة التعلم الصفري.

المؤلفون الأصليون: Muyang Li, Yucheng Liu, Jianbo Ma, Elliot Osborne, Bo Han, Tongliang Liu

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muyang Li, Yucheng Liu, Jianbo Ma, Elliot Osborne, Bo Han, Tongliang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء المترجم "متعدد اللغات" الأمثل. لديك خبير نصوص عبقري (نموذج لغوي كبير، أو LLM) يعرف كل شيء عن الكلمات، وتريد توظيف خبير بصري (Vision Encoder) ليعلمه كيف يرى.

السؤال الكبير هو: أي خبير بصري يجب أن توظف؟

لفترة طويلة، اعتقد الناس أن الإجابة بسيطة: "وظف الخبير الأكبر" أو "وظف صاحب أعلى درجات في الاختبارات". لكن هذا البحث يقول: "في الواقع، هذه قاعدة سيئة للقياس."

إليك قصة ما وجده الباحثون، مشروحة ببساة.

١. الطريقة "الخاطئة" للاختيار

جمع الباحثون ١٨ خبيراً بصرياً من الطراز الرفيع. حاولوا دمج كل واحد منهم مع نفس خبير النصوص ليروا أي تركيبة ستعمل بشكل أفضل.

اختبروا القواعد القديمة:

القاعدة أ: اختر النموذج الأكبر (الأكثر معلمات/Parameters).
القاعدة ب: اختر النموذج صاحب أعلى دقة في "التعلم الصفري" (Zero-shot) (الذي يجيب على أكبر عدد من الأسئلة بشكل صحيح دون تدريب إضافي).

النتيجة: فشلت هذه القواعد فشلاً ذريعاً. أحياناً كان النموذج الأكبر يؤدي بشكل سيء. وأحياناً كان النموذج "الأذكى" بمفرده سيئاً للغاية عند دمجه مع خبير النصوص. اتضح أن كونك بارعاً في وظيفتك الخاصة لا يعني بالضرورة أنك ستكون جيداً في العمل مع شريك محدد بعينه.

٢. المشكلة الحقيقية: التحدث بـ "لغات مختلفة"

أدرك الباحثون أن المشكلة لم تكن في مدى ذكاء الخبير البصري، بل في التوافق.

تخيل أن خبير النصوص يتحدث لغة تُبنى فيها الجمل مثل القصائد.

الخبير البصري (أ) يتحدث لغة بنيتها مثل المعادلات الرياضية.
الخبير البصري (ب) يتحدث لغة بنيتها مثل القصائد.

حتى لو كان الخبير البصري (أ) عبقرياً في الرياضيات، فستكون عملية ترجمة أفكاره إلى لغة خبير النصوص الشعرية كابوساً. سيتعين على "طبقة الترجمة" (المُسقط/Projector) أن تعمل بجهد هائل لسد هذه الفجوة، وستكون النتيجة النهائية ركيكة.

أما الخبير البصري (ب)، فهو يفكر بالفعل بالقصائد. لذا، ستكون الترجمة سهلة، وسيعمل الفريق النهائي بشكل رائع.

يطلق البحث على هذا اسم التشابه الهيكلي (Structural Similarity). الأمر لا يتعلق بما تعرفه، بل بكيفية تنظيم أفكارك.

٣. الحل: مسافة "غرووموف-واسرستاين" (GW)

لقاس التوافق دون الحاجة لتوظيف وتدريب كل مرشح فعلياً (وهو أمر قد يستغرق شهوراً ويكلف ثروة)، ابتكر الباحثون اختباراً جديداً يسمى مسافة غرووموف-واسرستاين (GW).

إليك استعارة لكيفية عمل ذلك:

الطريقة القديمة (المسافة الساذجة): تخيل أن لديك خريطتين؛ واحدة لنيويورك والأخرى لطوكيو. إذا حاولت قياس المسافة بين "سنترال بارك" و"تايمز سكوير" في خريطة نيويورك، ومقارنتها بـ "شيبويا" و"برج طوكيو" في خريطة طوكيو، فلن تتطابق الأرقام لأن المدينتين مختلفتان في الحجم والشكل. لهذا السبب تفشل الطرق القديمة.
طريقة (GW): بدلاً من النظر إلى المواقع المطلقة، تنظر (GW) إلى العلاقات. هي تسأل: "هل العلاقة بين المتنزه وتايمز سكوير (على سبيل المثال: أنهما يبعدان ١٠ دقائق عن بعضهما) هي نفسها العلاقة بين شيبويا وبرج طوكيو؟"
إذا كانت الهندسة الداخلية (الطريقة التي ترتبط بها النقاط ببعضها البعض) متشابهة بين الخريطتين، فإن مسافة (GW) تكون منخفضة. وهذا يعني أن الخبيرين "يفكران" بأشكال متشابهة، مما يجعل دمجهما سهلاً.

٤. الإثبات

أجرى الباحثون تجربة ضخمة:

قاموا بحساب مسافة (GW) لجميع الخبراء البصريين الـ ١٨.
ثم قاموا بتدريب الأنظمة الكاملة (الطريقة "الصعبة") ليروا من هو الفائز حقاً.

النتائج:

كانت مسافة (GW) هي المقياس الوحيد الذي توقع الفائزين بشكل صحيح.
كان الارتباط قوياً: كلما انخفضت مسافة (GW)، كان أداء الذكاء الاصطناعي النهائي أفضل.
أما القواعد القديمة (الحجم والدقة) فلم يكن لها أي صلة تذكر بالنجاح النهائي.

٥. لماذا يهم هذا؟

يقدم لنا هذا البحث اختصاراً "لا يتطلب تدريباً".

سابقاً: كان عليك تدريب ١٨ نموذج ذكاء اصطناعي مختلف لأسابيع لتجد الأفضل بينهم.
الآن: يمكنك إجراء حساب (GW) هذا في دقيقة واحدة تقريباً (باستخدام جهاز كمبيوتر واحد قوي) وتعرف بالضبط أي خبير بصري سيعمل بشكل أفضل مع نموذج النصوص الخاص بك.

ملخص الاستعارة

فكر في بناء نموذج لغوي بصري (VLM) كأنك تشكل ثنائياً راقصاً.

الحكمة القديمة: "اختر الراقص الذي لديه أكبر عدد من الجوائز وأضخم العضلات."
الحكمة الجديدة: "اختر الراقص الذي يتوافق إيقاعه وأسلوبه طبيعياً مع شريكه."

يثبت البحث أن الإيقاع (التشابه الهيكلي) يهم أكثر بكثير من العضلات (حجم النموذج) أو الجوائز (الدقة) عندما يتعلق الأمر بإنشاء فريق ذكاء اصطناعي ناجح. لقد قدموا أداة جديدة (مسافة GW) لقياس هذا الإيقاع فوراً، مما يوفر الوقت والمال مع بناء ذكاء اصطناعي أفضل.

ملخص تقني: إعادة التفكير في اختيار النماذج في نماذج الرؤية واللغة (VLM) من خلال منظور مسافة غروموف-واسرشتاين

1. بيان المشكلة

تتبع نماذج الرؤية واللغة (VLMs) عادةً نموذج "التدريب المسبق ثم الضبط الدقيق"، حيث يقوم "المُسقط" (projector) بمحاذاة فضاءات التمثيل الخاصة بمشفر الرؤية والنموذج اللغوي الكبير (LLM). ورغم الاعتماد الواسع لهذا النموذج، إلا أن هناك نقصًا في الفهم المنهجي حول أي مشفرات الرؤية المدربة مسبقًا هي الأكثر ملاءمة لنموذج LLM معين.

تعتمد الممارسات الحالية غالبًا على استدلالات (heuristics) مثل اختيار أكبر نموذج أو النموذج صاحب أعلى دقة في التعرف الصفري (zero-shot accuracy). ومع ذلك، يوضح المؤلفون من خلال تجارب شاملة أن هذه المقاييس:

تفشل باستمرار في تحديد مشفر الرؤية الأمثل لمحاذاة الـ VLM.
تظهر ارتباطًا ضعيفًا إلى متوسط مع أداء الـ VLM النهائي بعد الضبط الدقيق الكامل.
لا تأخذ في الاعتبار "التوافق" أو التشابه الهيكلي بين فضاءات التمثيل البصري والنصي، وهو ما يُفترض أنه العامل الحاسم في صعوبة المحاذاة.

2. المنهجية

يقترح البحث استخدام مسافة غرووموف-واسرشتاين (Gromov-Wasserstein distance) كمقياس خالٍ من التدريب ويعتمد فقط على الاستنتاج (inference-only) لقياس التشابه الهيكلي بين توزيع التمثيلات البصرية والتمثيلات النصية.

المفهوم الجوهري: مسافة غرووموف-واسرشتاين

على عكس مقاييس المسافة القياسية التي تتطلب فضاءً محيطيًا مشتركًا، صُممت مسافة GW لمقارنة فضاءات القياس-المتري (mm-spaces) التي قد توجد في نطاقات مختلفة ذات أبعاد ومقاييس مختلفة.

الحدس: بدلاً من مقارنة المواقع المطلقة للنقاط (وهو أمر غير محدد جيدًا عبر الوسائط المختلفة)، تقارن مسافة GW العلاقات الداخلية (المسافات الزوجية) داخل كل فضاء. فهي تسعى لإيجاد خطة نقل أمثل (coupling) $\pi$ تقلل من التشويه بين المسافات الزوجية للفضاء البصري ( $d_X$ ) والفضاء النصي ( $d_Y$ ).
الصياغة: تُعرف مسافة GW بأنها الحد الأدنى للفاقد المتوقع عبر جميع خطط الربط $\pi$ الممكنة:
$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$
حيث $L$ هي دالة الجزاء (باستخدام مسافة $\ell_1$ في هذا العمل).

تفاصيل التنفيذ

مطابقة المقياس (Scale Matching): للتعامل مع الاختلافات المتأصلة في المقياس بين الوسائط، يطبق المؤلفون مطابقة نسبة الوسيط (median-ratio matching). حيث يقومون بتطبيع مصفوفات المسافة الزوجية للوسيط البصري بحيث تتطابق قيم الوسيط خارج القطر مع قيم الوسيط النصي.
التحسين (Optimization): يتم حل خطة النقل الأمثل $\pi^*$ باستخدام مخطط التدرج الشرطي (اتباعًا لـ [40])، مع معاملة هدف GW كدالة تربيعية فوق متعدد طوبولوجيا النقل (transport polytope).
خوارزمية اختيار النموذج:
- استخراج الميزات البصرية (رموز CLS) والميزات النصية (الحالات المخفية) لعينة من أزواج الصور والنصوص.
- حساب مصفوفات المسافة الزوجية لكلا الوسيطين.
- تطبيع المسافات وحساب مسافة GW.
- اختيار مشفر الرؤية الذي يحقق أدنى مسافة GW للنموذج اللغوي المستهدف، مما يتنبأ بأنه سيحقق أفضل أداء للـ VLM.

3. التحليل النظري

يقدم البحث تبريرًا نظريًا يربط مسافة GW بقابلية التعلم لخرائط عبر الوسائط.

حد ليبشيتز (Lipschitz Bound): يثبت المؤلفون أن ثابت ليبشيتز ( $L_{g^*}$ ) للمُسقط الأمثل لبايز ( $g^*$ ) عبر الوسائط محدود بمسافة $\infty$ -norm لـ GW بين الوسائط.
الاستنتاج: تعني مسافة GW الأصغر وجود حد أعلى أصغر لثابت ليبشيتز. وبما أن حدود التعميم للشبكات العصبية تعتمد غالبًا على ثابت ليبشيتز (أو النورم الطيفي)، فإن مسافة GW الأصغر تشير إلى أن الخريطة المثلى هي بطبيعتها أسهل في التعلم باستخدام فرضية ذات تعقيد وظيفي أقل.

4. النتائج التجريبية

أجرى المؤلفون تجارب مكثفة شملت أكثر من 60 عملية تدريب كاملة لـ VLM باستخدام 18 مشفر رؤية متنوعًا ومسبق التدريب ونموذجين لغويين أساسيين (Qwen-2.5-7B-Instruct و LLaMa-3.1-8B-Instruct).

النتائج الرئيسية

دقة اختيار متفوقة: نجحت استراتيجية الاختيار القائمة على GW باستمرار في تحديد مشفر الرؤية الأمثل (الذي حقق أعلى متوسط درجات عبر 9 اختبارات مرجعية) في كل من المجموعات "الصغيرة" (<500 مليون معلمة) و"الكبيرة".
الارتباط بالأداء:
- حققت مسافة GW ارتباط بيرسون قدره 0.6568 وارتباط سبيرمان قدره 0.5341 مع الأداء النهائي للـ VLM.
- التناسب الخطي بين مسافة GW والأداء فسر 43% من التباين ( $R^2 = 0.4314$ ).
- في المقابل، أظهرت الخطوط المرجعية التقليدية مثل دقة التعرف الصفري (Zero-Shot Accuracy)، وتحليل تشابه التمثيل (RSA)، وتحليل الارتباط الكنسي (CCA) ارتباطات ضعيفة إلى متوسطة. ومن الجدير بالذكر أن MutualNN أظهر ارتباط بيرسون عاليًا ولكن ارتباط سبيرمان سالبًا، مما يشير إلى علاقة زائفة.
المتانة: تم التحقق من فعالية مسافة GW عبر نماذج لغوية أساسية مختلفة ومجموعات بيانات تدريب مسبق مختلفة (LAION/Conceptual Captions مقابل CC3M)، مما يشير إلى أن المقياس يلتقط نمطًا قابلًا للتعميم من التوافق بين الوسائط.
الكفاءة: تقدير GW هو مهمة استنتاج بحتة. يستغرق حساب المقياس لـ 1,000 زوج من الصور والنصوص حوالي دقيقة واحدة على وحدة معالجة رسومات (GPU) واحدة، مقارنة بـ ~8.5 ساعة (68 ساعة GPU) مطلوبة لعملية تدريب VLM كاملة.

5. الأهمية والادعاءات

يدعي البحث أنه يقدم أول تحقيق منهجي في العوامل التي تحكم اختيار مشفر الرؤية لنماذج VLM، متجاوزًا الاستدلالات الساذجة.

الجدة: يقدم مفهوم التوافق التوزيعي بين الوسائط كعامل محدد رئيسي لنجاح الـ VLM، والذي تمت صياغته عبر مسافة GW.
الأثر العملي: يوفر طريقة فعالة حاسبيًا وخالية من التدريب للتنبؤ بأداء الـ VLM قبل الالتزام بعمليات الضبط الدقيق المكلفة لكامل المعلمات.
المساهمة النظرية: يؤسس لربط رسمي بين الهيكل الهندسي لفضاءات التمثيل (الذي تقيسه مسافة GW) وقابلية تعلم مُسقط المحاذاة.

يخلص المؤلفون إلى أنه بينما الاستدلالات الحالية (الحجم، دقة التعرف الصفري) غير كافية، فإن قياس التشابه الهيكلي لفضاءات التمثيل عبر مسافة GW يوفر وسيطًا قويًا، مؤصلًا نظريًا، ومثبتًا تجريبيًا لاختيار النماذج في نماذج الرؤية واللغة.