ملخص تقني: MaSC – مقياس تشابه مقنع لتقييم التوليد القائم على المفاهيم

بيان المشكلة

يتطلب تقييم تخصيص تحويل النص إلى صورة (T2I) التقاط إشارتين متمايزتين: الحفاظ على المفهوم (CP)، الذي يقيس دقة هوية الموضوع المصور مقارنة بمرجع ما، واتباع المطالبة (PF)، الذي يقيس مدى التزام الصورة المولدة بالمطالبة النصية. تعتمد المقاييس القياسية الحالية (مثل CLIP-I وDINO-I لـ CP؛ وCLIP-T لـ PF) على تضمينات الصور العالمية. ويرى المؤلفون أن آليات التجميع العالمي هذه تفشل في الارتباط بالإدراك البشري لأنها تخلط بين الموضوع والخلفية. وتحديداً:

1. فشل CP: التشابه الجيبي (cosine similarity) العالمي يحسب متوسط القيم عبر الصورة بأكملها، مما يؤدي إلى معاقبة درجات الهوية بسبب اختلافات الخلفية التي يتجاهلها البشر بشكل صحيح عند الحكم على الموضوع.
2. فشل PF: يجمع التشابه العالمي بين النص والصورة بين الالتزام بالمشهد والوجود الثابت لفئة الموضوع، مما يخلق خط أساس مستمر يحجب إشارة اتباع المطالبة الفعلية.

تتضمن المحاولات الحالية لتحسين المواءمة تحديث المشفرات (مما يؤدي إلى مكاسب طفيفة) أو استخدام النماذج اللغوية الكبيرة (LLMs) مثل GPT-4V/4o. وبينما ترتبط هذه النماذج جيداً بالأحكام البشرية، إلا أنها مرتبطة بواجهات برمجة التطبيقات (API)، وغير قابلة للاشتقاق، وتفتقر إلى الإسناد لكل منطقة (per-region attribution)، مما يجعلها غير فعالة للتطوير التكراري.

المنهجية: MaSC

يقدم المؤلفون MaSC (مقياس التشابه المقنع)، وهو إطار تقييم موحد يقوم بفصل تقييم الموضوع عن تقييم الخلفية باستخدام التفكيك المكاني. يعمل MaSC على مشفر رؤية واحد مجمد من نوع SigLIP2 SO400M-NaFlex ويتطلب قناع مفهوم المقدمة (foreground concept mask) يتم توفيره خارجياً لكل من الصور المرجعية والمولدة.

يعالج المقياس الصورة في فرعين متوازيين مشتقين من تمريرة أمامية واحدة:

1. الحفاظ على المفهوم (CP): Masked-MaxCos

بدلاً من التجميع العالمي، يركز MaSC حصرياً على المقدمة.

• الآلية: لكل رقعة (patch) في قناع مقدمة الصورة المرجعية، تحسب الخوارزمية الحد الأقصى للتشابه الجيبي مقابل جميع الرقع في الصورة المولدة.
• التجميع: يتم حساب متوسط هذه التشابهات القصوى عبر رقع مقدمة المرجع.
• المنطق: يضمن هذا النهج أن المقياس يقيس ما إذا كانت السمات المحلية للمفهوم موجودة في أي مكان في المخرج، مما يسمح بإعادة التموضع المكاني دون عقوبة. كما يتجنب قيود "أقرب جار متبادل" (mutual-nearest-neighbor) الصارمة التي أظهر المؤلفون أنها تعاقب بشدة على الحفظ الجزئي.

2. اتباع المطالبة (PF): تجميع الخلفية وتجريد الموضوع

لعزل إشارة الالتزام بالمشهد، يقوم MaS بإزالة الموضوع من كل من المدخلات المرئية والنصية.

• الجانب المرئي: يتم تطبيق مجمع انتباه (attention pooler) الخاص بـ SigLIP2 المدرب على الصورة المولدة، ولكن يتم حجب الرقع المقدمة (suppressed) صراحةً أثناء حساب الانتباه. ينتج عن ذلك تضمين خلفية فقط.
• الجانب النصي: يتم تجريد اسم الموضوع الأساسي (مثل "kitten") من المطالبة النصية باستخدام مطابقة التعبيرات النمطية (regular expression matching).
• التسجيل: درجة PF هي التشابه الجيبي بين تضمين الصورة المكون من الخلفية فقط وتضمين النص المجرد.
• المنطق: من خلال إزالة الموضوع من مجمع الصورة ومن المطالبة النصية، يلغي المقياس خط الأساس الثابت، مما يجبر الدرجة على عكس المواءمة بين خلفية الصورة ووصف المشهد في المطالبة.

المساهمات الرئيسية

يحدد البحث خمس مساهمات رئيسية:

1. أفضل أداء لـ CP غير مرتبط بـ LLM: في اختبار DreamBench++، حقق MaSC معامل كريبندورف $\alpha$ قدره +0.471 لـ CP. وهذا يتفوق على جميع النماذج المرجعية المختبرة غير المرتبطة بـ LLM (بما في ذلك DreamSim وDINOv3 وAM-RADIO) ويتجاوز GPT-4V، ليصل إلى 72% من سقف التوافق بين المقيّمين البشريين.
2. تمييز هوية فائق: في اختبار ORIDa (اختبار تمييز هوية الصور الحقيقية)، حقق MaSC AUC قدره 0.992، ليصبح أول مقياس غير مرتبط بـ LLM يتفوق على GPT-4o في هذا السياق.
3. التحقق من استراتيجية التجميع: من خلال تجارب الاستبعاد (ablations) باستخدام نفس الهيكل العظمي (backbone)، أثبت المؤلفون أن المكسب في الأداء مدفوع باستراتيجية التفكيك المكاني (التجميع المقنع) وليس فقط باختيار المشفر. إن استبدال مجمع MaSC بالتجميع العالمي على نفس هيكل SigLIP2 يؤدي إلى انخفاض في أداء CP بمقدار $\Delta\alpha = 0.102$.
4. الكفاءة والبنية: عند مطابقة ميزانية المعلمات، يتفوق MaSC على نماذج Vision Transformers المقطرة مثل AM-RADIO. ويرى المؤلفون أن الحجب الصريح وقت الاستنتاج أكثر فعالية لتقييم التخصيص من الإشراف الداخلي للقناع ضمن أوزان المشفر.
5. إشارة PF فعالة: يتم الحصول على درجة PF كـ "منتج ثانوي مجاني" من تمريرة CP الأمامية (عبر إعادة استخدام الميزات المخزنة مؤقتاً) دون الحاجة لاستدعاءات إضافية لمشفر الرؤية. وبينما ليس هو الأفضل مطلقاً لـ PF (يتأخر عن VQAScore وImageReward)، إلا أنه يتفوق على نموذج CLIP-T القياسي ($\Delta\alpha = +0.027$) بتكلفة حسابية أقل بكثير من نماذج المكافأة المخصصة.

النتائج

• DreamBench++ (CP): يتفوق MaSC ($\alpha=0.471$) على GPT-4V ($\alpha=0.432$) ويأتي خلف GPT-4o ($\alpha=0.499$) بفارق ضئيل ($\Delta\alpha = 0.028$).
• ORIDa (الهوية): يتفوق MaSC ($AUC=0.992$) على GPT-4o ($AUC=0.986$)، مما يظهر قدرة فائقة على الفصل بين الأزواج داخل الموضوع الواحد مقابل الأزواج بين المواضيع المختلفة في البيئات الواقعية.
• DreamBench++ (PF): يحقق MaSC قيمة $\alpha=0.354$، متفوقاً على CLIP-T ($\alpha=0.327$) وSigLIP2 global pool ($\alpha=0.326$)، رغم أنه لا يزال خلف نماذج مكافأة PF المخصصة مثل VQAScore ($\alpha=0.504$).
• كفاءة الحوسبة: يتطلب MaSC حوالي 161 مللي ثانية لكل زوج لـ CP و91 مللي ثانية لـ PF على بطاقة RTX 3090. وبينما هو أبطأ من النماذج خفيفة الوزن مثل CLIP-I، إلا أنه أسرع بكثير من نماذج PF الثقيلة (مثل HPSv3 بـ 301 مللي ثانية) والنماذج القائمة على الانتشار (DIFT-SDXL بـ 1,400 مللي ثانية).

الأهمية والادعاءات

يزعم البحث أن الإسناد المكاني (spatial attribution) هو مبدأ تصميم مركزي لتقييم النماذج التوليدية، بحجة أن استراتيجية التجميع تهم بقدر أهمية اختيار هيكل المشفر أو أكثر. يضع MaSC معياراً جديداً للأداء العالي لـ CP غير المرتبط بـ LLM، مقدماً معياراً موحداً وفعالاً وقابلاً للاشتقاق لتقييم التخصيص.

يتسم المؤلفون بالتواضع فيما يتعلق بمكون PF، حيث ذكروا صراحة أن MaSC لا يدعي التفوق في PF، بل يوفر إشارة تشخيصية فعالة مستمدة من تمريرة CP الأساسية. كما يقرون بالقيود: تعتمد الطريقة على الأقنعة المزودة خارجياً (رغم أن تحليل الحساسية يظهر المتانة عبر نماذج التجزئة المختلفة)، كما أن تجريد الموضوع غير مناسب للمطالبات التي تصف الأنماط البصرية بدلاً من المشاهد. وقد وُضع العمل كأداة للتقييم الصارم وليس كبديل للمراجعة البشرية في التطبيقات الحساسة.