Vision-Language Models vs Human: Perceptual Image Quality Assessment

إليك ملخص تقني مفصل لورقة البحث بعنوان: "نماذج الرؤية واللغة مقابل البشر: تقييم جودة الصور الإدراكية."

1. بيان المشكلة

يعد تقييم جودة الصور الإدراكية (IQA) أمراً بالغ الأهمية في التصوير الحسابي، ولكنه يعتمد تقليدياً على التجارب النفسية الفيزيائية التي تشمل مراقبين بشريين. ورغم موثوقية هذه التجارب، إلا أنها مكلفة، وتستغرق وقتاً طويلاً، وتفتقر إلى القدرة على التوسع.

• الفجوة: غالباً ما تفشل المقاييس الآلية الحالية في الارتباط بالإدراك البشري في المشاهد المعقدة.
• السؤال: هل يمكن لـ نماذج الرؤية واللغة (VLMs) محاكاة الأحكام الإدراكية البشرية عبر سمات محددة (التباين، والزهو اللوني، والتفضيل العام) لتعمل كبديل قابل للتوسع للفحص السريع؟
• التحدي: السمات الإدراكية ذاتية، وتعتمد على السياق، وتتأثر بالتفاعلات الدقيقة، مما يجعل من غير الواضح ما إذا كانت نماذج الرؤية واللغة قادرة على استيعاب هذه الفروق الدقيقة دون تحيز تجريبي مضبوط.

2. المنهجية

أجرى المؤلفون مقارنة معيارية منهجية بين ستة من نماذج الرؤية واللغة (VLMs) مقابل بيانات نفسية فيزيائية بشرية مستقرة.

أ. مجموعة البيانات والحقيقة الأرضية (Ground Truth)

• المصدر: بيانات من تجربة نفسية فيزيائية بواسطة Mehmood et al. [15] تتضمن 10 صور HDR تم إنتاجها بواسطة 7 من مشغلات تغيير النبرة (TMOs)، مما نتج عنه 70 صورة متميزة.
• السمات التي تم تقييمها: التباين (Contrast)، الزهو اللوني (Colorfulness)، والتفضيل العام (Overall Preference).
• البروتوكول البشري: قام 20 مراقباً بإجراء مقارنات زوجية في بيئة محكومة (غرفة مظلمة، شاشة معايرة). تم تحويل البيانات إلى درجات معيارية (z-scores) باستخدام قانون ثرستونستون للحكم المقارن.

ب. بروتوكول تقييم نماذج الرؤية واللغة (VLM)

• النماذج المختبرة: ستة نماذج (4 مملوكة و2 مفتوحة الأوزان):
  • المملوكة: Anthropic Claude Opus 4.6، Google Gemini 3.1 Pro، OpenAI GPT-5.2، xAI Grok-4.1.
  • مفتوحة الأوزان: OpenGVLab InternVL-3.5-38B، Alibaba Qwen3-VL-32B-Instruct.
• طريقة التلقين (Prompting): تم استخدام نموذج الاختيار القسري. عُرضت على النماذج أزواج من الصور (مصنفة A و B) وطُلب منها اختيار الصورة الأفضل لكل سمة مع تقديم مبرر.
• فحص الاتساق: تم تقييم كل زوج من الصور ثلاث مرات لكل نموذج لقياس العشوائية والاتساق الداخلي.
• معالجة البيانات: تم تحليل الاستجابات وتحويل درجات التفضيل إلى درجات معيارية (z-scores) لتتطابق مع تنسيق البيانات البشرية.

ج. إطار التحليل

حللت الدراسة الأداء عبر ثلاثة محاور:

1. التباين داخل النموذج (Intra-Model Variability): اتساق نموذج واحد عبر عمليات التكرار.
2. التباين بين النماذج (Cross-Model Variability): الاتفاق بين نماذج الرؤية واللغة المختلفة.
3. المحاذاة بين البشر ونماذج الرؤية واللغة (Human-VLM Alignment): الارتباط بين تصنيفات النماذج والتصنيفات البشرية (معامل سبيرمان $\rho$).
4. وزن السمات (Attribute Weighting): تحليل الانحدار لتحديد كيفية وزن النماذج للتباين مقابل الزهو اللوني عند الحكم على التفضيل العام.
5. القابلية الإدراكية للفصل (Perceptual Separability): تحليل كيفية تغير الاتفاق بناءً على صعوبة (قابلية فصل) المشهد.

3. المساهمات الرئيسية

1. أول اختبار معياري منهجي: يوفر أول مقارنة مباشرة بين ستة من أحدث نماذج الرؤية واللغة وبيانات جودة الصور الإدراكية المستقرة.
2. التباين المرتبط بالسمة: يثبت أن أداء نماذج الرؤية واللغة محدد للغاية بالسمة التي يتم تقييمها؛ فلا يوجد نموذج واحد يتفوق في جميع الأبعاد.
3. اكتشاف المقايضة: يحدد مقايضة غير متوقعة حيث أن النماذج الأكثر اتساقاً داخلياً ليست بالضرورة هي الأكثر محاذاة للبشر، مما يشير إلى أن بعض تباين الاستجابة قد يعكس في الواقع حساسية شبيهة بالبشر تجاه السياق.
4. رؤية القابلية للفصل: يظهر أن موثوقية نماذج الرؤية واللغة ترتبط بقوة بـ القابلية الإدراكية للفصل؛ فهي تعمل جيداً عندما تكون الاختلافات بين الصور واضحة، لكنها تعاني في التمييزات الدقيقة.

4. النتائج الرئيسية

أ. الاتساق داخل النموذج

• أظهر Claude أعلى اتساق داخلي (أقل تباين، مثلاً <2% للتباين).
• أظهر Intern أعلى تباين (يصل إلى 17.78% للتباين)، مما يشير إلى عشوائية عالية.
• ملاحظة: الاتساق العالي لا يضمن المحاذاة البشرية.

ب. المحاذاة بين البشر ونماذج الرؤية واللغة (Spearman's $\rho$)

تفاوت الأداء بشكل كبير حسب السمة:

• الزهو اللوني: حقق Claude و Qwen أعلى ارتباط ($\rho \approx 0.93$). كما أدى Intern أداءً جيداً أيضاً ($\rho \approx 0.92$).
• التباين: تصدر Qwen ($\rho = 0.86$) و Gemini ($\rho = 0.79$). وكان أداء Intern ضعيفاً ($\rho = 0.18$).
• التفضيل العام: حقق GPT أعلى محاذاة ($\rho = 0.86$) وحدد بشكل صحيح نموذج التغيير (rendering model) الأول (Top-1).
• دقة التوقع للأفضل (Top-1 Accuracy): نجحت نماذج GPT و Gemini و Grok فقط في التنبؤ بالنموذج الأول (Top-1) فيما يخص التفضيل العام.

ج. تحليل وزن السمات

• السلوك البشري: يزن البشر الزهو اللوني بشكل أكبر من التباين عند تكوين تفضيل عام.
• سلوك نماذج الرؤية واللغة:
  • Qwen و Gemini و Intern: تحاكي السلوك البشري من خلال وزن الزهو اللوني بشكل كبير.
  • GPT: يتبنى استراتيجية أكثر توازناً ولكنه يميل قليلاً نحو التباين.
  • Grok: يعتمد بشدة على التباين، متجاهلاً الزهو اللوني، مما يجعله يبتعد عن الوزن البشري.

د. القابلية الإدراكية للفصل

• الاتجاه: يزدما الاتفاق بين نماذج الرؤية واللغة والبشر مع زيادة القابلية الإدراكية للفصل للمشهد (أي عندما تكون الاختلافات بين الصور واضحة).
• وضع الفشل: في المشاهد ذات القابلية المنخفضة للفصل (الاختلافات الدقيقة)، ينخفض الاتفاق بشكل كبير، بل وتظهر بعض النماذج (مثل Intern) ارتباطاً سالباً، مما يشير إلى أنها تعتمد على إشارات مختلفة عن البشر في السيناريوهات الغامضة.

5. الأهمية والآثار المترتبة

• الفحص السريع: تعد نماذج الرؤية واللغة خياراً قابلاً للتطبيق لـ اختبار الفرضيات السريع وفحص مجموعات البيانات الكبيرة حيث تكون الاختلافات بين الصور واضحة. يمكنها تسريع تطوير الخوارزميات من خلال تصفية المرشحين الضعفاء قبل إجراء الدراسات البشرية المكلفة.
• ليست بديلاً: لا تستطيع نماذج الرؤية واللغة بعد أن تحل محل التجارب النفسية الفيزيائية للتقييم الإدراكي الصارم والدقيق، خاصة بالنسبة للاختلافات النوعية الدقيقة.
• استراتيجية التقييم: يجب على الباحثين استخدام تقييم مدرك للسمات. الدرجة الإجمالية الواحدة غير كافية؛ إذ يجب اختبار النماذج بشكل منفصل للتباين، والزهو اللوني، والتفضيل العام.
• اختيار النموذج:
  • استخدم GPT لمهام التفضيل الشاملة.
  • استخدم Claude/Qwen لتقييم الزهو اللوني.
  • استخدم Qwen/Gemini لتقييم التباين.
• العمل المستقبلي: تقترح الورقة أن طرق التجميع (ensemble methods) أو ضبط النماذج (fine-tuning) بناءً على البيانات النفسية الفيزيائية يمكن أن تسد الفجوة بين استقرار النموذج والمحاذاة البشرية.

الخاتمة

تخلص الدراسة إلى أنه بينما تظهر نماذج الرؤية واللغة وعداً كأداة قابلة للتوسع لتقييم جودة الصور الإدراكية، فإن أداءها يعتمد على السمة وحساس للتسياق. فالنماذج الأكثر اتساقاً ليست دائماً هي الأكثر محاذاة للبشر، وتعتمد الموثوقية على وضوح الاختلافات الإدراكية في المحفز.