Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

تخيل أنك قاضٍ في برنامج مواهب، ولكن بدلاً من مشاهدة المغنين والراقصين، أنت تحكم على جودة الصور الفوتوغرافية. مهمتك هي النظر إلى صورة والقرار: "هل هي ضبابية؟ هل الألوان غريبة؟ هل هي مجرد صورة سيئة؟" هذا هو عالم تقييم جودة الصور (IQA). لفترة طويلة، عانت الحواسيب في هذا المجال لأنها لم تكن تملك "عيوناً" مثل البشر؛ بل كانت بحاجة إلى تعليمها ما الذي يجعل الصورة "جيدة".

في الماضي، حاول العلماء تعليم الحواسيب عبر عرض ملايين الصور عليها وسؤالها: "إلى أي مدى تعجبك هذه الصورة؟". الإجابات تسمى "متوسط آراء الناس" (MOS)، وهي ببساطة متوسط التقييمات من أشخاص حقيقيين. لكن الجزء الصعب هنا هو أن الحواسيب "متطلبة للغاية". إذا دربت حاسوباً على تقييم صور صغيرة ومنخفضة الدقة (مثل تلك التي تراها على شاشة الهاتف)، فغالبًا ما سيرتبك عندما تظهر له صورة ضخمة فائقة الدقة من كاميرا احترافية. الأمر يشبه تعليم طفل التعرف على الكلب باستخدام كلاب بلاستيكية ألعاب فقط؛ فعندما يرى كلباً حقيقياً وضخماً، قد لا يعرف كيف يتصرف. علاوة على ذلك، فإن النظر في كل بكسل من صورة ضخمة يتطلب قدرة حوسبية هائلة، تماماً مثل محاولة قراءة كل كلمة في مكتبة للعثور على خطأ مطبعي واحد. السؤال الكبير الذي يحاول العلماء حله هو: كيف يمكننا بناء قاضٍ حاسوبي يعمل على صور بأي حجم، ويلاحظ التفاصيل الدقيقة، ولا يحتاج إلى سوبر كمبيوتر للقيء بالمهمة؟

إليك ReLIQS، وهو نموذج جديد قدمه الباحثون هاكان إمري جيديك، وشاشانك غوبتا، وآلان بوفيك. فكر في ReLIQS ليس كروبوت يحدق في صورة كاملة دفعة واحدة، بل كمحقق ذكي يمتلك عدسة مكبرة وخريطة.

المشكلة في نهج "المقاس الواحد للجميع"

تعمل معظم نماذج الرؤية الحاسوبية السابقة مثل مصور يجبر كل صورة على التناسب داخل إطار مربع صغير قبل النظر إليها. إذا كان لديك صورة ضخمة فائقة الدقة، يقوم الحاسوب بضغطها لتصبح بحجم صغير لتناسب الإطار. والمشكلة؟ عندما تضغط الصورة، تفقد التفاصيل الصغيرة والمهمة — مثل حبيبات الضجيج، أو حدة الحواف، أو ملمس القماش. الأمر يشبه محاولة الحكم على جودة قميص حريري من خلال النظر إلى صورة مصغرة ضبابية ومبكسلة له؛ قد تفوتك حقيقة أن القماش ممزق بالفعل.

تحاول نماذج أخرى الحفاظ على الحجم الأصلي، لكنها تصاب بالارتباك والإنهاك. فالنظر إلى صورة ضخمة بكسل تلو الآخر أمر مكلف وبطيء للغاية لدرجة أنه مستحيل عملياً في الاستخدام الواقعي. إنه يشبه محاولة العث de إبرة معينة في كومة قش عن طريق فحص كل قطعة قش واحدة تلو الأخرى.

كيف يحل ReLIQS الأمر: "المحقق الذكي"

يغير ReLIQS قواعد اللعبة باستخدام استراتيجية تسمى التعلم المستقل عن الدقة (Resolution-agnostic Learning). بدلاً من ضغط الصورة بأكملها أو فحص كل بكسل، يستخدم عملية "تحقيق" مكونة من ثلاث خطوات:

1. الخريطة متعددة المقاييس: تخيل أن لديك صورة. ReLIQS لا ينظر إليها مرة واحدة فقط، بل ينشئ عدة نسخ منها: نسخة بالحجم الضخم الأصلي، ونسخة أصغر قليلاً، ونسخة أصغر أكثر. الأمر يشبه النظر إلى خريطة مدينة من الفضاء، ومن الطائرة، ومن مستوى الشارع. كل عرض يخبرك بشيء مختلف. "مستوى الشارع" (الحجم الأصلي) يظهر لك الشقوق والخدوش الصغيرة. "عرض الفضاء" (الحجم المصغر) يظهر لك التخطيط العام والألوان.

2. رادار "أين تنظر": هذا هو الجزء الأكثر إبداعاً. يمتلك ReLIQS مساعداً خاصاً (يسمى مقدر الأهمية الإدراكية) يعمل مثل الخريطة الحرارية. يقوم بمسح الصورة ويسأل: "أين من المرجح أن يلاحظ البشر الخطأ؟". يتعلم النموذج أن الناس يهتمون بالوجه في الصورة الشخصية أكثر من الأشجار في الخلفية، أو أن السماء الضبابية مزعجة لكن الزاوية الضبابية قد تكون مقبولة. يرسم هذا النموذج خريطة لـ "الأهمية". إنه يشبه كشاف الضوء الذي يسلط الضوء فقط على الأجزاء المهمة في الصورة.

3. أخذ العينات الذكي: بدلاً من فحص كل رقعة في الصورة، يستخدم ReLIQS ذلك الكشاف لاختيار الرقع الأكثر أهمية فقط. إذا كانت الصورة ضخمة، فقد يفحص فقط أكثر 48 بقعة مثيرة للاهتمام بدلاً من آلاف البقع. إنه يشبه ناقد الطعام الذي يتذوق فقط اللقمات الأكثر أهمية في الوجبة ليقرر ما إذا كانت جيدة، بدلاً من أكل الطبق بأكمله. هذا يوفر قدراً هائلاً من قدرة الحاسوب.

بمجرد اختيار هذه الرقع الذكية، يستخدم ReLIQS "عقلاً" قوياً مسبق التدريب (يعتمد على نموذج يسمى CLIP). ثم يجمع كل هذه الأدلة الصغيرة في درجة واحدة، ليخبرك بالضبط مدى جودة الصورة.

ما الذي وجدوه؟

اختبر الباحثون ReLIQS على مجموعة متنوعة ضخمة من الصور: لقطات من العالم الحقيقي، وصور منشأة حاسوبياً، وصور ذات تشوهات اصطناعية. وقارنوه بأفضل النماذج الموجودة، بما في ذلك بعض النماذج التي تستخدم "نماذج لغوية كبيرة" (ذكاء اصطناٍ يعمل بالرؤية واللغة).

• يعمل على أي حجم: تعامل ReLIQS مع كل شيء، من صور الهواتف الصغيرة إلى صور Ultra-High-Definition (UHD) الضخمة دون ارتباك. وبينما عانت النماذج الأخرى أو فشلت عندما تغير حجم الصورة، حافظ ReLIQS على هدوئه.
• سريع ورخيص: من خلال النظر فقط إلى الرقع "المهمة"، استطاع ReLIQS تقليل تكلفة الحوسبة بنسبة تصل إلى 90% دون فقدان الدقة. وفي الاختبارات على الصور فائقة الدقة، تفوق على النماذج المصممة خصيصاً لتلك الصور، ولكن بقدرة حوسبية أقل بكثير.
• يتعلم من مصادر متعددة: تم تدريب النموذج على مجموعات بيانات مختلفة (مجموعات من الصور مع تقييمات بشرية). عادة ما يكون دمج هذه المجموعات صعباً لأن الناس يقيمون الأشياء بشكل مختلف. وجد ReLIQS طريقة للتعلم من جميعها في آن واحد، ليصبح حكماً أكثر تنوعاً.

الحكم النهائي

تشير الورقة البحثية إلى أن ReLIQS يمثل خطوة كبيرة للأمام لأنه يحل "مشكلة الدقة" دون الحاجة إلى سوبر كمبيوتر. إنه يثبت أنك لست بحاجة للنظر إلى كل شيء للحكم على الجودة؛ بل تحتاج فقط لمعرفة أين تنظر وكيف تحكم على ما تراه هناك.

وعلى الرغم من أن النموذج أدى بشكل ممتاز، إلا أن المؤلفين لاحظوا أنه لا يزال يتخلف قليلاً عن بعض النماذج الأخرى في نوع معين من الصور المولدة بالذكاء الاصطناعي (AGIQA-3K). وهذا يشير إلى أنه بينما يعد ReLIQS خبيراً في الحكم على الصور الواقعية والتشوهات القياسية، فقد يحتاج إلى المزيد من التدريب لفهم السمات الفريدة للصور التي ينشئها الذكاء الاصطناعي بالكامل.

باختصار، ReLIQS يشبه ناقد فن مدرب جيداً لا يحتاج إلى التحديق في لوحة لساعات أو إجهاد عينيه بالنظر إلى صورة مصغرة. إنه يعرف بالضبط أين ينظر، ويفهم السياق، ويمكنه إعطاء تقييم مثالي في لمح البصر. هذا النهج يمكن أن يجعل تحليل الصور عالية الجودة ممكناً على الأجهزة اليومية، من هاتفك إلى كاميراتك الذكية، دون الحاجة إلى مركز بيانات ضخم في الخلفية.