Visual Distortion Detection in UGC Images Using Large Multimodal Models
تقترح الورقة البحثية إطار عمل VIGIL، وهو إطار عمل مبتكر يستفيد من النماذج اللغوية الكبيرة متعددة الوسائط مع كواشف ميزات متعددة المستويات ومجموعة بيانات منسقة بدقة تضم 140 ألف عينة لمعالجة أوجه القصور في النهج الحالية القائمة على النصوص وسد فجوة التعميم من الاصطناعي إلى الأصيل في اكتشاف التشوه البصري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى صورة على هاتفك. ربما تكون صورة شخصية (سيلفي)، أو صورة لكلبك، أو مشهد لغروب الشمس التقطته أثناء التنزه. في بعض الأحيان، تبدو الصورة بأكملها رائعة. وفي أحيان أخرى، تكون السماء مثالية، لكن وجه صديقك ضبابي، أو هناك بقعة لون غريبة على العشب. لفترة طويلة، كانت الحواسيب التي تحلل الصور مثل معلم صارم لا يعطي إلا درجة واحدة للاختبار بأكمله؛ فقد كان بإمكانها إخبارك ما إذا كانت الصورة "جيدة" أو "سيئة" بشكل عام، لكنها لم تكن تستطيع الإشارة إلى النقطة المحددة التي حدث فيها الخطأ. هذه مشكلة كبيرة لأننا في العالم الحقيقي، غالباً ما نريد إصلاح الجزء الضبابي فقط، وليس الصورة بأكملها.
المجال الذي يحاول حل هذه المشكلة يسمى "تقييم جودة الصورة" (Image Quality Assessment). فكر في الأمر كأنك تعلم الحواسيب كيف تصبح نقاداً فنيين. مؤخراً، بدأ العلماء في استخدام "النماذج اللغوية الكبيرة متعددة الوسائط" (Large Multimodal Models - LMMs). يمكنك التفكير في هذه النماذج كأنها روبوتات فائقة الذكاء يمكنها رؤية الصور وقراءة النصوص في آن واحد. إنها تشبه طالباً عبقرياً في الفنون قد قرأ كل كتاب عن التصوير الفوتوغرافي. ومع ذلك، مجرد كون الروبوت ذكياً لا يعني أنه بارع في العثور على الأخطاء الصغيرة والمحددة. معظم هذه الروبوتات تم تدريبها من خلال عرض صور مع أوصاف نصية مثل "السماء ضبابية"، لكنها تعاني في الواقع لرسم مربع حول تلك السماء الضبابية. كما أنها تجد صعوبة عندما تنتقل من صور التدريب "الاصطناعية" (حيث يضيف العلماء الضبابية بشكل مصطنع) إلى الصور الحقيقية الفوضوية التي يلتقطها الناس في حياتهم اليومية.
تقدم هذه الورقة البحثية روبوتاً جديداً يسمى VIGIL (الذكاء البصري لتحديد المواقع العام - Visual Intelligence for Generalized Image Localization). أراد الباحثون بناء نظام لا يكتفي بالقول "هذه الصورة سيئة"، بل يشير بإصبعه ويقول: "مهلاً، الضبابية موجودة هنا تماماً، وهذا خطأ ناتج عن ضغط الصورة". لقد وجدوا أن الطريقة القديمة لتعليم هذه الروبوتات —أي جعلها تكتب أوصافاً نصية فقط— لم تكن دقيقة بما يكفي. لذا، جربوا نهجاً مختلفاً: لقد علموا الروبوت كيف يتصرف كمحقق يبحث عن الأدلة، بدلاً من كاتب يصف مشهداً.
بدأ الفريق بجمع مكتبة ضخمة تضم أكثر من مليون صورة عالية الجودة من الإنترنت. قاموا بتصفيتها بعناية للتأكد من أنها واضحة ومشرقة، ثم لعبوا لعبة "أوجد الفروق" عبر إضافة 8 أنواع مختلفة من التشوهات (مثل الضبابية، أو الضجيج، أو الألوان الغريبة) إلى أجزاء عشوائية من الصور. لقد أنشأوا مجموعة تدريب تسمى VIGIL-140K، والتي تحتوي على أكثر من 140,000 صورة مشوهة مع أكثر من 200,000 "بقعة سيئة" محددة.
بدلاً من مطالبة الروبوت بكتابة جمل، حوّل الباحثون عقل الروبوت إلى فريق من المحققين. استخدموا طبقات مختلفة من عملية التفكير الداخلي للروبوت كـ "كواشف" منفصلة. تخيل فصلاً دراسياً حيث بدلاً من طالب واحد يرفع يده للإجابة، ينظر خمسة طلاب مختلفون إلى نفس الصورة في وقت واحد، كل منهم يستخدم نظارات طبية مختلفة قليلاً. قد يكون أحدهم جيداً في رؤية الحواف الضبابية، بينما يكون الآخر بارعاً في رصد تغيرات الألوان. جميعهم يصرخون بتخميناتهم في وقت واحد. ثم يدمج الروبوت كل هذه التخمينات لاتخاذ قرار نهائي دقيق للغاية.
كما حل الباحثون مشكلة معقدة تسمى "الفجوة بين الاصطناعي والحقيقي" (Synthetic-to-Authentic gap). هذا يشبه التدرب على الرماية باستخدام أهداف ورقية ذات مراكز دائرية مثالية، ثم محاولة إصابة هدف متعرج وغير منتظم في غابة حقيقية. الأهداف الورقية (البيانات الاصطناعية) تبدو مرتبة جداً، لذا يرتبك الروبوت عندما يرى تشوهات حقيقية وفوضوية. ولإصلاح ذلك، علم الفريق الروبوت أن ينتبه حتى عندما يعتقد أن البقعة "نظيفة". إذا كان الروبوت شبه متأكد من أن البقعة نظيفة ولكن لديه شك ضئيل، فإنهم يجعلون هذا الشك يُحتسب كدليل محتمل. يساعد هذا الروبوت على البقاء يقظاً عندما يصبح العالم الحقيقي فوضوياً.
عندما اختبروا VIGIL، حقق نجاحاً هائلاً. في الاختبارات التجريبية مع التشوهات المزيفة، وجد الأخطاء بشكل أفضل من النماذج الرائدة الأخرى. لكن السحر الحقيقي حدث عندما اختبروه على صور حقيقية لم يراها من قبل. بينما ارتبكت النماذج الأخرى وأخطأت في تحديد الأخطاء، حافظ VIGIL على هدوئه، مشيراً بدقة إلى البقع الضبابية أو المشوشة في صور المستخدمين الحقيقية. تُظهر الورقة أنه من خلال استخدام فريق من الكواشف الداخلية والحفاظ على عقل منفتح تجاه المناطق "النظيفة"، يمكننا تعليم الحواسيب كيف تكون أفضل بكثير في تحديد المكان الذي ساءت فيه جودة الصورة بالضبط، مما يمهد الطريق لأدوات أكثر ذكاءً يمكنها إصلاح صورنا تلقائياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.