Common Inpainted Objects In-N-Out of Context
تقدم الورقة البحثية COinCO، وهي مجموعة بيانات جديدة مكونة من 97,722 صورة تم ترميمها باستخدام نماذج الانتشار (diffusion-based) مع كائنات تم التحقق منها داخل السياق وخارجه، صُممت لتعزيز الفهم البصري القائم على السياق من خلال مهام الاستدلال دقيق التفاصيل، والتنبؤ بالكائنات، وكشف التزييف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى صورة لشاطئ مشمس. يدرك عقلك فوراً أن هناك شيئاً "خاطئاً" إذا رأيت دب قطبي يرتدي ملابس سباحة، أو ثلاجة ضخمة تقبع بجانب قلعة رملية. لست بحاجة إلى دليل ليخبرك أن الثلاجة لا تنتمي إلى الشاطئ؛ أنت فقط تعرف ذلك بسبب السياق.
لفترة طويلة، كانت الحواسيب سيئة جداً في هذا الأمر. فهي بارعة في رصد "كلب" أو "سيارة"، لكنها تعاني لفهم أين يكون وجود هذه الأشياء منطقياً. إذا وضعت كلباً في مسبح، فقد يكتفي الحاسوب بالقول: "تم رصد كلب!" دون أن يدرك أن هذا الموقف غريب.
تقدم هذه الورقة البحثية أداة جديدة تسمى COinCO (الأجسام الشائعة المستبدلة داخل وخارج السياق) لتعليم الحواسيب كيف تصبح أفضل في رصد هذه اللحظات "الخارجة عن المألوف".
إليك تفصيل ما قاموا به، باستخدام بعض التشبيهات البسيطة:
1. المشكلة: "النقطة العمياء" للحاسوب
اعتبر مجموعات بيانات الصور الحالية (مثل مجموعة بيانات COCO الشهيرة) كمكتبة مليئة بالصور الطبيعية تماماً. هناك خيول في الحقول، وأكواب على الطاولات، وحمر وحشية في حدائق الحيوان.
- المشكلة: تتعلم الحواسيب من خلال النظر إلى الأمثلة. إذا لم يروا أبداً حماراً وحشياً على الشاطئ، فلن يتعلموا أبداً أن هذا أمر غريب. هم لا يرون إلا العالم "الطبيعي".
- التحدي: الحياة الواقعية لا تحتوي على صور كافية لـ "أشياء غريبة" (مثل بقرة تطير في السماء) لتعليم الحواسيب ما الذي لا ينتمي للمكان.
2. الحل: مختبر "الفوتوشوب الرقمي"
أنشأ الباحثون مختبراً رقمياً ضخماً. أخذوا آلاف الصور الطبيعية واستخدموا أداة ذكاء اصطناعي خاصة (تسمى Diffusion Inpainting) لتعمل مثل "مُزور محترف".
- العملية: اختاروا جسماً واحداً في الصورة (مثل كرسي مثلاً) ومسحوه سحرياً، واستبدلوه بشيء آخر (ربما بقرة).
- اللمسة المختلفة: أحياناً استبدلوا الكرسي بكرسي آخر (داخل السياق - In-Context). وأحياناً استبدلوه ببقرة (خارج السياق - Out-of-Context).
- النتيجة: صنعوا 97,722 صورة جديدة. إنها تشبه لعبة "أوجد الفروق" الضخمة حيث تكون الفروق أحياناً واضحة وأحياناً أخرى دقيقة للغاية.
3. "المعلم الخارق" و"الطلاب"
للتأكد من أن الأجسام "الغريبة" كانت غريبة بالفعل، لم يعتمدوا على التخمين فحسب. بل استخدموا نماذج الرؤية واللغة الكبيرة (LVLMs) — فكر في هذه النماذج كأنها أساتذة ذكاء اصطناعي فائق الذكاء يمكنهم النظر إلى صورة وكتابة مقال عن سبب غرابتها.
لقد طلبوا من ثلاثة أساتذة مختلفين من الذكاء الاصطناعي تقييم الصور بناءً على ثلاث قواعد:
- الموقع: هل الجسم في المكان الخطأ؟ (مثلاً: سمكة في غرفة معيشة).
- الحجم: هل الجسم بالحجم الخاطئ؟ (مثلاً: فيل صغير جداً بجانب إنسان).
- الاقتران: هل يتواجد هذان الشيئان معاً عادة؟ (مثلاً: محمصة خبز وزرافة).
إذا اتفق أساتذة الذكاء الاصطناعي على أن الجسم "خارج السياق"، فقد احتفظوا بالصورة. وبهذا أنشأوا "كتاباً مدرسياً" عالي الجودة لتعليم الحواسيب.
4. ماذا يمكننا أن نفعل بهذا؟ (القوى الثلاث الخارقة)
تظهر الورقة البحثية ثلاثة أشياء رائعة يمكنك القيام بها باستخدام هذه المجموعة الجديدة من البيانات:
القوة الخارقة الأولى: المحقق "لماذا" (الاستدلال دقيق التفاصيل)
بدلاً من مجرد قول "هذا مزيف"، يمكن لنماذج الذكاء الاصطناعي الجديدة شرح لماذا. يمكنها القول: "هذه البقرة مزيفة لأنها صغيرة جداً بالنسبة للغرفة"، أو "هذا الكوب مزيف لأن الأكواب لا تطفو في المحيط". لقد دربوا نماذج "طلاب" صغيرة وسريعة لتعلم هذه القواعد من "المعلم الخارق" للذكاء الاصطناعي، مما جعلها سريعة بما يكفي للاستخدام في التطبيقات الواقعية.القوة الخارقة الثانية: المتنبئ "ماذا لو" (الأجسام من السياق)
هذه تشبه لعبة "خمن القطعة المفقودة". إذا عرضت على الذكاء الاصطناعي صورة لمطبخ به فجوة في المنتصف، يمكنه تخمين الجسم الذي يجب أن يكون هناك.مثال: إذا رأيت سريراً وطاولة جانبية، يتوقع الذكاء الاصطنانا وجود "مصباح" أو "منبه" هناك، وليس "لوح تزلج". إنه يفهم "جو" الغرفة.
القوة الخارقة الثالثة: كاشف التزييف (التحقيق الجنائي للصور)
هذا هو الجانب الأكثر عملية. العديد من الصور المزيفة (Deepfakes) تبدو مثالية من حيث البكسلات، لكن الأجسام بداخلها لا تبدو منطقية.وجد الباحثون أنه إذا أخبرت ذكاءً اصطناعياً متخصصاً في كشف التزييف: "مهلاً، انظر إلى هذه البقرة الغريبة على الشاطئ"، فإن الذكاء الاصطناعي يصبح أفضل بكثير في كشف التزوير. الأمر يشبه إعطاء حارس أمن عدسة مكبرة ليفحص الأجزاء المشبوهة في صورة ما. لم يضطروا حتى لإعادة تدريب الذكاء الاصطناعي؛ بل أضافوا هذا "فحص السياق" كطبقة إضافية مكملة.
الصورة الكبيرة
فكر في COinCO كساحة تدريب للجيل القادم من "عيون" الذكاء الاصطناعي. في السابق، كانت الحواسيب مثل الأطفال الذين يعرفون فقط كيف تبدو الأشياء. أما الآن، وبفضل هذه المجموعة من البيانات، بدأوا يتعلمون ما الذي تعنيه الأشياء وأين تنتمي.
هذا يساعدنا في اتجاهين كبيرين:
- تحرير أفضل: يمكننا جعل الصور تبدو أكثر طبيعية.
- أمن أفضل: يمكننا كشف الأخبار المزيفة والصور المتلاعب بها بشكل أسرع بكثير لأن الذكاء الاصطناعي يمكنه أخيراً رصد "البقرة الغريبة على الشاطئ".
باختصار: لقد بنوا مكتبة من "الصور الغريبة" لتعليم الحواسيب أن السياق مهم، مما يجعلها أكثر ذكاءً، وأسرع، وأصعب في الخداع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.