VIGIL: Tackling Hallucination Detection in Image Recontextualization
تقدم هذه الورقة VIGIL، وهي مجموعة بيانات مرجعية مبتكرة وإطار عمل للكشف متعدد المراحل يصنف الهلوسات في إعادة سياق الصور إلى خمسة أنواع دقيقة من حيث الأمانة لتمكين تحديد الأخطاء وتفسيرها بدقة أكبر من الطرق الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج في موقع تصوير فيلم، ولكن بدلاً من استئجار ممثلين، أنت تقود رساماً آلياً سحرياً فائق الذكاء. تسلم الروبوت صورة لحذائك الرياضي الأحمر المفضل وصورة لحديقة مشمسة، وتقول له: "ضع الحذاء في الحديقة". يصدر الروبوت أزيزاً، ويرسم لوحة فنية رائعة، ثم يعيدها إليك. لكن في بعض الأحيان، يبالغ الروبوت في إبداعه؛ فقد يحول حذاءك الأحمر إلى حذاء أزرق، أو ينسى رسم الحذاء تماماً، أو يضعه عائماً في الهواء كأنه شبح. هذا هو عالم إعادة سياق الصور متعدد الوسائط (multimodal image recontextualization)، وهو مصطلح معقد لاستخدام الذكاء الاصطناعي لأخذ كائن من صورة ما وإسقاطه في مشهد جديد بناءً على تعليماتك.
لفترة طويلة، حاول العلماء معرفة كيفية رصد اللحظات التي يرتكب فيها هؤلاء الفنانون الآليون أخطاء، والتي تسمى الهلوسة (hallucinations). فكر في الهلوسة ليس كحلم، بل ككذبة يخبر بها الكمبيوتر نفسه. في الماضي، ركز الباحثون بشكل أساسي على مهام تحويل النص إلى صورة (حيث تكتب وصفاً وتحصل على صورة). لقد بنوا أدوات تعطي "درجة" واحدة لتقول مدى جودة الصورة، تماماً مثل معلم يعطي اختباراً درجة "B-". لكن هذه الدرجة لا تخبرك لماذا أصبح الحذاء أزرق بدلاً من أحمر، أو لماذا يشير الظل في الاتجاه الخاطئ. ومع تطور الذكاء الاصطناعي في صنع صور واقعية، نحتاج إلى طريقة للإمساك بهذه الأخطاء المحددة والمراوغة حتى نتمكن من الثقة في الصور لأغراض مثل الإعلانات أو التصميم.
هنا يأتي دور VIGIL، وهو نظام جديد ابتكره فريق من الباحثين يعمل كأنه ناقد فني صارم ودقيق للغاية. فبدلاً من مجرد إعطاء الذكاء الاصطناعي درجة، يقوم VIGIL بتفكيك الصورة إلى خمس فئات محددة من الأخطاء ويشرح بالضبط ما الذي حدث بشكل خاطئ. بنى الباحثون مجموعة بيانات ضخمة مكونة من 1,269 مثالاً حيث قاموا بفحص الصور الناتجة عن الذكاء الاصطناعي يدوياً لمعرفة أنواع الأخطاء الأكثر حدوثاً. ووجدوا أن الذكاء الاصطناعي يعاني في خمس طرق رئيسية: قد يغير مظهر الكائن (الدقة البصرية للكائن)، أو يفسد الخلفية (دقة الخلفية)، أو يضع الكائن في المكان الخاطئ (الدقة المكانية والتعليمات)، أو يجعل الكائن يبدو وكأنه لا ينتمي فيزيائياً للمكان (الدقة الفيزيائية والتكامل)، أو ببساطة ينسى رسم الكائن تماماً (إغفال الكائن).
يقدم البحث مسار عمل ذكي يستخدم فريقاً من أدوات الذكاء الاصطناعي مفتوحة المصدر للتحقق من الصورة خطوة بخ خطوة. أولاً، يستخدم أداة "تجزئة" (مثل مقص رقمي) لقص الكائنات. بعد ذلك، يقارن القطع المقصوصة بالصور المرجعية الأصلية ليرى ما إذا كان الشكل أو اللون قد تغير. كما يتحقق مما إذا كانت الخلفية قد بقيت كما هي، وما إذا كانت الإضاءة والظلال منطقية، وما إذا كان الكائن موجوداً بالفعل. إذا ارتكب الذكاء الاصطناعي خطأً، فإن VIGIL لا يكتفي بقول "خطأ"؛ بل يكتب ملاحظة، مثل: "الكرسي أصبح الآن كرسياً هزازاً، بينما طلبت كرسياً خشبياً بمساند"، أو "الأريكة تطفو في الهواء".
عندما اختبر الباحثون نظامهم، وجدوا أن هذا النهج المتدر خطوة بخطوة كان جيداً جداً في رصد الأخطاء، وغالباً ما تفوق على أدوات كشف الذكاء الاصطنا آخرة مفتوحة المصدر. في الواقع، في صور الأثاث، كان VIGIL الأفضل في رصد الأخطاء. ومع ذلك، يشير البحث إلى أن النظام ليس مثالياً بعد؛ فهو يخطئ أحياناً في رصد التفاصيل الصغيرة، مثل لوحة ترخيص مشوهة لسيارة أو شعار ضبابي لجهاز إلكتروني، لأن هذه التفاصيل صغيرة جداً بحيث لا يستطيع الذكاء الاصطناعي رؤيتها بوضوح بعد قصها. ويقترح المؤلفون أنه بينما تعد طريقتهم خطوة كبيرة للأمام، فإن التحدي الأكبر الآن هو ضمان قدرة الذكاء الاصطناعي على التكبير وفحص تلك التفاصيل الدقيقة وعالية الدقة دون فقدان الصورة الكبيرة. الهدف النهائي هو الانتقال من مجرد التخمين فيما إذا كانت الصورة "جيدة" إلى معرفة لماذا هي معطلة بالضبط، حتى نتمكن من إصلاحها والثقة فيما نراه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.