Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case
تقترح هذه الورقة مسار تحليل متمحور حول الأجسام يقوم بتفكيك خرائط الإسناد إلى عناصر قابلة للتفسير تشبه الأجسام، وذلك لإثبات أن نماذج تحديد الموقع الجغرافي تعتمد على إشارات بصرية محددة بدلاً من مناطق منتشرة لتوقعاتها.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة مثل GeoGuessr، حيث تنظر إلى صورة لشارع وعليك أن تخمن في أي بلد تقع هذه الصورة. كإنسان، أنت لا تكتفي بمجرد التحديق في الصورة بأكملها؛ بل تلمح أدلة محددة. قد ترى نوعاً معيناً من لوحات الإرشاد المرورية، أو لون الغطاء النباتي، أو طراز مبنى ما. أنت تستخدم هذه "الأشياء" الملموسة لتصل إلى تخمينك.
ولكن كيف تفعل برامج الكمبيوتر (الذكاء الاصطناعي) ذلك؟ هل تنظر إلى نفس الأدلة، أم أنها مجرد تخمينات بناءً على أنماط عشوائية ضبابية؟
تحاول هذه الورقة البحثية الإجابة على هذا السؤال عبر بناء "خط إنتاج تحرّي" خاص لمعرفة ما الذي ينظر إليه الذكاء الاصطناعي حقاً.
المشكلة: "الرؤية الضبابية" للذكاء الاصطناعي
عادةً، عندما نحاول معرفة ما يفكر فيه الذكاء الاصطناعي، نستخدم أدوات تسلط الضوء على بقعة منتشرة وضبابية في الصورة. الأمر يشبه النظر إلى صورة من خلال نافذة مغبشة حيث تظهر منطقة واسمة وغير واضحة وهي تتوهج. نحن نعلم أن الذكاء الاصطناعي ينظر في مكان ما هناك، لكن لا يمكننا تحديد ما إذا كان ينظر إلى سيارة معينة، أو لوحة شارع، أو مجرد اللون العام للسماء. من الصعب ربط تلك البقعة الضبابية بشيء حقيقي يمكن التعرف عليه.
الحل: تقطيع الصورة إلى "قطع أحجية"
ابتكر المؤلفون طريقة جديدة لتحويل تلك البقعة الضبابية إلى قطع واضحة ومتميزة، تماماً مثل تقطيع الأحجية إلى قطع فردية. إليكم كيف فعلوا ذلك، خطوة بخطوة:
- إيجاد النقاط الساخنة: أولاً، استخدموا أداة قياسية (مثل Grad-CAM) لإيجاد "النقاط الساخنة" في الصورة حيث يصب الذكاء الاصطناعي أكبر قدر من اهتمامه. فكر في الأمر كأن الذكاء الاصطناعي يسلط كشافاً ضوئياً على الأجزاء الأكثر أهمية في الصورة.
- التقطيع إلى قطع: بعد ذلك، أخذوا تلك المناطق المضاءة بالكشاف واستخدموا أداة "تجزئة" (قاطع رقمي) لتقطيعها إلى كتل تشبه الأشياء. بدلاً من بقعة متوهجة واحدة كبيرة، أصبح لديهم الآن قطع منفصلة تبدو كسيارة، أو جدار، أو لافتة.
- تقييم القطع: أعطوا كل قطعة درجة بناءً على مدى تداخلها مع "النقطة الساخنة" للذكاء الاصطناعي. وتم الاحتفاظ بالقطع التي تطابقت بشكل أفضل مع انتباه الذكاء الاصطناعي.
- "اختبار التذوق" (الحذف والإدراج): هذا هو الجزء الأهم. للتأكد مما إذا كانت هذه القطع مهمة حقاً، أجروا اختبارين:
- اختبار الحذف: أخذوا "قطع الأشياء" المحددة التي أعجبت الذكاء الاصطناعي ومسحوها من الصورة. إذا ارتبك الذكاء الاصطناعي فجأة ولم يعد قادراً على تخمين البلد، فقد أثبت ذلك أن تلك القطع كانت حاسمة.
- اختبار الإدراج: أخذوا فقط تلك "قطع الأشياء" المحددة ووضعوها على خلفية فارغة، مع إخفاء بقية الصورة. إذا استطاع الذكاء الاصطناعي بعد ذلك تخمين البلد بشكل صحيح من خلال هذه القطع القليلة فقط، فقد أثبت ذلك أنها تحمل كل المعلومات الضرورية.
ما وجدوه
لقد اختبروا ذلك على صور من فرنسا، والهند، واليابان.
- النتيجة: عندما استخدموا "قطع الأشياء" الخاصة بهم، كان أداء الذكاء الاصطناعي أفضل بكثير مما لو اختاروا قطعاً عشوائية من الصورة.
- التشبيه: تخيل أنك تحاول تخمين أغنية من خلال الاستماع إلى مقطع عشوائي مدته 5 ثوانٍ مقابل الاستماع إلى "اللازمة" (القرار) تحديداً. كانت "قطع الأشياء" تشبه "اللازمة"؛ فقد احتوت على اللحن الحقيقي الذي يحتاجه الذكاء الاصطناعي ليقوم بتخمينه.
- الأدلة: القطع التي ركز عليها الذكاء الاصطناعي كانت بالفعل أشياء يمكن التعرف عليها: سيارات، علامات الطريق، لوحات الشوارع، والجدران. وهذا يشير إلى أن الذكاء الاصطناعي لا يخمن عشوائياً فحسب؛ بل ينظر بالفعل إلى أدلة ملموسة تشبه تلك التي يستخدمها البشر.
العقبة
الطريقة ليست مثالية. فأحياناً يقوم "القاطع الرقمي" بتقطيع الأشياء بشكل غريب، مما ينتج عنه قطع غير مرتبة أو تتداخل مع بعضها البعض بشكل كبير. كما أنهم اختبروا هذا على ثلاث دول فقط، لذا لا نعرف ما إذا كان يعمل في كل مكان بعد.
الخلاصة
تظهر هذه الورقة البحثية أنه يمكننا أخذ التفسيرات "الضبابية" للذكاء الاصطناعي وتقطيعها إلى أشياء حقيقية ومفهومة. ومن خلال القيام بذلك، يمكننا إثبات أن ذكاء تحديد الموقع الجغرا actually ينظر إلى نفس النوع من الأدلة البصرية (مثل اللافتات والسيارات) التي يستخدمها البشر لحل اللغز، بدلاً من مجرد التخمين بناءً على أنماط غير مرئية. إنها خطوة نحو جعل الذكاء الاصطناعي يشرح منطقه بطريقة منطقية بالنسبة لنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.