Open-Vocabulary vs Supervised Learning Methods for Post-Disaster Visual Scene Understanding

تخيل أنك مستجيب أول، تهرع إلى مدينة بعد زلزال مدمر أو فيضان هائل. الشوارع عبارة عن فوضى من الحطام والمياه والدخان. أنت بحاجة لمعرفة الأمر فوراً: أين الناجون؟ أي المباني آمنة؟ أين ينتشر الحريق؟

لمساعدتك، لديك أسطول من الطائرات بدون طيار (الدرونز) تحلق في الأعلى وتلتقط الصور. لكن النظر في آلاف الصور أمر مستح المستحيل على البشر. لذا، تحتاج إلى حاسوب ينظر إلى هذه الصور ويخبرك بما يحدث.

هذه الورقة البحثية هي بمثابة "اختبار تذوق" كبير يقارن بين نوعين مختلفين من "الأدمغة الحاسوبية" ليرى أيهما أفضل في هذه المهمة المنقذة للحياة.

المتنافسان

فكر في الطريقتين اللتين يتم اختبارهما كنوعين مختلفين من الطلاب:

1. "المتدرب المتخصص" (التعلم الخاضع للإشراف - Supervised Learning)

• كيف يتعلم: يُعطى هذا الطالب كومة ضخمة من البطاقات التعليمية. كل بطاقة تحتوي على صورة لـ "طريق مغمور بالمياه" أو "مبنى منهار"، ويكتب المعلم الاسم الدقيق على ظهرها. يحفظ الطالب هذه البطاقات المحددة حتى يتمكن من تمييزها فوراً.
• العيب: هو بارع جداً فيما تعلمه، ولكن إذا عرضت عليه شيئاً لم يره من قبل (مثل "سيارة محترقة" بينما درس فقط "سيارات مغمورة بالمياه")، فسيصاب بالارتباك. إنه يحتاج إلى الكثير من المعلمين البشر لصنع تلك البطاقات التعليمية أولاً.

2. "المستكشف متعدد اللغات" (النماذج ذات المفردات المفتوحة / النماذج التأسيسية - Open-Vocabulary / Foundation Models)

• كيف يتعلم: هذا الطالب لم يحفظ البطاقات التعليمية. بدلاً من ذلك، قرأ ملايين الكتب وشاهد ملايين الفيديوهات على الإنترنت. لقد تعلم أن "النار" تبدو مثل "اللون البرتقالي والدخان" وأن "الماء" يبدو مثل "اللون الأزرق والشيء المبلل". إنه يفهم "مفهوم" الأشياء، وليس مجرد تسميات محددة.
• العيب: هو ذكي جداً ويمكنه فهم كلمات جديدة تعطيها له في اللحظة نفسها. ومع ذلك، لم يشهد من قبل فوضى منطقة الكوارث المحددة. قد يعرف ما هي "السيارة"، ولكن وسط ركام من الحطام، قد يخطئ ويظن قطعة من المعدن أنها سيارة.

التجربة: أولمبياد الكوارث

وضع الباحثون كلا الطالبين في سلسلة من الاختبارات القاسية باستخدام صور حقيقية من طائرات الدرون من أربعة كوارث مختلفة:

• الفيضانات: محاولة رصد المياه مقابل الأرض الجافة.
• الزلازل: محاولة رصد المباني المتضررة مقابل المباني السليمة.
• حرائق الغابات: محاولة رصد الدخان واللهب.
• البحث والإنقاذ: محاولة رصد أشخاص صغار الحجم في مدينة ضخمة.

واختبروهما في مهمتين رئيسيتين:

1. كتاب التلوين (التجزئة - Segmentation): تلوين كل بكسل في الصورة (على سبيل المثال: "هذا البكسل يمثل ماءً، وهذا يمثل طريقاً").
2. رحلة البحث عن الكنز (كشف الأشياء - Object Detection): رسم مربعات حول أشياء محددة (على سبيل المثال: "هنا يوجد شخص"، "هنا توجد نار").

النتائج: من الفائز؟

الحكم النهائي: "المتدرب المتخصص" هو الفائز، لكن "المستكشف" لديه إمكانات واعدة.

إليك التفاصيل بلغة بسيطة:

• عندما يفوز المتدرب: في معظم الاختبارات، كان الطالب الذي حفظ بطاقات الكوارث المحددة (التعلم الخاضع للإشراف) أكثر دقة بكثير. لقد كان أفضل في رصد الأشياء الصغيرة (مثل شخص وسط حشد) ورسم خطوط دقيقة حول الحطام الفوضوي والمزدحم.

  • تشبيه: إذا كنت بحاجة للعثيد إبرة محددة في كومة قش، فإن الشخص الذي درس الإبر لسنوات سيجدها أسرع من الشخص الذي يعرف فقط كيف تبدو "الإبرة" في كتاب مدرسي.

• أين يعاني المستكشف: كانت النماذج "متعددة اللغات" (ذات المفردات المفتوحة) جيدة في العثور على الأشياء الكبيرة والواضحة (مثل غابة كاملة أو بحيرة كبيرة). ولكن عندما أصبح المشهد فوضوياً، أو كان الشيء صغيراً، تاهت هذه النماذج. غالباً ما كانت تفقد الأشياء أو ترسم مربعات في أماكن خاطئة لأن صور الكوارث بدت مختلفة جداً عن الصور "الطبيعية" التي تعلمت منها عبر الإنترنت.

  • مشكلة "التعلم الصفري" (Zero-Shot): عندما حاول "المستكشف" التخمين دون أي تدريب على بيانات الكارثة المحددة، كان أداؤه سيئاً للغاية. الأمر يشبه سؤال شخص درس الشواطئ الاستوائية فقط أن يتنقل في وسط عاصفة ثلجية.

• "كود الغش" (تعلم النقل - Transfer Learning): وجد الباحثون حلاً وسطاً. إذا أخذوا "المستكشف متعدد اللغات" وأعطوه القليل من التدريب على صور الكارثة المحددة (مجرد بضع ساعات من البطاقات التعليمية)، فإن أداءه قفز بشكل كبير. لم يهزموا "المتدرب المتخصص"، لكنهم اقتربوا منه كثيراً.

الخلاصة الكبرى

إذا كنت تبني نظاماً لإنقاذ الأرواح الآن، يجب أن تستخدم "المتدرب المتخصص".
إذا كان لديك الوقت والموارد لجمع صور وتصنيفها لكارثة معينة (مثل فيضان مدينة معينة)، فإن النموذج الخاضع للإشراف هو الخيار الأكثر موثوقية ودقة وأماناً. إنه يتعامل مع التفاصيل الفوضوية والمربكة لكوارث العالم الحقيقي بشكل أفضل.

نماذج "المستكشف متعدد اللغات" مثيرة للاهتمام للمستقبل لأنها مرنة؛ فأنت لست بحاجة لإعادة تدريبها لكل نوع جديد من الكوارث. لكن في الوقت الحالي، هي "حالمة" بعض الشيء وليست دقيقة بما يكفي للواقع عالي المخاطر والفوضوي لمنطقة الكوارث.

باختصار: بالنسبة للواقع الفوضوي والمضطرب للكوارث، فإن المتخصص الذي يعرف التضاريس المحددة لا يزال أفضل من العام الذي يعرف العالم. ولكن مع القليل من التدريب، يمكن للعام أن يصبح مساعداً قوياً جداً.