Segmenting Visuals With Querying Words: Language Anchors For Semi-Supervised Image Segmentation
تقدم هذه الورقة HVLFormer، وهو إطار عمل لتقسيم الصور بنظام التعلم شبه المُشرف الذي يستفيد من استعلامات الكائنات النصية الهرمية والمدركة للمجال وتنظيم الاتساق عبر الرؤى لمحاذاة التمثيلات البصرية والنصية من نماذج الرؤية واللغة بفعالية، محققاً أداءً هو الأفضل في مجاله باستخدام أقل من 1% من البيانات المصنفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية التعرف على الأشياء في صورة، مثل التمييز بين أريكة (sofa) وكرسي (chair).
في الأيام الخوالي، كان عليك أن تظهر للروبوت آلاف الصور حيث يتم تحديد كل أريكة وكرسي بدقة بواسطة إنسان. هذا أمر مكلف وممل.
التعلم شبه المُشرف (Semi-Supervised Learning) هو بمثابة إعطاء الروبوت بضع مئات من الصور "المصنفة بدقة" مع كومة ضخمة من الصور "غير المصنفة"، على أمل أن يتمكن من فهم الباقي بمفرده.
المشكلة:
مؤخرًا، بدأ العلماء في استخدام نماذج الرؤية واللغة (VLMs). فكر في هذه النماذج كأنها روبوتات قرأت الإنترنت بأكره. هي تعرف أن "الكرسي" مخصص للجلوس وأن "الأريكة" مخصصة للاسترخاء. إنها ذكية جدًا.
ولكن عندما تحاول استخدام هذا الروبوت "الذكي بفضل الإنترنت" لتصنيف صور محددة، فإنه يصاب بالارتباك. لماذا؟
- فخ "العمومية": تعلم الروبوت من الإنترنت بأكمله. بالنسبة له، "الكرسي" مجرد مفهوم عام. هو لا يعرف أن الكرسي في صورتك الخاصة (ربما في غرفة معيشة فوضوية) يكون دائمًا بجانب طاولة، بينما الأريكة تكون في الزاوية. إنه يعاملهم كأشياء متشابهة للغاية.
- مشكلة "الضجيج": إذا طلبت من الروبوت العثور على "حافلة" في صورة لغرفة نوم، فقد يحاول العثور على واحدة لأن لديه معرفة بماهية الحافلة، رغم عدم وجودها هناك. هذا يخلق حالة من الارتباك.
الحل: HVLFormer
قام مؤلفو هذه الورقة البحثية ببناء نظام جديد يسمى HVLFormer. فكر فيه كأنه محقق ذكي لا يعتمد فقط على معرفته العامة، بل يتكيف مع مسرح الجريمة المحدد (الصورة).
إليك كيف يعمل، باستخدام ثلاثة تشبيهات إبداعية:
1. "صندوق الأدوات المخصص" (توليد الاستعلام النصي الهرمي)
تخيل أن الروبوت لديه صندوق أدوات يحتوي على تسميات عامة.
- الطريقة القديمة: يسحب تسمية "كرسي" عامة ويحاول لصقها على كل شيء يبدو ككرسي.
- طريقة HVLFormer: قبل أن ينظر حتى إلى الصورة، يقوم بتخصيص تسمياته بناءً على نوع الصورة التي أوشك على رؤيتها.
- إذا كانت الصورة لـ شارع في مدينة، فإنه يجهز تسمية "إشارة مرور" تعرف أن عليها البحث عن أعمدة وأسلاك.
- إذا كانت غرفة معيشة، فإنه يجهز تسمية "كرسي" تعرف أن عليها البحث عن أرجل ووسائد بالقرب من الطاولات.
- خدعة "تعدد المقاييس": هو لا يصنع تسمية واحدة فقط، بل يصنع تسمية "للمشهد العام" (للعثين على الجسم بالكامل) وتسمية "للتكبير" (للعثور على الملمس والحواف). هذا يساعده على التمييز بين سيارة لعبة صغيرة وسيارة حقيقية.
2. "الدليل المحلي" (صقل البكسل والنص)
بمجرد أن يمتلك الروبوت تسمياته المخصصة، فإنه يحتاج إلى النظر في الصورة الفعلية.
- الطريقة القديمة: ينظر الروبوت إلى النص ("كرسي") والصورة بشكل منفصل، ثم يحاول تخمين أين يتطابقان. الأمر يشبه محاولة تجميع أحجية (puzzle) وأنت معصوب العينين، وتخمن فقط أين توضع القطع.
- طريقة HVLFormer: يرسل الروبوت تسمية "الكرسي" الخاصة به داخل الصورة ليشعر بالملمس.
- التسمية تقول: "أنا أبحث عن كرسي".
- الصورة تقول: "مهلاً، هنا يوجد عروق خشبية وأربعة أرجل".
- التسمية تقول: "رائع! سأركز انتباهي هناك وأتجاهل السجادة".
- هذا يشبه محققًا يحضر رسمًا تخيليًا لمشتبه به إلى مسرح الجريمة ويسأل الشهود المحليين (البكسلات): "هل يشبه هذا الشخص الذي نبحث عنه؟". يصبح الرسم أكثر دقة بناءً على ما يقوله الشهود.
3. نظام "التحقق المزدوج" (التنظيم المتسق)
بما أن الروبوت لديه فقط عدد قليل من الصور المصنفة للتعلم منها، فقد يشعر بالخوف ويخمن بشكل خاطئ بسهولة.
- الخدعة: يأخذ النظام نفس الصورة وينشئ ثلاث نسخ منها:
- الأصلية.
- نسخة ضبابية/باهتة (مثل تضييق العينين).
- نسخة ذات ألوان غريبة/مقطعة (مثل النظر من خلال منظار ملوّن).
- القاعدة: يجب على الروبوت إعطاء نفس الإجابة تمامًا لجميع هذه النسخ الثلاث.
- إذا قال "هذه أريكة" في النسخة الأصلية، لكنه قال "هذه سجادة" في النسخة الضبابية، فهو يعلم أنه مرتبك.
- هذا يجبر الروبوت على تجاهل الألوان الغريبة أو الضبابية والتركيز على المعنى الحقيقي للجسم. هذا يجعل الروبوت شجاعًا وواثقًا، حتى عندما لم يرَ هذا النوع المحدد من الأرائك من قبل.
النتيجة
من خلال الجمع بين هذه الخطوات الثلاث، يصبح HVLFormer محققًا بارعًا.
- يعرف الفرق بين الأريكة والكرسي حتى لو بدوا متشابهين.
- يعرف ألا يبحث عن حافلات في غرفة نوم.
- يمكنه القيام بكل هذا باستخدام أقل من 1% من البيانات المصنفة التي تحتاجها الروبوتات الأخرى.
باخت-اختصار: بدلاً من إجبار عقل عام مدرب عبر الإنترنت على أداء مهمة محددة، يمنح HVLFormer ذلك العقل خريطة مخصصة، ودليلاً محليًا، ونظام تحقق صارم، مما يسمح له بالتعلم بسرعة فائقة وبمساعدة ضئيلة جدًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.