Open-World Semantic Segmentation with Sensitivity Modeling
تقترح هذه الورقة إطار عمل جديد للتجزئة الدلالية في العالم المفتوح يعزز اكتشاف المحتوى غير المرئي أو الشاذ من خلال دمج "مفكك تشفير حساسية" ثالث لالتقاط عدم انتظام الأنسجة الدقيقة وعدم استقرار التنشيط، مما يكمل نهج النماذج الأولية والتعلم التبايني القائم حالياً لتحقيق تجزئة فائقة للظواهر الشاذة واكتشاف الفئات الجديدة مع الحفاظ على دقة المجموعة المغلقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً قيادة السيارة. تعرض عليه مليون صورة للطرق، والسيارات، والمشاة، فيتعلم تصنيف كل بكسل بدقة مثالية. ولكن بعد ذلك، تأخذ الروبوت إلى العالم الحقيقي. فجأة، يرى زرافة وردية فاقعة ترتدي قبعة، أو كومة من الحطام الغامض والمتوهج على الطريق السريع. في "العالم المغلق" الخاص بالفصل الدراسي، ليس لديه تسمية لهذه الأشياء. وبدلاً من أن يقول: "لا أعرف ما هذا!"، فإنه يخمن بثقة: "هذه سيارة!" أو "هذه شجرة!". هذا الإفراط في الثقة أمر خطير؛ فإذا اعتقد الروبوت أن كومة من القمامة هي طريق، فقد يقود مباشرة نحوها.
هذه هي مشكلة الرؤية "ذات العالم المفتوح" (Open-World Vision). يحاول العلماء بناء ذكاء اصطناعي لا يكتفي فقط بالتعرف على ما يعرفه، بل يكتشف أيضاً ما لا يعرفه. إنهم يريدون للذكاء الاصطناعي أن يقول: "هذه سيارة"، و"هذه كتلة غريبة غير معروفة"، بنفس القدر من اليقين. التحدي يكمكم في أن معظم نماذج الذكاء الاصطناعي تشبه الطلاب المتحمسين للغاية الذين سيخمنون الإجابة حتى لو لم تكن لديهم أدنى فكرة. إنهم بحاجة إلى طريقة ليشعروا بـ "عدم اليقين" عندما يرون شيئاً غريباً، دون الحاجة إلى عرض ملايين الأمثلة لكل شيء غريب محتمل أولاً.
هنا يأتي دور الباحثين من "إمبريال كوليدج لندن"، الذين بنوا نوعاً جديداً من عقل الذكاء الاصطناعي لحل هذه المشكلة. هم يسمون طريقتهم "التقسيم الدلالي للعالم المفتوح" (Open-World Semantic Segmentation)، ولكن يمكنك التفكير فيها كتعليم الروبوت كيف يكون محققاً أفضل.
المشكلة مع المحقق القديم
استخدمت المحاولات السابقة لحل هذه المشكلة نظام "المفكك المزدوج" (dual-decoder). تخيل محققاً لديه مساعدان:
- المساعد الدلالي (The Semantic Assistant): هذا الرجل بارع في التعرف على المشتبه بهم المعروفين. ينظر إلى البكسل ويقول: "هذا طريق!" أو "ه هذه سيارة!" بناءً على قائمة ذهنية بالفئات المعروفة.
- المساعد التبايني (The Contrastive Assistant): هذا الرجل ينظر إلى "روح" الصورة. يتحقق مما إذا كانت سمات البكسل تتناسب مع النمط العام للأشياء المعروفة أو ما إذا كانت تطفو بعيداً في "منطقة المجهول".
المشكلة هي أن كلا المساعدين ينظران إلى الصورة الكلية. إنهما يشبهان أشخاصاً يقفون على تلة وينظرون إلى غابة؛ يمكنهما رؤية الشكل العام للأشجار، لكنهما قد يغفلان عن فطر غريب وصغير ينمو عند قاعدة الشجرة. إذا كان هناك جسم غريب مخفي جزئياً أو له ملمس غريب، فقد يظل هذان المساعدان يعتقدان: "ممم، هذا يبدو قريباً من سيارة"، ويخطئان في رصد الشذوذ. إنهما كثيران جداً في نظرتهما، وغير دقيقين بما يكفي لالتقاط الغرابة المحلية الطفيفة.
المحقق الثالث الجديد: مفكك الحساسية
أدرك مؤلفو هذه الورقة البحثية أنهم بحاجة إلى مساعد ثالث، لا يهتم بـ ماهية الشيء، بل بـ كيفية شعور الذكاء الاصطناعي تجاهه. أطلقوا عليه اسم "مفكك الحساسية" (Sensitivity Decoder).
فكر في "مفكك الحساسية" كمحقق يحمل عدسة مكبرة وأنفاً شديد الحساسية. بينما ينظر المساعدان الآخران إلى الأشكال الكبيرة والمسافات، يقوم هذا المساعد الجديد بالتركيز على التفاصيل الدقيقة. إنه يبحث عن "عدم انتظام التنشيط" (activation irregularities).
إليك التشبيه السحري: تخيل أن عقل الذكاء الاصطراعي عبارة عن أوركسترا ضخمة. عندما يرى سيارة عادية، تعزف الآلات الموسيقية (النيورونات) لحناً سلساً ومستقراً. ولكن عندما يرى شيئاً غريباً - مثل جسم غريب مخفي جزئياً - تبدأ الموسيقى في التلعثم، أو العزف خارج الإيقاع، أو إصدار نغمات حادة لا تنتمي للمقطوعة. "مفكك الحساسية" هو المايسترو الذي يستمع خصيصاً لتلك التلعثُمات والنغمات غير المتناغمة. هو لا يحتاج لمعرفة ما هو الشيء الغريب؛ هو فقط يعرف أن الموسيقى تبدو "متذبذبة" و"غير مستقرة".
هذا تمييز جوهري. المساعدان الأولان يقيسان المسافة (كم يبعد هذا عن سيارة معروفة؟) والطاقة (هل يبدو هذا كشيء معروف؟). أما "مفكك الحساسية" الجديد فيقيس عدم الاستقرار. إنه يسأل: "هل عقل الذكاء الاصطناعي نفسه يهتز عندما ينظر إلى هذا؟"
كيف يعمل النظام معاً
بنى الباحثون نظاماً يتكون من ثلاثة "رؤوس" (decoders) متوازية تعمل معاً:
- الرأس الدلالي (The Semantic Head): يحدد الأشياء المعروفة (طريق، سيارة، شخص).
- الرأس التبايني (The Contrastive Head): يتحقق مما إذا كانت الأشياء غريبة بشكل عام (بعيدة عن الأنماط المعروفة).
- رأس الحساسية (The Sensitivity Head): يتحقق من الغرابة المحلية والدقيقة (خلل الملمس، التنشيط المهتز).
تصوت هذه الرؤوس الثلاثة معاً. إذا قال رأس الحساسية: "مهلاً، هذا الملمس متذبذب!" وكان الآخران غير متأكدين، فإن النظام يصنف المنطقة كـ "مجهول" أو "شذوذ".
النتائج: رصد الأعطال
اختبر الفريق "عقلهم ذو الرؤوس الثلاثة" الجديد على مجموعتين شهيرتين من بيانات القيادة: Cityscapes (مجموعة من صور شوارع المدينة) و BDD-Anomaly (صور مليئة بالعقبات غير المتوقعة والغريبة مثل الحطام أو المركبات الغريبة).
كانت النتائج واعدة. من خلال إضافة "مفكك الحساسية" هذا، أصبح النظام أفضل بكثير في اكتشاف الأشياء الغريبة دون أن يرتبك.
- في مجموعة بيانات BDD-Anomaly، حسنت طريقتهم القدرة على اكتشاف الشذوذ بنسبة 2.4% (مقاسة بمعيار AUROC، وهو مقياس يوضح مدى جودة النظام في العثور على الأشياء السيئة).
- كما قللت من "معدل الإيجابيات الكاذبة" (الخطأ في اعتبار الأشياء العادية غريبة) بمقدار 2.5 نقطة مئوية.
- والأهم من ذلك، أنها فعلت كل هذا مع بقائها بنفس كفاءة النماذج القديمة في التعرف على السيارات والطرق العادية.
والجزء الأفضل؟ "مفكك الحساسية" الجديد خفيف الوزن للغاية. فهو يضيف أقل من مليون معلمة (parameter) إلى النموذج (وهو أقل من 3.6% من إجمالي حجم "الدماغ"). إنه يشبه إضافة أذن صغيرة فائقة الحساسية لروبوت ضخم دون جعل الروبوت أبطأ. إنه يعمل بسرعة 24 إطاراً في الثانية، وهي سرعة كافية للقيادة في الوقت الفعلي.
ماذا يعني هذا؟
تظهر الورقة البحثية أنه من خلال إضافة طبقة ثالثة من "الحساسية" التي تبحث عن عدم الاستقرار المحلي، يمكننا جعل الذكاء الاصطناعي أفضل بكثير في رصد المجهول. يشير المؤلفون إلى أن هذا النهج يعد خطوة متقدمة لأننا لا نحتاج لإظهار ملايين الأمثلة لكل شيء غريب محتمل للذكاء الاصطناعي. بدلاً من ذلك، نحن نعلم الذكاء الاصطناعي أن يثق في "شعوره الداخلي" عندما تبدو البيانات مهتزة.
بينما لا تدعي الورقة أنها حلت مشكلة الرؤية ذات العالم المفتوح للأبد، إلا أنها تثبت أن خدعة "الحساسية" هذه هي أداة قوية. إنها تثبت أنه في بعض الأحيان، لكي تجد المجهول، لا تحتاج فقط للنظر بتمعن أكبر في الصورة الكلية؛ بل تحتاج للاستماع إلى تلك التلعثُمات الصغيرة في الموسيقى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.