Beyond Toy Benchmarks: A Systematic Evaluation of OOD Detection Methods For Plant Pathology Classification
تقيم هذه الورقة بشكل منهجي ست طرق للكشف عن البيانات خارج التوزيع (OOD) على مجموعة بيانات أمراض النباتات (Plant Pathology 2021) دقيقة التفاصيل، حيث تُظهر أن الضبط الدقيق القائم على الطاقة يتفوق على النماذج المرجعية من خلال إعادة هيكلة فضاء التضمين ومعايرة الدرجات، بينما تكشف أيضاً عن عدم استقرار تدريبي عملي في طرق التحسين المقيد التي غالباً ما يتم التغاضي عنها في المعايير القياسية.
تخيل أنك تعلم روبوتًا بستانيًا كيفية التعرف على أوراق التفاح المريضة. تعرض عليه آلاف الصور لأوراق سليمة، وأوراق مصابة بالتبقع، وأوراق مصابة بالصدأ، وهكذا. يصبح الروبوت بارعًا جدًا في ذلك. ولكن ماذا يحدث عندما يرى صورة لـ زهرة، أو سيارة، أو نمطًا نسيجيًا لم يره من قبل؟
هذه هي مشكلة الكشف عن البيانات الخارجة عن التوزيع (OOD detection). في العالم الحقيقي، لا ينبغي للروبوتات أن تخمن فحسب؛ بل يجب أن تكون قادرة على قول: "لا أعرف ما هذا".
هذه الورقة البحثية هي اختبار منهجي لست طرق مختلفة لتعليم الروبوت كيف يقول "لا أعرف" عندما يواجه شيئًا غريبًا، باستخدام مجموعة بيانات من العالم الحقيقي لأمراض التفاح. إليك التفاصيل بتبسيط شديد:
المشكلة: الروبوت الواثق أكثر من اللازم
تُدرب معظم نماذج الذكاء الاصطناعي مثل الطلاب الذين يخوضون اختبارًا من نوع الاختيار من متعدد. حتى لو كان السؤال غير منطقي (مثل "ما هي عاصمة المريخ؟" بينما الاختبار يدور حول التفاح)، يُجبر الطالب على اختيار إجابة. قد يخمن "واشنطن العاصمة" بثقة 99% لمجرد أنه مضطر لاختيار شيء ما.
في الذكاء الاصطناعي، يسمى هذا الأساس الناعم (Softmax Baseline). يُجبر النموذج على توزيع 100% من "ثقته" عبر الأمراض المعروفة. لذا، عندما يرى زهرة، قد يقول بثقة: "هذه بالتأكيد ورقة مصابة بالصدأ!". هذا أمر خطير لأن الروبوت يعتقد أنه يعرف الإجابة بينما هو في الواقع ليس لديه أدنى فكرة.
التجربة: اختبار ستة "شبكات أمان"
اختبر الباحثون ست طرق مختلفة لإصلاح هذه الثقة المفرطة، وتراوحت بين تعديلات بسيطة واستراتيجيات تدريب معقدة. استخدموا ثلاثة أنواع من الصور "الغريبة" لاختبار الروبوت:
السيارات: مختلفة تمامًا عن الأوراق (سهلة الرصد).
الأنسجة (Textures): مجرد أنماط، بلا أجسام (سهلة الرصد).
الزهور: تشبه الأوراق كثيرًا (صعبة الرصد).
إليك أداء الطرق الست:
الأساس (Softmax): الروبوت واثق أكثر من اللازم. لقد فشل في رصد الزهور، معتقدًا أنها أوراق مريضة.
المصنفات المستقلة (Independent Classifiers): بدلاً من إجبار الروبوت على اختيار "فائز" واحد، أعطوه خمسة أزرار منفصلة بنظام "نعم/لا" (واحد لكل مرض). إذا لم تضيء أي من الأزرار، يعرف الروبوت أنه أمام جسم غير معروف. كان هذا إصلاحًا بسيطًا وجيدًا بشكل مفاجئ.
"الغريب المعروف" (فئة OOD): علموا الروبوت صراحةً فئة سادسة تسمى "غير معروف". نجح هذا بشكل مثالي، لكنه غير واقعي لأنك في العالم الحقيقي لا تملك صندوقًا مصنفًا من الأشياء "غير المعروفة" لتعرضه على الروبوت مسبقًا.
التعرض للقيم المتطرفة (Outlier Exposure): عرضوا على الروبوت صورًا لـ "أشياء غريبة" (مثل السيارات) أثناء التدريب وأخبروه: "إذا رأيت هذا، كن غير متأكد". ساعد هذا، لكن الروبوت ظل يرتبك بسبب الزهور.
ضبط الطاقة الدقيق (الفائز) (Energy-Based Fine-Tuning): تغير هذه الطريقة طريقة "شعور" الروبوت تجاه الصورة. بدلًا من مجرد اختيار فائز، يقوم بحساب "درجة طاقة".
الأوراق الطبيعية لديها طاقة منخفضة (تبدو مألوفة وهادئة).
الأشياء الغريبة (مثل الزهور) لديها طاقة عالية (تبدو فوضوية وغير مألوفة).
النتيجة: كانت هذه الطريقة هي الأفضل. لم تغير قاعدة التقييم فحسب؛ بل أعادت تنظيم "خريطة الدماغ" الداخلية للروبوت (فضاء التضمين - embedding space) بحيث تبتعد الأشياء الغريبة طبيعيًا عن الأمراض المعروفة. استطاع التمييز بين الورقة والزهرة بشكل أفضل بكثير من الطرق الأخرى.
تحسين البيانات البرية (WOODS): هذه هي الطريقة الأكثر واقعية. تفترض أن الروبوت يتم نشره في الحقل ويبدأ في جمع كومة من الصور العشوائية (بعضها أوراق، وبعضها زهور، وبعضها صخور) دون تسميات توضيحية. يحاول التعلم من هذه الكومة الفوضوية.
العيب: بينما تعد هذه هي السيناريو الأكثر واقعية، إلا أنها كانت الأصعب في التدريب. الرياضيات المعنية كانت غير مستقرة. اضطر الباحثون إلى إضافة "كوابح" (وضع حدود لأوزان العقوبة) لمنع التدريب من الانهيار. لقد عملت بشكل أفضل من الأساس، لكنها كانت صعبة الضبط.
النقاط الرئيسية من الورقة البحثية
الواقعية مقابل الأداء: الطرق التي افترضت امتلاكنا لبيانات "غريبة" مثالية لعرضها على الروبوت أثناء التدريب كانت الأفضل. لكن في العالم الحقيقي، لا نملك ذلك. طريقة "الطاقة" كانت التوازن الأفضل: فقد عملت بشكل رائع دون الحاجة إلى بيانات "غريبة" مصنفة.
مشكلة الزهور: وجدت الورقة أن الزهور كانت في الواقع أصعب على الذكاء الاصطناعي من حيث رفضها مقارنة بـ السيارات. رغم أن البشر يرون السيارة مختلفة تمامًا عن الورقة، إلا أن الرياضيات الداخلية للذكاء الاصطناعي وجدت أحيانًا أن السيارات أصعب في التمييز عن الزهور. هذا يوضح أن ما يبدو "مختلفًا" بالنسبة لنا ليس دائمًا ما يبدو "مختلفًا" للحاسوب.
عدم استقرار التدريب: عندما حاولت استخدام الطرق الأكثر تقدمًا (مثل WOODS) على مجموعة بيانات حقيقية متوسطة الحجم، كانت عملية التدريب هشة للغاية. التغييرات الصغيرة في الإعدادات تسببت في تعطل النموذج. هذه مشكلة عملية غالبًا ما تغفل عنها الاختبارات الحاسوبية البسيطة (التي تستخدم مجموعات بيانات صغيرة ومثالية).
الدقة لم تنخفض: كان هناك قلق رئيسي وهو أن تعليم الروبوت قول "لا أعرف" قد يجعله أسوأ في تحديد الأمراض الفعلية. وجدت الورقة أن هذا لم يحدث. ظل الروبوت جيدًا بقدر ما كان في تحديد الأوراق المريضة بينما أصبح أفضل بكثير في رصد الغرباء.
الخلاصة
يمكنك تعليم الذكاء الاصطناعي أن يكون متواضعًا وأن يعترف عندما لا يعرف شيئًا، حتى في وظيفة معقدة وحقيقية مثل الزراعة. النهج الأفضل الذي تم العثور عليه هنا هو استخدام تقييم "القائم على الطاقة"، والذي يعيد تشكيل رؤية الذكاء الاصطناعي للعالم لإبقاء الأشياء الغريبة بعيدة عن الأشياء المعروفة. ومع ذلك، فإن الأساليب الأكثر تقدمًا حاليًا تشبه سيارات السباق عالية الأداء: فهي تعمل بشكل رائع، لكنها حساسة جدًا لكيفية ضبط المحرك.
ملخص تقني: ما وراء اختبارات الألعاب – تقييم منهجي لطرق كشف البيانات خارج التوزيع (OOD) لتصنيف أمراض النباتات
بيان المشكلة
حققت أنظمة التعلم العميق في الرؤية الحاسوبية أداءً ملحوظًا في المهام المرجعية، ومع ذلك، فإن نشرها الموثوق في السيناريوهات الواقعية يعوقه افتراض "العالم المغلق". فخطوط معالجة التصنيف القياسية، التي يتم تحسينها عبر أهداف تعتمد على دالة "softmax"، تجبر توزيع الكتلة الاحتمالية عبر الفئات المعروفة، مما يؤدي بالنماذج إلى تخصيص ثقة عالية للمدخلات غير ذات الصلة (البيانات خارج التوزيع أو OOD). وبينما توجد أدبيات واسعة حول كشف OOD، فإن معظم الطرق يتم تقييمها على مجموعات بيانات صغيرة ومتجانسة بصريًا (مثل CIFAR-10/100) والتي تفشل في استيعاب تعقيد النشر في العالم الحقيقي. وتحديدًا، تفتقر هذه الاختبارات المرجعية إلى التباين الدلالي، والتحولات في المتغيرات المصاحبة (covariate shifts)، وحالات "القرب من OOD" (على سبيل المثال، فئات متشابهة بصريًا ولكنها متميزة) الشائعة في التطبيقات المتخصصة مثل الزراعة. تعالج هذه الورقة الفجوة بين كشف OOD النظري والتطبيق العملي من خلال تقييم الطرق على مجموعة بيانات "Plant Pathology 2021"، وهي مهمة دقيقة تتضمن تصنيف أمراض أوراق التفاح حيث تسود انزياحات التوزيع الطبيعية (مثل الزهور، والأجسام غير النباتية، والانسدادات).
المنهجية
تجري الدراسة تقييمًا منهجيًا لست طرق لكشف OOD، تتدرج من التقييم البعدي البسيط إلى التحسين المقيد المعقد، تحت افتراضات متفاوتة فيما يتعلق بالوصول إلى بيانات OOD أثناء التدريب. تستخدم التجارب بنية ResNet-18 التي تم ضبطها بدقة على مجموعة فرعية من 5 فئات لأمراض التفاح (15,675 صورة).
الإعداد التجريبي
البيانات داخل التوزيع (ID): خمس فئات مرضية أحادية التسمية (Scab، Healthy، Frog Eye Leaf Spot، Rust، Powdery Mildew).
البيانات خارج التوزيع (OOD): ثلاث مجموعات بيانات خارجية بمسافات دلالية متفاوتة:
Stanford Cars: بعيدة عن التوزيع (لا يوجد تداخل بصري).
Describable Textures Dataset (DTD): بعيدة عن التوزيع (اختلاف هيكلي).
Flowers102: قريبة من التوزيع (متشابهة بصريًا مع الأوراق، وتمثل نمط فشل حرج).
البيانات المساعدة: تُستخدم ImageNet-O للطرق التي تتطلب بيانات OOD مصنفة أثناء التدريب. وتُستخدم بيانات "البرية" غير المصنفة (خليط من ID و OOD) لطرق التحسين المقيد.
الطرق التي تم تقييمها
E1: خط الأساس لـ Softmax: تدريب التقاطع المتقاطع (cross-entropy) القياسي. درجة OOD هي سالب أقصى احتمال لـ softmax.
E2: التصنيف الثنائي المستقل: يستبدل رأس softmax بخمس مخرجات sigmoid مستقلة مدربة باستخدام التقاطع المتقاطع الثنائي (BCE) لإزالة التنافس صفري المجموع الخاص بـ softmax.
E3: فئة OOD صريحة: يضيف فئة سادسة للمخرجات لـ OOD، مدربة على بيانات ID و OOD مصنفة. يعمل كحد أقصى تقريبي.
E4: التعرض للقيم المتطرفة (OE): يقوم بضبط مصنف خط الأساس مع خسارة مساعدة تشجع التنبؤات الموحدة على بيانات OOD المصنفة (ImageNet-O).
E5: كشف OOD القائم على الطاقة:
E5a (البعدي): يستخدم الطاقة الحرة للـ logits (E(x)=−Tlog∑efc(x)/T) كدالة تسجيل دون إعادة التدريب.
E5b (ضبط الطاقة الدقيق): يقوم بضبط النموذج باستخدام خسارة تشكيل طاقة قائمة على الهامش لفصل توزيعات طاقة ID و OOD بشكل صريح.
E6: WOODS: إطار عمل للتحسين المقيد يتدرب على بيانات "برية" غير مصنفة (خليط غير معروف من ID و OOD) دون افتراض الوصول إلى بيانات OOD نظيفة ومصنفة. يقوم بتقليل معدل عينات OOD التي تُصنف كـ ID، مع فرض قيود على معدلات الإنذار الكاذب لـ ID ودقة التصنيف.
النتائج الرئيسية
يكشف التقييم عن عدة رؤى بالغة الأهمية فيما يتعلق بكشف OOD في البيئات الزراعية الواقعية:
التسلسل الهرمي للأداء: برزت الطريقة E5b (ضبط الطاقة الدقيق) كأقوى طريقة عملية، حيث حققت أعلى AUROC وأقل FPR95 عبر جميع مجموعات OOD (بما في ذلك مجموعة Flowers102 الصعبة القريبة من التوزيع) دون الحاجة إلى بيانات OOD مصنفة في مرحلة التدريب الأولية.
تحسينات خط الأساس:
تفوقت E2 (BCE المستقل) بشكل كبير على خط أساس Softmax (E1) رغم عدم استخدام أي بيانات OOD، مما يشير إلى أن إزالة تطبيع softmax هو تحسين فعال ومنخفض التكلفة.
وفرت E5a (طاقة ما بعد التدريب) مكاسب فورية مقارنة بـ E1، مما يؤكد أن درجة الطاقة نفسها هي مقياس متفوق على احتمال softmax.
تحدي القرب من OOD: خلافًا للحدس، لم تكن مجموعات البيانات "البعيدة عن التوزيع" (Stanford Cars) أسهل باستمرار في الكشف من مجموعات "القريبة من التوزيع" (Flowers102) عبر جميع الطرق. وهذا يسلط الضوء على أن التشابه الإدراكي لا يرتبط دائمًا بصعوبة التمثيل الميزاتي.
تحليل مساحة التضمين: أظهر التحليل النوعي لمساحة التضمين (عبر مسافة جيب التمام لأقرب 5 جيران) أن E5b تعيد تشكيل مساحة الميزات بشكل كبير، مما يزيد من الفصل بين توزيعات ID و OOD (ارتفعت مسافة Wasserstein من 0.02 في E1 إلى 0.07 في E5b). يشير هذا إلى أن المكاسب تأتي من دالة تسجيل أفضل المعايرة ومن مساحة تضمين مُعادة التنظيم أيضًا.
استقرار البيانات داخل التوزيع: عبر جميع الطرق، ظلت الدقة المتوازنة على مجموعة اختبار ID مستقرة (تتراوح بين 0.916–0.944)، مما يشير إلى أن التدريب المدرك لـ OOD لا يؤدي بالضرورة إلى تدهور أداء المهمة.
التحديات العملية وعدم الاستقرار
توثق الورقة حالات عدم استقرار كبيرة في التدريب عند توسيع نطاق طرق التحسين المقيد لتشمل مجموعات بيانات متوسطة الحجم (حوالي 10 آلاف صورة)، وهي نتائج غائبة إلى حد كبير عن الأدبيات الحالية:
الحساسية لمعدل التعلم: بالنسبة لـ E4 و E5b و E6، يعد معدل التعلم هو المعلمة الأكثر حرجًا. تؤدي معدلات التعلم العالية إلى سيطرة خسارة OOD مبكرًا، مما يؤدي إلى انهيار أداء التصنيف.
عدم استقرار WOODS: ثبت أن طريقة Lagrangian المعززة (ALM) المستخدمة في WOODS حساسة للغاية. تسببت المحاولات الأولية باستخدام المعلمات القياسية في نمو أوزان الجزاء بشكل غير محدود، مما أدى إلى انخفاض بنسبة 20% في دقة التحقق. تطلب الاستقرار تقليل معدل التعلم المزدوج، وتخفيف تفاوتات القيود، ووضع حد أقصى صلب لأوزان الجزاء، وهو تعديل غير موجود في صيغة WOODS الأصلية.
الأهمية والادعاءات
يزعم المؤلفون أن كشف OOD المنهجي أمر ممكن في البيانات الواقعية والمتخصصة في مجال معين، ولكن التقييمات المرجعية القياسية غالبًا ما تفشل في التقاط التحديات العملية التي تظهر عند النشر.
ما وراء الاختبارات المرجعية: توضح الدراسة أن الطرق التي تعمل جيدًا في الاختبارات المرجعية الصغيرة والمتجانسة قد لا تترجم مباشرة إلى البيئات الزراعية المعقدة، خاصة فيما يتعلق بالكشف عن القرب من OOD أو استقرار التدريب.
الجدوى العملية: تُقدم طريقة ضبط الطاقة (E5b) كحل قوي وعملي يوازن بين أداء الكشف العالي والقيد التشغيلي المتمثل في عدم الحاجة إلى بيانات OOD مصنفة أثناء التدريب الأولي.
واقع التنفيذ: تؤكد الورقة أن الأطر النظرية (مثل WOODS) تتطلب هندسة دقيقة خاصة بكل مجموعة بيانات (مثل ضبط المعلمات، وكبح الجزاء) لتعمل باستقرار على مجموعات البيانات متوسطة الحجم، وهو فارق دقيق يتم تجاهله غالبًا في الأدبيات التي تركز على النماذج الضخمة أو الاصطناعية.
يعمل هذا العمل كمرجع للممارسين الذين يهدفون إلى نشر كشف OOD بما يتجاوز الاختبارات المرجعية القياسية، مؤكدًا أنه بينما يعد التدريب المدرك لـ OOD أمرًا ممكنًا، فإنه يتطلب اهتمامًا صارمًا بديناميكيات التدريب واستقرار المعلمات في السياقات الواقعية.