🤖 machine learning

AOE: Exhaustive Out-of-Distribution Detection via Recalibrating Outlier Labels

تقترح هذه الورقة طريقة "التعرض للقيم المتطرفة بالثقة التكيفية" (AOE)، وهي طريقة جديدة للكشف عن البيانات خارج التوزيع، تعمل على تحسين النهج الحالية باستخدام قياس درجة الحرارة لتوليد تسميات ناعمة تكيفية للقيم المتطرفة، مما يحافظ على العلاقات الدلالية مع فئات البيانات داخل التوزيع مع توسيع هامش القرار بفعالية لكبح التنبؤات مفرطة الثقة.

المؤلفون الأصليون: Fengqiang Wan, Qing-Yuan Jiang, Yang Yang

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fengqiang Wan, Qing-Yuan Jiang, Yang Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "AOE: الكشف الشامل عن البيانات خارج التوزيع عبر إعادة معايرة تسميات القيم المتطرفة" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبيرة: الطالب الواثق بزيادة

تخيل أنك تعلم طالباً (نموذج ذكاء اصطناعي) التعرف على الحيوانات. تعرض عليه صوراً لـ قطط، كلاب، وشاحنات.

الآن، تخيل أنك عرضت على الطالب صورة لـ حافلة مدرسية. الطالب لم يرَ حافلة مدرسية من قبل. في العالم الحقيقي، هذا يسمى عينة "غريبة" أو بيانات خارج التوزيع (OOD).

الهدف من الكشف عن البيانات خارج التوزيع (OOD Detection) هو أن يقول الطالب: "أنا لا أعرف ما هذا!" بدلاً من التخمين بثقة: "هذه قطة!" أو "هذا كلب!". إذا خمن الطالب بثقة على شيء غريب، فقد يكون ذلك خطيراً (مثل سيارة ذاتية القيادة تخطئ في تحديد بالون وتظنه صخرة).

الطريقة القديمة: التسمية "الموحدة للجميع"

لتعليم الطالب كيفية التعامل مع الغرباء، استخدمت الطرق السابقة تقنية تسمى تعريض القيم المتطرفة (Outlier Exposure - OE). لقد عرضوا على الطالب صوراً للغرباء (مثل الحافلة المدرسية) وقالوا له:

"هذا غريب. تعامل معه كأنه قطة بنسبة 100%، وكلب بنسبة 100%، وشاحنة بنسبة 100% في نفس الوقت."

رياضياً، يسمى هذا تخصيص تسمية موحدة (Uniform Label). الفكرة هي جعل الطالب مشتتاً حتى لا يختار إجابة محددة.

العيب (تأثير "التنعيم المفرط"):
تجادل الورقة بأن هذا يشبه قولك للطالب: "الحافلة المدرسية تشبه القطة والكلب والشاحنة بنفس القدر".

الواقع: الحافلة المدرسية تشبه في الواقع الشاحنة (كلاهما له أربع عجلات، وجسم معدني، ويحمل أشياء). وهي مختلفة تماماً عن القطة.
المشكلة: من خلال إجبار الطالب على معاملة الحافلة كأنها متشابهة مع كل شيء بالتساوي، أنت تمحو الإشارات المفيدة. أنت تقول للطالب: "لا تنظر إلى العجلات؛ لا تنظر إلى الشكل". هذا يربك الطالب ويجعله أقل قدرة على التمييز بين الحيوان المعروف والغريب لاحقاً. تطلق الورقة على هذا اسم "تأثير التنعيم المفرط" (Over-Softening Effect).

الحل الجديد: AOE (التعرض التكيفي للقيم المتطرفة)

يقترح المؤلفون طريقة جديدة تسمى AOE. بدلاً من إجبار الطالب على معاملة الغريب كمزيج مثالي من كل شيء، يستخدمون خدعة ذكية تسمى تدرج الحرارة (Temperature Scaling).

فكر في "الحرارة" كأنها "فلتر ضبابية" على عدسة الكاميرا.

الحرارة العالية: الصورة ضبابية جداً. كل شيء يبدو متشابهاً. (هذه هي طريقة "التسمية الموحدة" القديمة).
الحرارة المنخفضة: الصورة حادة. يمكنك رؤية تفاصيل محددة.

كيف يعمل AOE:

انظر أولاً: ينظر النموذج إلى الغريب (الحافلة المدرسية) ويضع تخميناً بناءً على ما يعرفه. قد يعتقد: "همم، هذا يبدو مثل الشاحنة بنسبة 70%، والكلب بنسبة 20%، والقطة بنسبة 10%".
عدّل الضبابية (الحرارة): بدلاً من فرض الإجابة لتكون 33/33/33، يستخدم AOE "حرارة قابلة للتعلم" لتنعيم تخمين الـ 70/20/10 بلطف. إنه يجعل الإجابة أكثر ليونة (ربما 50/30/20) حتى لا يصبح الطالب واثقاً جداً، ولكنه يحافظ على العلاقة التي تقول إن "الحافلة تشبه الشاحنة أكثر مما تشبه القطة".
تعلم من التفاصيل: يتم تدريب النموذج على قبول هذه التسمية "الناعمة ولكن الواقعية". يتعلم النموذج: "حسناً، لا ينبغي أن أكون متأكداً بنسبة 100%، ولكن يجب أن أتذكر أن هذا الغريب يتشارك بعض السمات مع الشاحنة".

لماذا هذا أفضل؟

من خلال الحفاظ على العلاقة بين الغريب والفئات المعروفة، يبني النموذج "خريطة ذهنية" أفضل.

الطريقة القديدة: الخريطة عبارة عن ضباب مسطح وبدون معالم. لا يستطيع الطالب معرفة أين يقع الغريب.
طريقة AOE: الخريطة تحتوي على تلال ووديان. يرى الطالب أن "الحافلة المدرسية" تقع في "وادي الشاحنات"، ولكنها لا تزال بعيدة بما يكفي عن "تلة القطط" ليعرف أنها ليست قطة.

هذا يخلق فجوة (هامش) أكبر بين ما يعرفه النموذج (ID) وما لا يعرفه (OOD). عندما يظهر غريب جديد، يكون النموذج أفضل بكثير في قول: "أنا لا أعرف هذا"، بدلاً من التخمين الخاطئ.

النتائج

اختبر المؤلفون هذه الطريقة على مجموعات بيانات مختلفة (مثل CIFAR-10، CIFAR-100، و ImageNet).

وجدوا أن AOE قلل باستمرار من عدد المرات التي يرتكب فيها النموذج أخطاءً واثقة تجاه الغرباء.
ببساطة: إذا كان لديك 100 غريب، فقد تخطئ الطريقة القديمة في تحديد 13 منهم بثقة. نجح AOE في تقليل هذا العدد إلى حوالي 10 أو 11، مع الحفاظ في الوقت نفسه على جودة تحديد الحيوانات التي يعرفها النموذج بالفعل.

الملخص

تقول الورقة: توقفوا عن معاملة جميع الغرباء ككتل متطابقة بلا ملامح.
بدلاً من ذلك، استخدموا "مقبض حرارة" ذكياً لتنعيم تخمينات النموذج بلطف. بهذه الطريقة، يتعلم النموذج أن الغريب قد يشبه شيئاً معروفاً قليلاً، ولكن ليس لدرجة أن يُخدع به. هذا يجعل الذكاء الاصطناعي أكثر أماناً وموثوقية في العالم الحقيقي.

ملخص تقني: AOE: الكشف الشامل عن التوزيع الخارج عن النطاق عبر إعادة معايرة تسميات القيم المتطرفة

بيان المشكلة

يعد الكشف عن التوزيع الخارج عن النطاق (OOD) أمراً بالغ الأهمية لنشر نماذج تعلم الآلة في السيناريوهات ذات العالم المفتوح والسيناريوهات الحرجة من حيث السلامة، حيث قد تنحرف المدخلات الاختبارية عن توزيع التدريب. إن التنبؤات المفرطة في الثقة بشأن العينات غير المعروفة يمكن أن تؤدي إلى قرارات غير موثوقة. وبينما برزت طريقة "التعرض للقيم المتطرفة" (Outlier Exposure - OE) كنموذج واعد من خلال إدخال قيم متطرفة مساعدة أثناء التدريب لتوسيع الهامش بين عينات التوزيع داخل النطاق (ID) وعينات التوزيع الخارج عن النطاق (OOD)، إلا أن طرق OE الحالية تعاني من قصور جوهري.

عادةً ما تخصص طرق OE الحالية تسميات موحدة (uniform labels) لعينات OOD لزيادة الإنتروبيا (الاعتلاج) الخاصة بها عبر فئات ID. ويجادل المؤلفون بأن هذه الاستراتيجية تتجاهل حتماً العلاقات الدلالية بين عينات OOD وفئات محددة من ID، مما يؤدي إلى "تأثير التليين المفرط" (over-softening effect). هذا التأثير يقلص فروق التنبؤ عبر فئات ID، مما يؤدي إلى مسافات موحدة تقريباً بين تنبؤات عينات OOD ومختلف عينات ID. وبناءً على ذلك، فإن الفئات ذات الصلة دلالياً (مثل "شاحنة" لعينة OOD هي "حافلة مدرسية") لا يتم تمييزها عن الفئات غير ذات الصلة (مثل "قطة")، مما يؤدي إلى هامش فصل دون المستوى الأمثل وتدهور أداء الكشف عن OOD.

المنهجية: OE ذو الثقة التكيفية (AOE)

لمعالجة تأثير التليين المفرط، يقترح المؤلفون AOE (التعرض للقيم المتطرفة ذو الثقة التكيفية)، وهو أسلوب يعيد معايرة تسميات القيم المتطرفة باستخدام مقياس درجة الحرارة (temperature scaling).

الآلية الجوهرية

بدلاً من إجبار عينات OOD على امتلاك توزيع موحد، يقوم AOE بتوليد أهداف ناعمة تكيفية (adaptive soft targets) مشتقة من تنبؤات النموذج نفسه والمدرجة بمقياس معامل درجة حرارة $T$ قابل للتعلم.

إعادة معايرة التسمية: بالنسبة لعينة $x_o$ من نوع OOD، يولد النموذج قيم لوجيت (logits) $z = f(x_o; \theta)$ . يتم قياس هذه القيم بواسطة درجة حرارة $T > 1$ وتمريرها عبر دالة softmax لإنشاء هدف ناعم $q_T = s(z/T)$ .
الحفاظ على العلاقات: يعمل مقياس درجة الحرارة على تنعيم توزيع التنبؤ دون محو المعلومات العلاقاتية بين الفئات. وهذا يسمح للنموذج بالحفاظ على مسافة أصغر مع الفئات ذات الصلة دلالياً مع الاستمرار في تشجيع توزيع ذي إنتروبيا عالية.
التحسين (Optimization): تقوم الطريقة بتحسين معاملات النموذج $\theta$ $θ$ ودرجة الحرارة $T$ $T$ .
- التدريب المشترك (Joint Training): يتم تحديث $\theta$ و $T$ في آن واحد ضمن رسم بياني حسابي واحد للتكيف مع تمثيل الميزات.
- التدريب التناوبي (Alternating Training): يتم تحديث $T$ لاستيفاء قيد المحاذاة (تقليل تباعد KL بالنسبة لتوزيع موحد)، ثم يُعامل كثابت لتحديث $\theta$ .

الأساس النظري

تقدم الورقة تحليلاً نظرياً لتبرير هذا النهج:

الافتراض 1 (Proposition 1): يوضح أن الإشراف الموحد يقلص بشكل منهجي فروق التنبؤ عبر فئات ID.
النظرية 1 (Theorem 1): تضع حداً أعلى صريحاً لهامش الفصل، مما يظهر أن التقلص المفرط (الناتج عن التسميات الموحدة) يُدخل تصحيحاً تربيعياً سالباً يقلل من الهامش.
النظرية 2 والنتيجة 1 (Theorem 2 & Corollary 1): تثبت أن استخدام درجة حرارة مثالية محدودة $T^*$ يؤدي إلى تقلص أقل حدة في الهامش مقارنة بالحالة القصوى للتعرض الموحد ( $T \to \infty$ )، مما يحافظ على العلاقات الدلالية المفيدة.

المساهمات الرئيسية

الرؤية النظرية: يقدم المؤلفون تحليلاً نظرياً يثبت أن استراتيجية التسمية الموحدة القياسية في OE تسبب تأثيراً للتليين المفرط يتجاهل العلاقات الجوهرية بين عينات OOD وفئات ID، مما يؤدي إلى هامش فصل دون المستوى الأمثل.
خوارزمية AOE: يقترحون AOE، وهي طريقة بسيطة وفعالة تستبدل الأهداف الموحدة بأهداف زيفة (pseudo-labels) تكيفية يتم توليدها عبر مقياس درجة الحرارة. يحافظ هذا النهج على التقارب الدلالي مع تعزيز التوزيعات ذات الإنتروبيا العالية.
استراتيجيات التحسين: تقدم الورقة مخططات تحسين مشتركة وتناوبية لتعلم معامل درجة الحرارة أثناء التدريب، مما يضمن التقارب القوي.
التحقق الواسع: تم التحقق من صحة الطريقة عبر معايير متنوعة (CIFAR-10, CIFAR-100, ImageNet-200) وأظهرت توافقها مع مختلف استراتيجيات OE ودوال تسجيل النقاط الموجودة.

النتائج التجريبية

قام المؤلفون بتقييم AOE على معيار OpenOODv1.5، والذي يغطي كلاً من حالات OOD القريبة (التحولات الدلالية) وحالات OOD البعيدة (تحولات التباين/Covariance shifts).

مكاسب الأداء: مقارنة بطريقة OE الأساسية، خفض AOE باستمرار معدل الإيجاب الكاذب عند معدل إيجاب حقيقي بنسبة 95% (FPR95).
- CIFAR-10: خفض FPR95 بنسبة 2.40% (near-OOD) و 2.51% (far-OOD).
- CIFAR-100: خفض FPR95 بنسبة 0.64% (near-OOD) و 9.11% (far-OOD).
- ImageNet-200: خفض FPR95 بنسبة 2.02% (near-OOD) و 2.10% (far-OOD).
التوافق: يعمل AOE كتحسين "وصل وشغل" (plug-and-play). فعند تطبيقه على طرق OE أخرى (MixOE, DOE, DAL)، فإنه يحسن أداءها باستمرار.
المتانة: تُظهر الططريقة متانة عبر بنيات خلفية مختلفة (ResNet-18, WideResNet, DenseNet) ومختلف دوال تسجيل نقاط OOD (مثل Energy, ODIN, ASH, إلخ).
دراسات الاستئصال (Ablation Studies): تؤكد التجارب أن درجة الحرارة القابلة للتعلم أمر بالغ الأهمية؛ حيث تعطي قيم درجة الحرارة الثابتة أو تنعيم التسميات العشوائي نتائج أدنى مقارنة بالنهج التكيفي. تُظهر التصورات (Grad-CAM وتوزيعات التسميات الزائفة) أن AOE ينتج خرائط انتباه أكثر دلالية وتوزيعات احتمالية أفضل معايرة مقارنة بالأساس الموحد.

الأهمية والادعاءات

تدعي الورقة أن AOE يعالج قصوراً جوهرياً في نماذج الكشف عن OOD الحالية من خلال الانتقال من الإشراف الموحد "الذي يناسب الجميع" إلى الإشراف التكيفي الذي يحافظ على العلاقات. ومن خلال الربط النظري بين الحفاظ على العلاقات الدلالية وتحسين هوامش الفصل، يجادل المؤلفون بأن AOE يمكّن النماذج من التمييز بشكل أفضل بين عينات OOD الغامضة وفئات ID. تُقدم الطريقة كتحسين عام يمكن دمجه بسلاسة في أطر OE الحالية دون الحاجة إلى تغييرات معمارية معقدة، مما يوفر حلاً قوياً للتطبيقات الحرجة من حيث السلامة حيث يكون تقدير عدم اليقين الموثوق أمراً بالغ الأهمية.