💻 computer science

Don't Collapse Your Features: Why CenterLoss Hurts OOD Detection and Multi-Scale Mahalanobis Wins

تقدم هذه الورقة GOEN، وهو مسار معالجة بسيط وفعال للكشف عن البيانات خارج التوزيع (OOD) يتفوق على النماذج المرجعية المتطورة من خلال الاستفادة من الميزات متعددة المقاييس ومسافة ماهالانوبيس، بينما يوضح أن "CenterLoss"، رغم تحسينه لدقة التصنيف، يؤدي إلى تدهور كبير في الكشف عن البيانات خارج التوزيع عبر تشويه الهندسة الميزية المطلوبة لتقدير اليقين المعرفي الموثوق.

المؤلفون الأصليون: Rahul D Ray

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rahul D Ray

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً التعرف على عشرة حيوانات محددة: قطة، كلب، حصان، طائر، وما إلى ذلك. تعرض عليه آلاف الصور حتى يصبح خبيراً في تصنيفها. ولكن ماذا يحدث عندما تعرض على الروبوت صورة لمحمص خبز (توستر)، أو سحابة، أو مخلوقاً من وحي الخيال؟

هذه هي مشكلة كشف البيانات خارج التوزيع (Out-of-Distribution - OOD). في العالم الحقيقي، نحتاج من الذكاء الاصطناعي أن يقول: "أنا لا أعرف ما هذا"، بدلاً من أن يخمن بثقة أنها قطة بينما هي في الواقع محمصة خبز. إذا لم يستطع الذكاء الاصطناعي التمييز بينهما، فقد يرتكب أخطاءً خطيرة.

يقدم هذا البحث طريقة جديدة تسمى GOEN (الشبكة المعرفية ذات الهندسة المُحسّنة) لمساعدة الذكاء الاصطناعي على إدراك متى يرى شيئاً جديداً. اكتشف المؤلفون سراً مفاجئاً: محاولة جعل "خريطة المعرفة" الداخلية للذكاء الاصطناعي مثالية للغاية تجعل أداءه أسوأ في رصد المجهول.

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. فخ "التكتلات المثالية" (مشكلة CenterLoss)

عادةً، عند تدريب الذكاء الاصطناعي، يحاول الباحثون جعل سمات كل مجموعة من الحيوانات (قطط، كلاب، إلخ) تتجمع معاً بإحكام. يستخدمون أداة تسمى CenterLoss لضغط هذه المجموعات في كرات مدمجة ومنظمة. المنطق هو: "إذا كانت جميع القطط في كرة واحدة ضيقة وجميع الكلاب في كرة أخرى ضيقة، فسيكون الذكاء الاصطناعي دقيقاً جداً".

المفاجأة: وجد المؤلفون أنه بينما يجعل هذا الأمر الذكاء الاصطناعي أفضل في تحديد القطط والكلاب، فإنه يجعله أسوأ في رصد محمصة الخبز.

التشبيه: تخيل مكتبة حيث تجبر كل كتاب عن "التاريخ" على أن يوضع في رف واحد صغير وضيق، وكل كتاب عن "العلوم" في رف آخر صغير وضيق. الآن، إذا أحضر شخص ما كتاباً عن "تاريخ العلوم"، فلن يتناسب بدقة مع أي من الرفين. ولأن الرفوف مضغوطة جداً، سينتهي الأمر بالكتاب في المنتصف تماماً، ليبدو وكأنه ينتمي لكليهما. يصاب الذكاء الاصطناعي بالارتباك ويعتقد: "أوه، لا بد أن هذا كتاب تاريخ"، رغم أنه شيء جديد تماماً.
النتيجة: من خلال إيقاف عملية "الضغط" (إزالة CenterLoss)، تنتشر مجموعات المعرفة قليلاً. هذا يخلق مساحة أكبر بين المجموعات، مما يجعل من السلالم أسهل بكثير على الذكاء الاصطناعي لرؤية متى يسقط شيء ما في المساحة الفارغة (منطقة "المجهول").

2. النظر إلى الصورة الكبيرة والتفاصيل (الميزات متعددة المقاييس)

لرصد المجهول، يحتاج الذكاء الاصطناعي إلى النظر إلى الأشياء بطريقتين في آن واحد:

النسيج (الطبقة 2): النظر إلى ضربات الفرشاة، الألوان، والحبيبات. يساعد هذا في ملاحظة ما إذا كانت الصورة تبدو مثل لافتة شارع (SVHN) بدلاً من حيوان كرتوني.
المعنى (الطبقة 4): النظر إلى الشكل العام والمفهوم. يساعد هذا في إدراك أن "الثعلب" ليس "كلباً".

التشبيه: تخيل أنك تحاول التعرف على غريب. إذا نظرت فقط إلى وجهه (المعنى)، فقد تغفل عن كونه يرتدي زياً تنكرياً. وإذا نظرت فقط إلى حذائه (النسيج)، فقد تغفل عن هويته. نظام GOEN ينظر إلى كليهما في وقت واحد. يظهر البحث أن استخدام "الوجه" فقط أو "الحذاء" فقط يجعل الذكاء الاصطناعي أقل فعالية في رصد المتسللين.

3. اختبار "العالم الحقيقي" (المعايرة)

بعد أن يتعلم الذكاء الاصطناعي الحيوانات، يعطيه الباحثون "امتحاناً نهائياً" خاصاً لتعلم كيفية قول "أنا لا أعرف".

يعرضون عليه ضجيج غاوسي (Gaussian Noise) (مثل التشويش على شاشة التلفاز). هذا من السهل رصده كشيء "غريب".
والأهم من ذلك، يعرضون عليه أمثلة حقيقية ومخادعة (مثل أرقام المنازل من مجموعة بيانات مختلفة). هذه الأمثلة تبدو تشبه الحيوانات نوعاً ما ولكنها في الواقع مختلفة.
التشبيه: إذا علمت حارس الأمن فقط كيف يكتشف صخرة (سهل)، فقد يغفل عن شخص يرتدي زي صخرة (صعب). من خلال تدريب الحارس على "زي الصخرة" (الأمثلة الصعبة)، يتعلم أن يكون مرتاباً تجاه الأشياء التي تبدو مألوفة ولكنها تشعر بأنه خطأ ما.

4. الصيغة الفائزة

جمع المؤلفون هذه الأفكار في مسار عمل واحد:

لا تضغط المجموعات بقوة شديدة. اترك لمجموعات "القطط" و"الكلاب" مساحة للتنفس.
انظر إلى التفاصيل والصور الكبيرة معاً.
درّب زر "أنا لا أعرف" باستخدام أمثلة حقيقية ومخادعة، وليس مجرد ضجيج عشوائي.

النتائج

عندما اختبروا هذه الطة الجديدة (GOEN) مقابل طرق شهيرة أخرى للذكاء الاصطناعي الآمن:

نجح GOEN في تحديد المدخلات المجهولة بنسبة 94.8% من المرات.
الطريقة التالية الأفضل (Deep Ensembles) حققت 88.3% فقط.
سجلت طرق أخرى مثل KNN و ODIN درجات أقل من ذلك.

الخلاصة الكبرى

الرسالة الرئيسية للورقة البحثية هي تحذير لباحثي الذكاء الاصطناعي: مجرد كون الذكاء الاصطناعي بارعاً في تصنيف الأشياء المعروفة لا يعني أنه جيد في معرفة حدوده.

في الواقع، محاولة جعل المعرفة الداخلية للذكاء الاصطناعي مثالية للغاية (مدمجة جداً) يمكن أن تعميه عن المجهول. من خلال ترك مجموعات المعرفة تتنفس وتدريب الذكاء الاصطناعي باستخدام أمثلة حقيقية مخادعة، يمكننا بناء أنظمة أكثر أماناً وأكثر صدقاً بشأن ما لا تعرفه.

النظام بأكمله سريع جداً أيضاً، حيث يتم تدريبه في أقل من 20 دقيقة على جهاز كمبيوتر واحد، مما يجعله أداة عملية للسلامة في العالم الحقيقي.

ملخص تقني: لا تضغط ميزاتك: لماذا يضر "CenterLoss" بالكشف عن البيانات خارج التوزيع (OOD) ولماذا يتفوق "Mahalanobis" متعدد المقاييس

بيان المشكلة
يتطلب النشر الآمن لأنظمة تعلم الآلة في بيئات العالم المفتوح كشفًا قويًا للبيانات خارج التوزيع (OOD). تعتمد الطرق الحالية غالبًا على تمثيلات الميزات التي يتم تحسينها فقط من أجل دقة التصنيف، متجاهلة المتطلبات المتميزة لليقين المعرفي (epistemic uncertainty). هناك افتراض سائد في هذا المجال وهو أن تحسين هندسة التصنيف (على سبيل المثال، جعل تجمعات الميزات أكثر تماسكًا) يؤدي تلقائيًا إلى تقدير أفضل لليقين. تتحدى هذه الورقة هذا الافتراض، حيث تبحث في سبب قيام المنظمات الشائعة مثل "CenterLoss"، التي تفرض تماسك الميزات، بإضعاف أداء الكشف عن الـ OOD فعليًا.

المنهجية: مسار GOEN
يقدم المؤلفون الشبكة المحسنة هندسيًا لليقين (GOEN)، وهو مسار مكون من ثلاث مراحل مصمم لتحسين هندسة الميزات خصيصًا للكشف عن الـ OOD بدلاً من مجرد التصنيف. يتكون المسار من:

استخراج الميزات متعدد المقاييس: يتم تدريب هيكل (backbone) من نوع ResNet-18 باستخدام دالة فقدان "cross-entropy" القياسية. والأهم من ذلك، يستخرج النموذج الميزات من طبقتين وسيطتين: الطبقة 2 (بأبعاد 128، تلتقط الأنسجة منخفضة المستوى وتحولات النطاق) والطبقة 4 (بأبعاد 512، تلتقط المحتوى الدلالي عالي المستوى). يتم دمج هذه الميزات لتشكيل متجه بأبعاد 640.
تطبيع L2 وملاءمة Mahalanobis: يتم تطبيع الميزات المستخرجة باستخدام L2 لتستقر على كرة وحدة. تهدف هذه الخطوة إلى الحد من "انهيار الميزات" (feature collapse)، حيث يهيمن مكون رئيسي واحد على التباين، مما يضمن مصفوفة تغاير (covariance matrix) جيدة التكيف. يتم ملاءمة المتوسطات الشرطية للفئات ( $\mu_c$ ) ومصفوفة تغاير موحدة ( $\Sigma$ ) على بيانات التدريب. ويُشتق مقياس الـ OOD من مسافة Mahalanobis للنقطة الاختبارية إلى أقرب مركز فئة.
رأس المعايرة (Calibration Head): يتم تدريب شبكة عصبية متعددة الطبقات (MLP) خفيفة الوزن لربط ثلاثة مؤشرات لليقين باحتمالية مُعايرة:
- مسافة Log-Mahalanobis.
- تشابه جيب التمام الأقصى (Maximum cosine similarity) مع متوسطات الفئات.
- الإنتروبيا التنبؤية (Predictive entropy) من رأس التصنيف.
- بيانات التدريب: يتم تدريب الرأس على خليط من البيانات داخل التوزيع (ID) وأمثلة OOD "صعبة" (مجموعة فرعية من SVHN) بالإضافة إلى ضوضاء غاوسية اصطناعية.

النتائج والمساهمات الرئيسية
المساهمة الأساسية للورقة هي اكتشاف غير بديهي كشف عنه التحليل التجريبي المنهجي: CenterLoss يضر بشكل كبير بالكشف عن الـ OOD.

مفارقة CenterLoss: بينما يحسن CenterLoss دقة التصنيف عبر إجبار الميزات على التجمع في مجموعات أكثر إحكامًا، فإنه يقلل متوسط AUROC للـ OOD من 0.9483 (بدون CenterLoss) إلى 0.9366 (مع CenterLoss). يفترض المؤلفون أن الضغط الزائد لتجمعات الميزات يقلص الهوامش بين الفئات، مما يجعل من الصعب التمييز بين نقاط الـ OOD التي تقع بين التجمعات. علاوة على ذلك، يمكن أن تؤدي التجمعات الضيقة إلى مصفوفات تغاير سيئة التكيف، مما يضعف فعالية مسافة Mahalanis.
ضرورة تعدد المقاييس: تظهر دراسات الاستئصال (ablation studies) أن استخدام الميزات الدلالية فقط (الطبقة 4) يؤدي إلى انخفاض كبير في الأداء (متوسط AUROC قدره 0.9270 مقابل 0.9483). إن الجمع بين ميزات النسيج (الطبقة 2) والميزات الدلالية أمر ضروري للكشف عن كل من تحولات النطاق (مثل SVHN) والتحولات الدلالية (مثل CIFAR-100).
معايرة الـ OOD الصعبة الحقيقية: يعد تدريب رأس المعايرة باستخدام أمثلة حقيقية لتحول النطاق (SVHN) بدلاً من مجرد الضوضاء الاصطناعية أمرًا بالغ الأهمية. أدى إزالة SVHN من خليط المعايرة إلى خفض الأداء على مجموعة اختبار SVHN بنسبة تقارب 2.5% في AUROC، مما يثبت أن الضوضاء الاصطناعية وحدها لا يمكنها تعليم النموذج التعرف على التحولات المعقدة في النطاق.

النتائج التجريبية
عند تقييم CIFAR-10 (كبيانات داخل التوزيع ID) مقابل SVH N، وCIFAR-100 المفلتر، وضوضاء غاوسية اصطناعية (كبيانات خارج التوزيع OOD)، حقق أفضل متغير لـ GOEN (GOEN-NoCenterLoss) ما يلي:

متوسط OOD AUROC: بلغ 0.9483، متفوقًا على جميع النماذج المرجعية (baselines).
المقارنة: تفوق على Deep Ensembles (0.8827)، وKNN (0.8967)، وODIN (0.8870)، وMahalanobis القياسي (0.6790).
الكفاءة: يتم تدريب المسار بأكمله في أقل من 20 دقيقة على وحدة معالجة رسومات (GPU) واحدة.
الاستقرار: أكدت تجارب البذر (seeding experiments) استقرار الطريقة، مع تباين منخفض في دقة ID (0.9344 ± 0.0013) وفي AUROC الخاص بالـ OOD عبر خمس بذور عشوائية.

الأهمية والادعاءات
تجادل الورقة بأن هندسة التصنيف وهندسة اليقين المعرفي غير متطابقتين. إن التحسين من أجل دقة التصنيف (عبر منظمات التماسك) يمكن أن يضر فعليًا بقدرة النموذج على التعرف على متى يواجه بيانات جديدة.

يضع المؤلفون GOEN كنموذج عملي لبناء أنظمة ذكاء اصطناعي "تدرك حدودها بشكل موثوق". ومن خلال فصل أهداف التصنيف واليقين المعرفي، وعبر الاستفادة من الميزات متعددة المقاييس مع مسافة Mahalanobis المُنظمة بـ L2، يوفر GOEN حلاً بسيطًا وفعالًا وحالة رائدة (state-of-the-art) للكشف عن الـ OOD دون العبء الحسابي لنماذج Deep Ensembles أو الاستدلال التبايني المعقد. ويعمل هذا العمل كتحذير ضد الافتراض التلقائي بأن التقنيات التي تحسن التصنيف ستؤدي بطبيعة الحال إلى تحسين تقدير اليقين.