🤖 machine learning

A Systematic Analysis of Out-of-Distribution Detection Under Representation and Training Paradigm Shifts

تقدم هذه الورقة بحثاً مرجعياً منهجياً يوضح أن فعالية كواشف البيانات خارج التوزيع تعتمد في المقام الأول على التمثيل المتعلم والنموذج التدريبي بدلاً من تصميم الدرجة وحده، مما يكشف أن خصائص انهيار التمثيل تملي استراتيجيات تسجيل الدرجات المثلى وتسمح بالتنبؤ بالكواشف الأعلى أداءً دون الحاجة إلى بيانات إضافية خارج التوزيع.

المؤلفون الأصليون: Claudio César Claros Olivares, Austin J. Brockmeier

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Claudio César Claros Olivares, Austin J. Brockmeier

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً (ذكاء اصطناعي) درس بجد من أجل مجموعة محددة من الامتحانات (بيانات التدريب). عندما تسأله سؤالاً من دليل الدراسة الخاص به، يجيب بثقة عالية. ولكن ماذا يحدث إذا سألته سؤالاً عن شيء لم يره من قبل، مثل سؤال عن الطبخ بينما درس الرياضيات فقط؟

في عالم الذكاء الاصطناعي، يُسمى هذا "خارج التوزيع" (Out-of-Distribution - OOD). الخطر يكمن في أن الذكاء الاصطناعي قد لا يزال يجيب بثقة عالية، رغم أنه مخطئ تماماً. هذا ما يسمى بـ "الفشل الصامت".

هذه الورقة البحثية تشبه تقريراً مدرسياً ضخماً ومنهجياً يحاول اكتشاف: "عندما يرتبك الذكاء الاصطناعي، أي 'نظام إنذار' يعمل بشكل أفضل لإخبارنا بأنه مرتبك؟"

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. المشكلة: نظام الإنذار "الواحد الذي يناسب الجميع" لا يعمل

لسنوات، حاول الباحثون بناء نظام إنذار واحد (دالة تسجيل) ليكون الأفضل في اكتشاف متى يرتبك الذكاء الاصطناعي. ظنوا قائلين: "إذا وجدنا الصيغة الرياضية المثالية، فستعمل مع كل أنواع الذكاء الاصطنا Coll".

لكن المؤلفين وجدوا أن هذا خاطئ. الأمر يشبه محاولة استخدام نفس نوع كاشف الدخان للمطبخ، والمرآب، والغابة.

في المطبخ (بيانات بسيطة ومألوفة)، يعمل كاشف دخان أساسي بشكل جيد.
في الغابة (بيانات مختلفة ومعقدة جداً)، تحتاج إلى نوع مختلف تماماً من المستشعرات.

تظهر الورقة أن "أفضل" إنذار يعتمد كلياً على كيفية تنظيم دماغ الذكاء الاصطناعي (تمثيله الداخلي)، وليس فقط على رياضيات الإنذار نفسه.

2. التجربة: اختبار الإنذارات في "أجواء" مختلفة

اختبر الباحثون 20 نظام إنذار مختلف على نوعين من أدمغة الذكاء الاصطناعي (CNNs و ViTs) عبر أربعة أنواع من "أدلة الدراسة" (مجموعات البيانات).

كما صنفوا "الأسئلة المربكة" إلى ثلاثة مستويات من الصعوبة، مثل الظروف الجوية:

قريب من التوزيع (مطر خفيف): السؤال مختلف قليلاً عما درسه (مثل السؤال عن "كلب" بينما درس "القطط").
متوسط البعد عن التوزيع (عاصفة شديدة): السؤال مختلف تماماً (مثل السؤال عن "السيارات" بينما درس الحيوانات).
بعيد جداً عن التوزيع (إعصار): السؤال غريب تماماً (مثل السؤال عن "الأنسجة" أو الأنماط المجردة).

النتيجة: الإنذار الذي يعمل في "المطر الخفيف" غالباً ما يفشل في "الإعصار".

بالنسبة لأدمغة الذكاء الاصطناعي البسيطة (CNNs): في المطر الخفيف، تعمل إنذارات الاحتمالية البسيطة بشكل أفضل. ولكن مع اشتداد العاصفة، تصبح الإنذارات التي تنظر إلى الشكل والهندسة هي الفائزة.
بالنسبة لأدمغة الذكاء الاصطناعي المعقدة (ViTs): هي مختلفة. في منتصف العاصفة، تعمل الإنذارات التي تنظر إلى أخطاء إعادة البناء (مدى قدرة الذكاء الاصطناعي على إعادة بناء الصورة من الذاكرة) بشكل أفضل.

3. السر الكامن: "الانهيار العصبي" (Neural Collapse)

تقدم الورقة مفهوماً يسمى "الانهيار العصبي". تخيل دماغ الذكاء الاصطناعي كمكتبة.

انهيار جيد: الكتب (البيانات) مرتبة بدقة في رفوف متماثلة ومثالية. كل شيء منظم ومرتب.
انهيار سيء: الكتب مبعثرة في كل مكان، فوضوية ومتداخلة.

اكتشف المؤلفون قاعدة سحرية:

إذا كانت المكتبة منظمة بدقة (انهيار عالٍ)، فإن الإنذارات التي تتحقق من الحدود والنماذج الأولية (مثل "هل يبدو هذا كقطة؟") تعمل بشكل أفضل.
إذا كانت المكتبة فوضوية (انهيار منخفض)، فإن الإنذارات التي تتحقق من التدرجات والمسافات (مثل "كم يبعد هذا عن أقرب كتاب؟") تعمل بشكل أفضل.

4. الحل: "بلورة سحرية" للذكاء الاصطناعي

بدلاً من التخمين بشأن أي إنذار نستخدم، قام المؤلفون ببناء متنبئ.

فكر في هذا المتنبئ كأنه بلورة سحرية. لست بحاجة لاختبار الذكاء الاصطناعي على أسئلة مربكة لتعرف أي إنذار تستخدم. أنت فقط تنظر إلى هندسة دماغ الذكاء الاصطناعي (مدى ترتيب المكتبة) باستخدام مقاييس "الانهيار العصبي".

المدخلات: "إليك كيف يتم تنظيم دماغ الذكاء الاصطناعي".
المخرجات: "بناء بناءً على هذا، يجب عليك استخدام الإنذار (أ) للمطر الخفيف والإنذار (ب) للأعاصير".

لقد اختبروا هذه البلورة السحرية عن طريق تدريبها على نوع واحد من الذكاء الاصطناعي (VGG-13) وسؤالها للتنبؤ بأفضل الإنذارات لنوع آخر من الذكاء الاصطناعي (ResNet-18). لقد نجحت بشكل مذهل، حيث قللت الأخطاء بنسبة تتراوح بين 51% إلى 84% مقارلة بمجرد التخمين بإنذار ثابت.

5. "مرشح الإسقاط": تنظيف العدسة

وجدت الورقة أيضاً أن رؤية الذكاء الاصطناعي تكون مشوشة أحياناً بسبب "الضجيج" (التفاصيل غير ذات الصلة).

قاموا بإنشاء مرشح (مثل تنظيف عدسة الكاميرا) يزيل الضجيج قبل أن يقوم الإنذار بفحص الصورة.
التحول المفاجئ: نوع المرشح يعتمد على الذكاء الاصطناعي.
- بالنسبة لـ CNNs، يعمل المرشح الشامل (تنظيف العدسة بالكامل دفعة واحدة) بشكل أفضل.
- بالنسبة لـ ViTs، يعمل المرشح الخاص بالفئة (تنظيف العدسة خصيصاً للجسم الذي يعتقد الذكاء الاصطناعي أنه يراه) بشكل أفضل.

الملخص

الرسالة الأساسية بسيطة: لا تنظر فقط إلى الإنذار؛ انظر إلى الدماغ.

لاكتشاف متى يفشل الذكاء الاصطناعي، يجب عليك أولاً فهم كيف نظم هذا الذكاء الاصطناعي معرفته. إذا كانت المعرفة منظمة، استخدم نوعاً من الكواشف. وإذا كانت فوضوية، استخدم نوعاً آخر. يوفر المؤلفون خريطة (المتنبئ) تخبرك بالضبط أي كاشف تستخدم بمجرد النظر إلى الهيكل الداخلي للذكاء الاصطناعي، مما يجنبك التخمين والفشل.

ملخص تقني: تحليل منهجي للكشف عن البيانات خارج التوزيع تحت تحولات النماذج التمثيلية والتدريبية

بيان المشكلة

تنتج الشبكات العصبية العميقة بشكل متكرر "إخفاقات صامتة"، حيث تقدم تنبؤات خاطئة بثقة عالية. يهدف الكشف عن البيانات خارج التوزيع (OOD) إلى رصد هذه الإخفاقات من خلال تعيين درجات ثقة تميز بين التنبؤات الموثوقة وغير الموثوقة. ورغم وجود العديد من وظائف حساب درجات الثقة (CSFs)، إلا أن ترتيب أدائها غير مستقر بشكل ملحوظ عبر مجموعات البيانات المختلفة، والبنى المعمارية، ومسارات التدريب. السؤال المركزي الذي تعالجه هذه الدراسة هو: متى يعمل نوع معين من الكواشف، وما هي الخاصية في النموذج المدرب التي تحدد فعاليته؟

يتحدى المؤلفون الرؤية القائلة بأن الكشف عن OOD هو مجرد منافسة بين قواعد التسجيل. بدلاً من ذلك، يفترضون أن الأداء محكوم أساساً بـ هندسة التمثيل المتعلم، والتي تشكلها البنية المعمارية، ونموذج التدريب، وتعقيد فضاء التصنيفات، وليس بتصميم الدرجة المطبقة فوقه.

المنهجية

1. المعيار المرتكز على التمثيل

يقدم المؤلفون معياراً منهجياً يغير أربعة أبعاد رئيسية بشكل عاملي:

النماذج الأساسية (Backbones): شبكات CNN (مثل VGG-13 وResNet-18) ومحولات الرؤية (ViT).
نماذج التدريب: التدريب التقليدي للتقاطع الخلالي (ConfidNet)، وطريقة DeVries (الثقة المتداخلة)، وطريقة المقامرين العميقين (Deep Gamblers - خسارة المقامرة مع الاحتياطي).
مجموعات بيانات المصدر: CIFAR-10، وCIFAR-100، وSuperCIFAR-100، وTinyImageNet.
أنظمة OOD: تم تقسيم مجموعات البيانات إلى أنظمة قريبة، ومتوسطة، وبعيدة بناءً على المسافات الدلالية المستمدة من نموذج CLIP، متجاوزين بذلك التقسيم الثنائي التقليدي (قريب/بعيد).

2. مسار التصنيف الإحصائي

لمعالجة عدم استقرار الترتيب، يستبدل البحث ملخصات الفائز الواحد بـ مسار ترتيب يخضع لرقابة المقارنات المتعددة:

المقاييس: مقاييس خالية من العتبة وهي AURC (المساحة تحت منحنى مخاطر التغطية) وAUGRC (المساحة تحت منحنى المخاطر العامة للتغطية).
الإجراء: يحدد اختبار Friedman الاختلافات الجوهرية في الترتيب. ثم تحدد اختبارات Conover–Holm اللاحقة (مع تصحيح Holm) كتل (cliques) من "الفائزين" غير المتمايزين إحصائياً. يسمح هذا بتحديد مجموعات من الـ CSFs التي تتنافس بشكل مشترك، بدلاً من فرض اختيار واحد هو الأفضل.

3. تصفية الإسقاط (Projection Filtering)

تقدم الدراسة تصفية الإسقاط كتدخل محكوم على هندسة التمثيل. باستخدام تحليل المكونات الرئيسية (PCA) على سمات الطبقة قبل الأخيرة، يعيد المؤلفون بناء السمات من فضاءات فرعية منخفضة الرتبة. ويقيمون ثلاثة متغيرات:

الإسقاط العالمي (Global Projection): فضاء فرعي واحد لجميع الفئات.
إسقاط الفئة (Class Projection): فضاءات فرعية خاصة بكل فئة.
الإسقاط المتوقع للفئة (CPP): استخدام الفضاء الفرعي للفئة التي توقعها النموذج.

4. تحليل الانهيار العصبي (Neural Collapse - NC)

يستخدم المؤلفون مقاييس الانهيار العصبي (NC) لقياس هندسة سمات الطبقة الأخيرة. تقيس هذه المقاييس ظواهر مثل انهيار التباين، والتقارب نحو إطار متساوي الزوايا بسيط (simplex ETF)، والازدواج الذاتي بين متوسطات الفئات وأوزان المصنف.

الارتباط: تُستخدم اختبارات Mantel لربط مسافات هندسة NC بمسافات ترتيب CSF.
التنبؤ: تم اقتراح إطار تنبؤي قائم على NC؛ حيث يتم تدريب نموذج انحدار لوجستي L2 لكل CSF على سمات NC (المحسوبة من المصنف المدرب) للتنبؤ بالقائمة القصيرة التنافسية من الكواشف لنموذج جديد، دون الحاجة إلى أي بيانات تحقق خاصة بـ OOD.

المساهمات الرئيسية

معيار مدرك للتمثيل: تقييم شامل يمتد عبر CNNs وViTs، ونماذج تدريب متعددة، ونظام OOD ثلاثي المستويات (قريب/متوسط/بعيد).
مسار الكتلة الإحصائية: طريقة قوية لتحديد الـ CSFs الأعلى أداءً وغير المتمايزة إحصائياً، مما يوفر رؤية أكثر دقة للأداء التنافسي من المتوسطات الإجمالية.
التصنيف القائم على CLIP: تجميع مجموعات بيانات OOD بناءً على البيانات، مما يكشف عن انتقال منهجي في فعالية الكواشف من الدرجات القائمة على الهامش (للـ OOD القريب) إلى الدرجات المدركة للهندسة (للـ OOD المتوسط والبعيد).
رؤى تصفية الإسقاط: إثبات أن درجة حلاوة التصفية تعتمد على البنية المعمارية: الإسقاط العالمي يحسن بشكل عام الـ CSFs في شبكات CNN، بينما الإسقاط المتوقع للفئة (CPP) هو التدخل الحاسم لـ ViTs التي خضعت لضبط دقيق.
المتنبئ القائم على NC: طريقة للتوصية بقائمة قصيرة تنافسية من الكواشف لنموذج غير مرئي باستخدام تحليل ملف NC الخاص بالنموذج فقط، مما يلغي الحاجة لبيانات تحقق OOD مكلفة.

النتائج

النتائج التجريبية لعائلات الكواشف

ينتقل فصيل الكواشف التنافسي بشكل منهجي مع شدة التحول والبنية المعمارية:

شبكات CNN:
- داخل التوزيع/خطأ التصنيف: تهيمن عليها الدرجات الاحتمالية البسيطة (مثل GEN وMSR).
- OOD قريب: درجات الهامش (مثل Energy وMLS) وNNGuide هي الأقوى.
- OOD متوسط/بعيد: تصبح الدرجات المدركة للهندسة (مثل CTM وfDBD وNNGuide) هي المهيمنة.
محولات الرؤية (ViTs) (المعدلة بدقة):
- الانتقال أكثر حدة. الـ OOD القريب يكون غير متجانس.
- الـ OOD المتوسط تهيمن عليه الدرجات القائمة على إعادة البناء (KPCA RecError).
- الـ OOD البعيد ينتقل إلى الدرجات القائمة على البواقي (Residual، ViM، وpNML).

تأثير تصفية الإسقاط

شبكات CNN: يحسن الإسقاط العالمي الدرجات القائمة على المسافة (مثل Mahalanobis وCTM) بشكل كبير عبر إزالة التباينات غير المرغوب فيها، بينما تؤدي المتغيرات الشرطية للفئة غالباً إلى تدهور الأداء.
محولات الرؤية (ViTs): يدفع الإسقاط المتوقع للفئة (CPP) أكبر المكاسب (مثل GradNorm)، مما يزيل بواقي ما قبل التدريب التي تحجب الهندسة الخاصة بالمهمة. يوفر الإسقاط العالمي مكاسب متواضلة للدرجات القائمة على الـ logits.

هندسة NC والتنبؤ

الارتباط: تؤكد اختبارات Mantel وجود ارتباط معنوي ( $r = 0.31\text{--}0.68, p \le 0.004$ ) بين هندسة NC وترتيبات CSF عبر جميع نماذج التدريب.
نقل عبر البنى المعمارية: نجح متنبئ قائم على NC تم تدريبه على VGG-13 في التنبؤ بالقوائم القصيرة التنافسية لـ ResNet-18 دون إعادة تدريب.
- الأداء: قللت القائمة القصيرة المتوقعة من متوسط ندم المجموعة (mean set-regret) مقارنة بأقوى خط أساس ثابت من الـ CSF بنسبة 51% إلى 84% عبر أنظمة OOD القريبة والمتوسطة والبعيدة.
- الأهمية: في 49 من أصل 54 مقارنة Wilcoxon المزدوجة المصححة بـ Holm، تفوق المتنبئ بشكل ملحوظ على خطوط الأساس.

الأهمية والادعاءات

يزعم البحث أن أداء الكشف عن OOD محكوم أساساً بنظام التمثيل، وليس بتصميم الدرجة وحده.

الآلية: هندسة التمثيل المتعلم (تحديداً درجة الانهيار العصبي والاتساق مع أوزان المصنف) هي التي تحدد قواعد التسجيل الفعالة. الدرجات القائمة على النماذج الأولية والحدود تزدهر عندما تكون التمثيلات منهارة ومتسقة، بينما تُفضل الدرجات القائمة على التدرج والمانيفولد (Manifold) عندما يكون الانهيار أضعف.
الفائدة العملية: يوضح المؤلفون أنه يمكن التنبؤ بأي كاشف OOD سيعمل لنموذج معين ببساطة عن طريق تحليل هندسة النموذج الداخلية (مقاييس NC)، مما يلغي الحاجة لبيانات تحقق OOD مكلفة.
التحول المنهجي: ينقل هذا العمل المجال من السؤال "أي CSF يفوز في المتوسط؟" إلى "أي عائلة هي الأكثر تنافسية تحت أي نظام تمثيل، ولماذا؟"

يظل المؤلفون متواضعين بشأن النطاق، مشيرين إلى أن النتائج مقتصرة على تصنيف الصور لمجموعات بيانات وبنى معينة، وأن النقل عبر البنى المعمارية تم اختباره على زوج واحد من CNN-to-CNN. ويؤكدون أن المتنبئ القائم على NC يوفر قائمة قصيرة من المرشحين بدلاً من خيار واحد حتمي، مع الإقرار بأن عمليات فض الاشتباك الإضافية قد تكون ضرورية عند النشر.