📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

تؤسس هذه الورقة بحثاً لصلة رسمية بين النماذج البايزية غير المعلمية ودرجة مسافة ماهالانوبيس النسبية للكشف عن القيم الخارجة عن التوزيع، مقترحةً نماذج خليط هرمية معممة تُظهر أداءً فائقاً، لا سيما عندما تُظهر فئات التدريب هياكل تباين متنوعة أو بيانات محدودة.

المؤلفون الأصليون: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك حارس أمن في معرض فني حصري للغاية. لقد قضيت سنوات في دراسة اللوحات في المعرض (بيانات التدريب الخاصة بك). أنت تعرف تمامًا كيف تبدو اللوحة "الحقيقية"، وملمسها، وسلوكها.

في أحد الأيام، يدخل غريب يحمل شيئًا غريبًا. هل هي لوحة فنية رائعة من فنان جديد لم تره من قبل (عينة خارج التوزيع - Out-of-Distribution أو OOD)، أم أنها مجرد سلة مهملات ذات شكل غريب (قيمة متطرفة - outlier)؟ مهمتك هي رصد سلة المهملات فورًا وإطلاق الإنذار.

هذه الورقة البحثية تدور حول بناء حارس أمن أكثر ذكاءً باستخدام نوع معين من الرياضيات يسمى "النماذج البارامترية غير المعلمية البايزية" (Bayesian Nonparametrics). إليك كيف يشرح المؤلفون نهجهم باستخدام تشبيهات بسيية.

الطريقة القديمة: المسطرة التي "تناسب الجميع"

لفترة طويلة، استخدم حراس الأمن أداة بسيطة تسمى "مسافة ماهالانوبيس" (Mahalanobis Distance) (وتحديدًا نسخة منها تسمى RMDS).

فكر في هذا الأمر كأنه مسطرة تفترض أن كل لوحة في المعرض لها نفس الشكل والملمس تمامًا.

إذا كانت اللوحة ممدودة قليلاً، تقول المسطرة: "هذا غريب!"
إذا كانت اللوحة مجعدة قليلاً، تقول المسطرة: "هذا غريب!"

المشكلة هي أنه في العالم الحقيقي، ليست كل اللوحات متشابهة. بعضها عريض ومسطح؛ والبعض الآخر طويل ونحيف. بعضها مرسوم على قماش خشن؛ والبعض الآخر على حرير ناعم. إذا أجبرت مسطرة "تناسب الجميع" على قياس كل هذه اللوحات، فقد تفوتك سلة المهملات لأنها تبدو كلوحة عريضة "طبيعية"، أو قد تطلق إنذارًا كاذبًا لأن لوحة طويلة تبدو "غير طبيعية" بالنسبة لمسطرتك المسطحة.

الفكرة الجديدة: نهج "الحكمة المشتركة والمرنة"

يقترح المؤلفون حارس أمن جديدًا يعتمد على "نماذج مزيج عملية ديريكليه" (Dirichlet Process Mixture Models - DPMMs).

بدلاً من افتراض أن كل اللوحات متشابهة، يفهم هذا الحارس الجديد أن:

هناك أنواع عديدة من اللوحات: قد يحتوي المعرض على 100 نمط مختلف (عناقيد/Clusters).
قد تظهر لوحات جديدة: هناك دائمًا احتمال بوجود نمط جديد لم يره الحارس من قبل.
إنهم يتشاركون الحكمة: على الرغم من أن كل نمط من اللوحات مختلف، إلا أنه لا يزال بإمكانهم التعلم من بعضهم البعض.

تشبيه "الحكمة المشتركة" (النماذج الهرمية المسبقة - Hierarchical Priors)

تخيل أن المعرض يحتوي على 100 قسم للفنون.

الطريقة القد Old Way: يحاول كل قسم قياس لوحاته الخاصة باستخدام مسطرته الخاصة. إذا كان القسم يحتوي على 5 لوحات فقط، فإن مسطرته ستكون مهتزة وغير موثوقة.
الطريقة الجديدة (الهرمية): تشترك جميع الأقسام في "مسطرة رئيسية" يمكنهم الاستعانة بها. إذا كان لدى قسم عدد قليل جدًا من اللوحات، فإنهم يعتمدون بشكل كبير على المسطرة الرئيسية. أما إذا كان لديهم آلاف اللوحات، فإنهم يثقون في قياساتهم الخاصة أكثر.

هذا ما يسميه المؤلفون "النماذج الهرمية المسبقة" (Hierarchical Priors). إنه يسمح للنظام بأن يكون مرنًا (يتقبل الأشكال المختلفة) ولكنه مستقر أيضًا (لا يرتبك عندما تكون البيانات شحيحة).

الاكتشاف الكبير: القديم والجديد هما "أبناء عمومة"

حققت الورقة البحثية اكتشافًا مفاجئًا. أثبت المؤلفون رياضيًا أن المسطرة القديمة التي "تناسب الجميع" (RMDS) هي في الواقع مجرد نسخة مبسطة ومتخصصة من نظامهم الجديد "المرن".

فكر في الأمر هكذا: المسطرة القديمة تشبه صورة بالأبيض والأسول للمشهد. النظام الجديد هو فيديو ملون عالي الدقة. لقد أظهر المؤلفون أنك إذا أغمضت عينيك قليلاً وألغيت الألوان، فستبدو الصورة تمامًا مثل الصورة بالأبيض والأسود. هذا يعني أن الطريقة القديمة لم تكن "خاطئة"؛ بل كانت مجرد نسخة مبسطة من فكرة أكثر قوة.

الأدوات الجديدة: ثلاثة أنواع من الحراس المرنين

لأنهم أدركوا أن الطريقة القديمة كانت مجرد نسخة مبسطة، فقد بنى المؤلفون ثلاثة حراس جدد وأكثر قوة للتعامل مع مواقف مختلفة:

حارس الجسم الكامل (Full Covariance): ينظر هذا الحارس إلى كل تفاصيل شكل اللوحة وملمسها في آن واحد. إنه دقيق للغاية ولكنه يحتاج إلى الكثير من الذاكرة والوقت. يعمل بشكل أفضل عندما يكون لديك معرض ضخم مع العديد من اللوحات لكل نمط.
حارس المسح السريع (Diagonal Covariance): ينظر هذا الحارس إلى العرض والارتفاع بشكل منفصل، متجاهلاً كيفية تفاعلهما معًا. إنه أسرع ويحتاج إلى ذاكرة أقل. يعمل جيدًا عندما يكون المعرض ضخمًا ولكن ليس لديك وقت كافٍ للنظر في كل التفاصيل.
حارس المسح السريع "المترابط" (Coupled Diagonal): هذا هو اختراع المؤلفين الجديد. إنه يشبه حارس المسح السريع، لكنه يلاحظ أنه إذا كان عرض اللوحة "غريبًا"، فمن المحتمل أن يكون ارتفاعها "غريبًا" أيضًا. إنه يربط هاتين الفكرتين معًا. وقد تبين أن هذا هو الأفضل أداءً في العديد من الاختبارات، خاصة عندما يكون المعرض يحتوي على أنماط عديدة ولكن أمثلة قليلة لكل نمط.

ماذا وجدوا؟

اختبر المؤلفون هؤلاء الحراس الجدد على اختبار مرجعي شهير يسمى OpenOOD (وهو اختبار ضخم لمختلف معارض الفنون وسلال المهملات).

عندما يكون المعرض صغيرًا ومزدحمًا: كان الحارس "المترابط" هو الأفضل في رصد سلال المهملات.
عندما يكون المعرض يحتوي على أمثلة قليلة جدًا من كل نمط: كانت الحراس الجديدة أفضل بكثير من المسطرة القديمة لأن المسطرة القديمة ارتبكت بسبب نقص البيانات.
عندما تكون الأنماط مختلفة جدًا عن بعضها البعض: تكيفت الحراس الجديدة بشكل أفضل لأنها لم تجبر كل شيء على الدخول في "صندوق" واحد.

الخلاصة

تجادل الورقة البحثية بأنه لا ينبغي لنا الاعتماد فقط على مساطر بسيطة وصلبة (مثل RMDS القديمة) لاكتشاف البيانات الغريبة. بدلاً من ذلك، يجب أن نستخدم النماذج البارامترية غير المعلمية البايزية التي تعمل كنظام مرن قائم على الحكمة المشتركة.

من خلال التعامل مع المشكلة كعملية "تحديد ما إذا كان هذا العنصر الجديد ينتمي إلى مجموعة معروفة أو مجموعة جديدة تمامًا"، ومن خلال السماح للمجموعات المختلفة بمشاركة القوة الإحصائية، يمكننا بناء أنظمة أمنية أفضل بكثير في رصد سلال المهملات في معرض الفنون، خاصة عندما يكون المعرض فوضويًا أو عندما تكون الأمثلة شحيحة.

باخت-القول: تأخذ هذه الورقة إطارًا رياضيًا معقدًا ومرنًا، وتوضح كيف يفسر سبب عمل أدواتنا البسيطة الحالية، ثم تستخدم هذا الإطار لبناء أدوات أفضل وأكثر قدرة على التكيف تتفوق على الأدوات القديمة في المواقف الصعبة.

ملخص تقني: منظور غير معلمي بايزي لمسافة ماهالانوبيس للكشف عن البيانات خارج التوزيع

بيان المشكلة

تواجه أنظمة تعلم الآلة، لا سيما تلك المبنية على النماذج التأسيسية المدربة على مجموعات بيانات ضخمة، حتمًا بيانات تختلف عن توزيعات تدريبها. ويعد الكشف عن هذه العينات الخارجة عن التوزيع (OOD) أمرًا بالغ الأهمية للسلامة والموثوقية. وبينما توفر الأساليب غير المعلمية البايزية إطارًا احتماليًا متماسكًا لتقدير احتمال انتماء نقطة بيانات إلى عنقود جديد، إلا أنه تم تجنبها إلى حد كبير لصالح مقاييس أبسط تعتمد على المسافة. ويتمثل العائق الرئيسي أمام اعتماد النهج البايزي في التحدي الحسابي والإحصائي المتمثل في تقدير مصفوفات التباين المشترك عالية الأبعاد لتمثيلات الميزات (embeddings)، خاصة عندما يكون عدد عينات التدريب لكل فئة صغيرًا بالنسبة لبعد التمثيل.

المنهجية

الربط النظري: RMDS و DPMMs

يؤسس المؤلفون علاقة نظرية رسمية بين درجة مسافة ماهالانوبيس النسبية (RMDS) المستخدمة على نطاق واس-ع وبين الاستدلال غير المعلمي البايزي. وتحديدًا، يثبتون أن RMDS هو تقريب وثيق لاحتمالية القيم الشاذة المستمدة من نموذج خليط عملية ديريكليه غاوسية (DPMM) مع مصفوفات تباين مشتركة (حيث تشترك جميع الفئات في مصفوفة تباين واحدة).

الافتراض 4.1: يوضح أن احتمالية القيم المتضمنة (inlier probability) لنموذج DPMM عام يمكن التعبير عنها كدالة لوجستية لدرجة $\tilde{C}(x)$ ، وهي مشابهة لدرجة ماهالانوبيس النسبية.
الافتراض 4.2: يثبت أنه تحت ظروف محددة (بيانات تحت-غاوسية، أحجام عناقيد متساوية، وشروط محددة على مصفوفة التباين النسبية)، فإن درجة DPMM من نموذج التباين المشترك ترتبط ارتباطًا شبه مثالي بـ RMDS. وهذا يربط نهج RMDS التجريبي بالاستدلال البايزي الصارم.

نماذج الهيراركية الغاوسية (Hierarchical Gaussian DPMMs)

إدراكًا منهم أن فرضية التباين المشترك (وبالتالي RMDS) قد لا تصمد عندما تظهر الفئات هياكل تباين مختلفة بشكل كبير، يقترح المؤلفون نماذج Hierarchical Gaussian DPMMs. تقوم هذه النماذج بتخفيف فرضية التباين المشترك عبر استنتاج مصفوفات تباين منفصلة لكل عنقود مع مشاركة القوة الإحصائية عبر الفئات من خلال توزيع قبلي هيراركي (hierarchical prior).

يقدم البحث ثلاثة أنواع محددة من النماذج:

نموذج التباين المشترك الكامل (Full Covariance Model): يستخدم توزيع Normal-Inverse Wishart (NIW) مترافق. يسمح هذا بمصفوفات تباين كاملة ولكنه يخاطر بالإفراط في التخصيص (overfitting) في الأبعاد العالية.
نموذج التباين القطري (Diagonal Covariance Model): يفترض استقلالية التباينات عبر الأبعاد، مستخدمًا توزيع scaled inverse chi-squared. يقلل هذا من عدد المعلمات ولكنه يفترض الاستقلال بين الأبعاد.
نموذج التباين القطري المقترن (Coupled Diagonal Covariance Model): وهو نهج مبتكر يلتقط الارتباطات بين الأبعاد عن طريق إدخال عامل قياس خاص بكل فئة $\gamma_k$ . يقوم هذا العامل بتغيير حجم التباينات لجميع الأبعاد لفئة معينة، مما يسمح للنموذج بالتقاط الاختلافات المنهجية في مقدار التباين عبر الفئات مع الحفاظ على الكفاءة الحسابية.

التقدير

يطور المؤلفون خوارزميات توقع-تعظيم (EM) فعالة لتقدير المعلمات الفائقة لهذه النماذج الهيراركية.

بالنسبة لنماذج التباين المشترك الكامل والقطري، يتم حساب خطوات M للمعلمات الفائقة (التركيز $\nu_0$ ودقة القياس $\kappa_0$ ) في شكل مغلق أو عبر طريقة نيوتن المعممة.
بالنسبة لنموذج التباين القطري المقترن، لا يوجد شكل مغلق للمستبعد (posterior) فوق عامل القياس $\gamma_k$ . يستخدم المؤلفون التربيع العددي (numerical quadrature) عبر شبكة كثيفة لتقريب هذا العامل، مستفيدين من حقيقة أن $\gamma_k$ أحادي البعد.

النتائج الرئيسية

التجارب الاصطناعية

أكدت المحاكاة على بيانات ثنائية الأبعاد أن النماذج الهيراركية تتفوق على نماذج التباين المشترك (وبالتالي RMDS) عندما:

تختلف مصفوفات التباين بشكل كبير عبر العناقيد (عند انخفاض $\nu_0$ ).
يكون عدد نقاط البيانات لكل فئة ( $N_k$ ) صغيرًا بالنسبة للبعد ( $D$ ).
في الأنظمة التي تكون فيها النسبة $N_k/D$ صغيرة، يفشل RMDS المستقل (باستخدام تباينات لكل فئة بدون توزيعات قبلية هيراركية) بسبب الإفراط في التخصيص، بينما تحافظ نماذج DPMM الهيراركية على أداء قوي.

تقييم معيار OpenOOD

تم تقييم النماذج باستخدام معيار OpenOOD مع مجموعات بيانات CIFAR-10 وCIFAR-100 وImageNet-1K مع مختلف مجموعات بيانات OOD (القريبة والبعيدة).

ImageNet-1K: حقق نموذج التباين القطري المقترن أفضل أداء في الكشف عن OOD القريب، متفوقًا على RMDS القياسي ونموذج DPMM ذو التباين المشترك. أما نموذج التباين المشترك الكامل فقد كان أداؤه ضعيفًا، ويرجع ذلك على الأرجية إلى الإفراط في التخصيص في الفضاء عالي الأبعاد (768D).
CIFAR-10: حقق نموذج التباين المشترك الكامل الهيراركي أعلى أداء في مهام OOD القريبة والبعيدة، مما يشير إلى أن هيكل التباين الكامل قابل للتعلم ومفيد في الأبعاد المنخفضة (512D).
تحليل الأبعاد: مع زيادة أبعاد الميزات، استقر أداء نموذج التباين المشترك الكامل أو تدهور، بينما حافظ نموذجا التباين القطري والمقترن على أداء متفوق، خاصة في معايير OOD القريبة.

الأهمية والادعاءات

يزعم البحث أن الطرق غير المعلمية البايزية ذات التوزيعات القبلية الهيراركية توفر نهجًا راسخًا ومنافسًا من الناحية العملية للكشف عن OOD. وتتمثل المساهمات الرئيسية فيما يلي:

التوحيد النظري: توفير ربط رسمي بين RMDS التجريبي والاستدلال البايزي تحت نموذج Gaussian DPMM، مما يثبت صحة RMDS كحالة محددة ضمن إطار احتمالي أكثر عمومية.
التعميم: اقتراح نماذج تعمم RMDS عن طريق تخفيف فرضية تساوي التباين، مما يجعلها تتكيف مع السيناريوهات التي تختلف فيها تباينات الفئات.
المنفعة العملية: إثبات أن هذه النماذج يمكن أن تحسن الكشف عن OOD، لا سيما في الأنظمة التي تتميز بـ:
- هياكل تباين غير متجانسة عبر الفئات.
- بيانات محدودة لكل فئة بالنسبة لأبعاد الميزات.
- الحاجة إلى تمييز دقيق بين البيانات داخل التوزيع وعينات "OOD القريبة".

يشير المؤلفون إلى أنه بينما يمكن لنموذج التباين المشترك الكامل أن يفرط في التخصيص في الأبعاد العالية، فإن نموذج التباين القطري المقترن يقدم حلًا وسطًا قويًا، حيث يلتقط ارتباطات التباين بين الفئات دون الانفجار في عدد المعلمات الناتج عن تقدير التباين المشترك الكامل. ويخلصون إلى أن صياغة الكشف عن OOD كاستدلال في نموذج توليدي يسمح باختيارات نمذجة مبدئية يمكن أن تؤدي إلى تحسينات في الأداء مقارنة بالنماذج المعتمدة على المسافة الموجودة حاليًا.