ملخص تقني: الهندسة فوق الكثافة: الكشف عن القيم خارج التوزيع في ظل التعلم من عينات قليلة عبر النطاقات

بيان المشكلة

يعد الكشف عن القيم خارج التوزيع (OOD) أمرًا بالغ الأهمية للنشر الآمن للتعلم الآلي في السيناريوهات عالية المخاطر (مثل القيادة الذاتية، والتشخيص الطبي)، مما يتطلب من النماذج التعرف على المدخلات التي تنحرف عن توزيع التدريب الخاص بها. تندرج الطرق الحالية للكشف عن القيم خارج التوزيع عادةً تحت ثلاث فئات: المنهجيات القائمة على المصنفات، والقائمة على الكثافة، والقائمة على المسافة. ومع ذلك، تعاني هذه الطرق من قصورين رئيسيين:

1. الارتباط بنطاق محدد: فهي مرتبطة ارتباطًا وثيقًا بتوزيع التدريب المحدد. ويتطلب نشر كاشف على نطاق جديد جمع بيانات ضخمة من التوزيع داخل النطاق (ID) (غالبًا ما تكون 50 ألفًا إلى 200 ألف عينة) وإعادة تدريب نموذج مخصص.
2. الاعتماد على تقدير الكثافة: تحاول معظم الطرق نمذجة كثافة الاحتمالية $p(x)$ لبيانات التوزيع داخل النطاق (ID). ويجادل البحث بأن هذا الاعتماد على الإحصاءات التوزيعية يحد من القدرة على التعميم عبر النطاقات، حيث أن تقديرات الكثافة حساسة للغاية للتحولات في النطاق.

يطرح المؤلفون تحدي الكشف عن القيم خارج التوزيع في ظل التعلم من عينات قليلة عبر النطاقات: هل يمكن لنموذج واحد مدرب مسبقًا أن يؤدي مهمة الكشف عن القيم خارج التوزيع لأزواج مهام (ID-OOD) جديدة وعشوائية باستخدام عدد قليل فقط من العينات غير المصنفة (على سبيل المثال، ~100 عينة) من التوزيع داخل النطاق عند الاستدلال، دون أي تدريب إضافي أو ضبط دقيق؟

المنهجية: UFCOD

يقترح المؤلفون إطار عمل UFCOD (الكشف الموحد عن القيم خارج التوزيع عبر النطاقات في ظل التعلم من عينات قليلة)، وهو إطار عمل خالٍ من التدريب ينقل النموذج من تقدير الكثافة إلى التحليل الهندسي المعلوماتي لمسارات الانتشار (diffusion trajectories).

1. الرؤية الجوهرية: الانتشار كمستخرج ميزات عالمي

بدلاً من تدريب كاشف جديد لكل نطاق، يستفيد UFCOD من نموذج انتشار واحد مدرب مسبقًا (مدرب على مجموعة بيانات مصدرية، مثل CelebA) كمستخرج ميزات عالمي. وتتمثل الرؤية النظرية الرئيسية في أن توقع الضوضاء $\epsilon_\theta(x_t, t)$ في نموذج الانتشار يتناسب طرديًا مع دالة الدرجة (score function) (أي تدرج لوغاريتم الكثافة، $\nabla \log p(x_t)$).

• بالنسبة للعينات داخل النطاق (ID)، توفر دالة الدرجة المتعلمة توجيهًا دقيقًا، مما يؤدي إلى مسارات سلسة ومنخفضة الطاقة.
• بالنسبة للعينات خارج النطاق (OOD)، تكون دالة الدرجة غير موثوقة، مما يسبب تذبذب عملية إزالة الضوضاء وظهور طاقة عالية.

2. استخراج الميزات القائم على الطاقة

تستخرج الطريقة متجه ميزات مضغوط ثنائي الأبعاد من مسار الانتشار لصورة مدخلة $x$:

• طاقة المسار ($f_1$): الحجم المربع التراكمي لتوقعات الضوضاء على طول المسار. وهي تقيس التكامل لمقدار دالة الدرجة.
  $$f_1 = \sum_{t,c,h,w} \epsilon_{t,c,h,w}^2$$
• طاقة الديناميكيات ($f_2$): معدل التغير المربع التراكمي (المشتق الزمني) لتوقعات الضوضاء. وهي تقيس سلاسة المسار في فضاء الدرجة.
  $$f_2 = \sum_{t,c,h,w} (\Delta \epsilon_{t,c,h,w})^2$$

تشكل هاتان الميزتان معيار سوبوليف (Sobolev norm) منفصل لدالة الدرجة، حيث تلتقطان كلاً من المقدار والسلاسة. ويجادل المؤلفون بأن الإحصاءات من الدرجة الثانية (الطاقة) هي الأمثل للكشف من عينات قليلة، لأن العزوم من الدرجة الأولى لها توقعات تقترب من الصفر بالنسبة للضوضاء الغاوسية، بينما العزوم من درجات أعلى تكون حساسة جدًا للقيم المتطرفة.

3. بناء المرجع من عينات قليلة

لإجراء الكشف باستخدام بيانات محدودة، يبني UFCOD مجموعة مرجعية من عدد قليل من عينات التوزيع داخل النطاق (مثل 100 عينة).

• اختيار موقع المنشأة (Facility Location Selection): بدلاً من أخذ العينات العشوائية، تستخدم الطة هدف "موقع المنشأة" لاختيار عينات تقلل مجتمعة من أقصى مسافة لأي نقطة داخل النطاق في فضاء الميزات ثنائي الأبعاد. وهذا يضمن أن المجموعة المرجعية تمثل بصدق الهيكل الجوهري لتوزيع البيانات داخل النطاق بدلاً من اختيار القيم المتطرفة عند الحدود.
• التبرير النظري: من خلال تقليص فضاء الميزات من فضاء بكسلات عالي الأبعاد ($d \approx 3072$) إلى فضاء طاقة ثنائي الأبعاد، تنخفض التعقيد المطلوب لتمثيل التوزيع من $O(1/\epsilon^d)$ إلى $O(1/\epsilon^2)$، مما يتيح كشفًا فعالًا باستخدام حوالي 100 عينة فقط.

4. تسجيل القيم خارج النطاق عبر النقل الأمثل

يتم حساب درجة القيم خارج النطاق (OOD score) كمسافة "واسرشتاين-1" (Wasserstein-1) منظمة بالإنتروبيا من ميزة العينة المختبرة إلى المجموعة المرجعية. ويتم تنفيذ ذلك كـ مسافة الحد الأدنى الناعم (soft-minimum distance):
$$s_T(f) = -T \log \sum_{i=1}^m \exp\left(-\frac{\|f - f_i\|^2}{T}\right)$$
حيث $T$ هو معامل درجة الحرارة (تم ضبطه عند 0.5). يوفر هذا النهج متانة تجاه الضوضاء في المجموعة المرجعية من خلال توزيع الكتلة عبر جيران متعددين بدلاً من الاعتماد على جار واحد قريب. وأخيرًا، يتم تطبيق معايرة Z-score لتوحيد الدرجات عبر النطاقات المختلفة، مما يسمح بعتبة قرار موحدة.

المساهمات الرئيسية

1. إطار العمل الهندسي المعلوماتي: يضع البحث صلة نظرية بين الكشف عن القيم خارج النطاق القائم على الانتشار والهندسة المعلوماتية. وقد عرف "طاقة المسار" و"طاقة الديناميكيات" كمعيار سوبوليف منفصل، وأثبت عبر حد "كرامر-راو" أن الإحصاءات من الدرجة الثانية هي الأمثل للكشف من عينات قليلة.
2. كشف عبر النطاقات خالٍ من التدريب: يوضح UFCOD أن نموذج انتشار واحد مدرب مسبقًا يمكن أن يعمل كمستخرج ميزات عالمي للكشف عن القيم خارج النطاق عبر نطاقات غير مرتبطة دلاليًا (مثل الوجوه، الأرقام، الأنسجة) دون إعادة تدريب أو ضبط دقيق.
3. كفاءة العينات: يحقق النهج أداءً عاليًا باستخدام 80-150 عينة فقط من التوزيع داخل النطاق لكل مهمة. ويظهر التحليل النظري أن هذا يقلل من متطلبات العينات بمقدار ~500 ضعف مقارنة بالطرق التي تستخدم البيانات الكاملة.

النتائج التجريبية

قيم المؤلفون UFCOD على 12 زوجًا من معايض (ID-OOD) تشمل CIFAR-10، وSVHN، وCelebA، وCIFAR-100، وTextures.

• الأداء: باستخدام 80-150 عينة فقط من التوزيع داخل النط، حقق UFCOD متوسط AUROC بنسبة 93.7%. ويعد هذا الأداء منافسًا، بل ومتفوقًا في كثير من الأحيان، على أفضل الطرق المرجعية (مثل IGEBM، وVAEBM، وDiffPath) التي يتم تدريبها على 50 ألفًا إلى 163 ألف عينة.
• التعميم عبر النطاقات: نجح نموذج تم تدريبه حصريًا على CelebA في اكتشاف عينات خارج النطاق في CIFAR-10 وSVHN بدقة عالية، بينما فشلت الطرق المرجعية المدربة على نطاق واحد عند تطبيقها على نطاق آخر (على سبيل المثال، انخفاض بنسبة 91.5% في أداء DoS في بعض إعدادات عبر النطاقات).
• دراسات الاستئصال (Ablation Studies):
  • اختيار الميزات: تفوقت ميزات الطاقة من الدرجة الثانية (ثنائية الأبعاد) على مجموعات الميزات سداسية الأبعاد وعزوم الدرجة الأولى والثالثة.
  • اختيار النواة (Coreset Selection): تفوق اختيار "موقع المنشأة" على أخذ العينات العشوائي وK-Center Greedy، مما يؤكد أن "التمثيلية" أكثر أهمية من "التنوع" في نظام العينات القليلة.
  • التسجيل (Scoring): تفوق تسجيل القرب الموزون ناعمًا مع $T=0.5$ على طرق التسجيل غير الموزونة والقائمة على الكثافة.

الأهمية والادعاءات

يدعي البحث أن القصور في طرق الكشف الحالية عن القيم خارج النط يكمن في اعتمادها على نمذجة إحصاءات الكثافة الخاصة بكل نطاق. ومن خلال تحويل التركيز إلى الخصائص الهندسية لمسارات الانتشار (تحديدًا موثوقية وسلاسة دالة الدرجة)، يوضح المؤلفون أنه يمكن فصل الكشف عن القيم خارج النط عن التدريب الخاص بالنطاق.

تتجلى أهمية هذا العمل في ثلاثة جوانب:

1. النشر العملي: يتيح الكشف عن القيم خارج النط في السيناريوهات التي يصعب فيها جمع مجموعات بيانات ضخمة من التوزيع داخل النط، حيث يتطلب الأمر فقط عددًا صغيرًا من العينات للمعايرة.
2. الرؤية النظرية: يوفر تفسيرًا مبدئيًا لسبب قدرة نماذج الانتشار على التعميم بشكل جيد عبر النطاقات في اكتشاف الشذوذ، ويعزو ذلك إلى الهيكل الهندسي لدالة الدرجة بدلاً من تقدير الكثافة.
3. الكفاءة: يحقق تحسنًا بمقدار ~500 ضعف في كفاءة العينات، مما يجعل الكشف عالي الأداء عن القيم خارج النط متاحًا لبيئات النشر ذات الموارد المحدودة أو المتغيرة بسرعة.

يقر المؤلفون بوجود قيود، مشيرين إلى أن الطريقة تواجه صعوبة في الكشف عن القيم القريبة من خارج النط (مثل CIFAR-10 مقابل CIFAR-100) حيث تكون التمايزات الدلالية دقيقة، إذ تلتقط ميزات الطاقة الاختلافات التوزيعية الخشنة بدلاً من الحدود الفئوية الدقيقة.