How fine a change can moments see? A scale law for detecting distribution shift, with a kernel calibration rule

ملخص تقني: قانون مقياس لاكتشاف انزياح التوزيع

بيان المشكلة
تتناول الورقة تحدي اكتشاف انزياحات التوزيع في تدفقات التضمينات (embeddings) عالية الأبعاد. وبينما تضع المنهجيات القياسية هذا التحدي في إطار اختيار الإحصائية (مثل انزياح التباين، أو تقدير الكثافة، أو الملخصات الطوبولوجية مثل الهومولوجيا المستمرة)، يجادل المؤلف بأن فعالية أي كاشف يعتمد على العزوم (moment-based detector) مقيدة جوهرياً بـ المقياس المكاني ($\varepsilon$) للتغير وكسر الكتلة ($f$) الذي يحمله، وليس بعدد الميزات أو بأبعاد الفضاء. يبحث العمل تحديداً ما إذا كانت الطرق الطوبولوجية (الهومولوجيا المستمرة - Persistent Homology) تقدم ميزة متميزة عن إحصائيات العزوم، خاصة في الظروف العدائية.

المنهجية والإطار النظري
جوهر الورقة هو اشتقاق والتحقق التجريبي من قانون مقياس (scale law) يحكم التعقيد المطلوب لاكتشاف التغيرات التوزيعية.

1. قانون المقياس (الحد الأدنى):

   • يثبت المؤلف أن المصادقة على ميزة ذات مقياس مكاني $\varepsilon$ تحمل كسر كتلة $f$ تتطلب اختبارات حدودية من الدرجة $N^*$ تحقق:
     $$N^* \ge \frac{\log(1/f)}{2\varepsilon}$$
   • تم اشتقاق هذا الحد عبر مسألة تشيبيشيف القصوى (Chebyshev extremal problem). وهذا يعني أن تكلفة الاكتشاف محكومة بـ دقة الميزة، وليس عدد الميزات.
   • بالنسبة لطوبولوجيا ذات تعقيد $b$ (مثل $b$ من الحلقات)، تم وضع حد أدنى قدره $N^* \ge 4b - 1$ باستخدام حجج تربيع غاوس (Gauss quadrature).

2. الحد الأعلى وقاعدة المعايرة:

   • بينما الحد الأدنى صارم للاختبارات الحدودية، تحدد الورقة أن دوال الاختبار الغاوسية (الشاهد في فضاء RKHS لنواة RBF) يمكنها تحقيق معدل $N^* \propto \log(1/f)/\varepsilon$.
   • يؤدي هذا إلى قاعدة معايرة عملية: يجب ضبط عرض النطاق الترددي ($\sigma$) لاختبار تباين المسافة المتوسطة القصوى (MMD) ليتناسب مع مقياس الميزة ($\sigma \approx \varepsilon$).

3. الأمثلة المضادة والقيود:

   • القانون أحادي الجانب: فهو يوفر حداً أدنى للدرجة اللازمة، لكنه لا يصادق أبداً على الكفاية (sufficiency).
   • تم بناء مثال مضاد محدد: حلقة حلقية (annulus) ذات سمك غير صفري تحمل هومولوجيا أولى غير تافهة ($H_1 \neq 0$) ومع ذلك تشترك في المتوسط، والتباين، وجميع العزوم حتى الدرجة الرابعة مع قرص مملوء. هذا يدحض فكرة أن "معلومات الدرجة الرابعة تحكم التغيير الطوبولوجي المعياري" في جميع الحالات.

4. التقييم التجريبي:

   • مجموعات البيانات: تدفقات تضمينات حقيقية (MiniLM, bge-1024) من مجموعات بيانات 20 Newsgroups و AG News.
   • الخصم (Adversary): خصم يعتمد على التدرج (gradient-based) تم تحسينه للتهرب من إحصائيات المدافع المحددة ($\mu, \Sigma$, k-NN، والترتيب/kurtosis) مع الحفاظ على الطوبولوجيا المستهدفة.
   • المقارنة المرجعية (Baselines): انزياح التباين، مسافة ماهالانوبيس، كثافة k-NN، ترتيب مارديا (Mardia kurtosis)، ومختلف الملخصات الطوبولوجية (First Persistence Landscape, Total Persistence، إلخ).
   • البروتوكول: نوافذ منزلقة ($W=200$)، تقليل PCA إلى البعد الجوهري، والتقييم عند معدلات ثابتة للخطأ الإيجابي (FPR) ومتوسط طول التشغيل (ARL).

النتائج الرئيسية

1. التحقق من قانون المقياس:

   • تؤكد التجارب أن عرض النطاق الترددي الأمثل لـ MMD ($\sigma^*$) يساوي تقريباً مقياس الميزة $\varepsilon$ (متوسط النسبة $\sigma^*/\varepsilon = 1.12$، والمدى الربيعي $[1.01, 1.52]$).
   • يسمح تقدير $\varepsilon$ القائم على البيانات لاختبار MMD بالوصج إلى AUC $\ge 0.95$.
   • ضد خصم متكيف تم تحسينه ضد $\{\mu, \Sigma, \text{k-NN}, \text{kurtosis}\}$، يتم التهرب من جميع تلك الإحصائيات. فقط اختبار النواة المتوافق مع عرض النطاق (MMD-RBF) ينجح في اكتشاف الانزياح.

2. أداء الهومولوجيا المستمرة (PH):

   • اختيار الملخص أمر حاسم: أداء PH يهيمن عليه اختيار الإحصائية الملخصة.
     • مشهد الاستمرار الأول (First Persistence Landscape): أداؤه ضعيف (AUC $\approx 0.75$، والاستدعاء 0.00 عند FPR=1%). يتدهور أداؤه مع البعد المحيط وهو حساس لتقليل الأبعاد.
     • الاستمرار الكلي (Total Persistence): أداؤه أفضل بكثير (AUC $\approx 0.99$، والاستدعاء 0.75 عند FPR=1%)، مما يجعله يطابق أداء الترتيب (kurtosis) في الإعدادات غير العدائية.
   • التكرار (Redundancy): يتصرف ملخص "الاستمرار الكلي" بنيوياً مثل عزم منخفض الرتبة (قراءة للملف الشعاعي). في نظام التغيرات الخشنة أحادية المقياس (موضوع الدراسة)، يكون مكرراً مع الترتب (kurtosis) ولكنه يتحمل تكلفة حسابية هائلة (116 ضعف الترتب).
   • الفشل العدائي: ضد الخصم المتكيف، يفشل كل من الاستمرار الكلي والترتيب (kurtosis) في آن واحد. الكاشف الوحما الناجي هو اختبار النواة المتوافق مع عرض النطاق.

3. التكلفة مقابل القوة:

   • لا توجد "فجوة قوة" حيث تكتشف PH ما تغفله العزوم في هذه المهمة المحددة؛ بل هناك فجوة تكلفة.
   • تكلفة PH (حتى مع أفضل ملخص) تبلغ حوالي 116 ضعف تكلفة الترتب، وتفشل تحت نفس الظروف العدائية.
   • "التدهور مع البعد المحيط" الملاحظ في بعض المقاييس هو خاصية بملخص المشهد (landscape summary)، وليس بخاصية الهومولوجيا المستمرة نفسها.

الأهمية والادعاءات
تختتم الورقة بمجموعة متواضعة ولكن دقيقة من الادعاءات:

• قانون المقياس: يضع حداً أدنى نظرياً لدرجة العزم المطلوبة لاكتشاف ميزات ذات مقياس معين، مما يثبت أن تكلفة الاكتشاف هي دالة لدقة الميزة وليس لعدد الميزات.
• قاعدة المعايرة: توفر قاعدة عملية تم التحقق منها تجريبياً لضبط عرض النطاق الترددي لاختبارات عينة النواة ذات الطرفين (kernel two-sample tests) ($\sigma \approx \varepsilon$)، وهو أمر بالغ الأهمية لنجاحها ضد الخصوم المتكيفين.
• الحكم على الطوبولوجيا: لا تدعي الورقة أن الملخصات الطوبولوجية عديمة الفائدة. ومع ذلك، تخلص إلى أنه بالنسبة لـ المراقبة الخشنة أحادية المقياس (نظام التجارب)، فإن الملخصات الطوبولوجية تتفوق عليها اختبارات النواة من حيث التكلفة.
  • الملخص الذي يعمل (الاستمرار الكلي) يعمل أساساً كعزم، مما يتماشى مع تنبؤ القانون بأن العزوم منخفضة الرتبة تكفي للميزات الخشنة.
  • تشير الورقة إلى أن القيمة الحقيقية للهومولوجيا المستمرة تكمن في اكتشاف البنى الدقيقة أو متعددة المقاييس حيث يكون ما يعادلها من رتب العزوم مرتفعاً بشكل لا يمكن تحمله، وهو نظام غير موجود في انزياحات التضمين المختبرة.

باختصار، تجادل الورقة بأنه لاكتشاف انزياح التوزيع في التضمينات، فإن اختيار الإحصائية مقيد بمقياس الانزياح. النهج العملي الأمثل هو اختبار نواة مع عرض نطاق متوافق مع ذلك المقياس، بينما لا تقدم الطرق الطوبولوجية أي ميزة في التكلفة أو القوة لنفس فئة التشوهات الخشنة المختبرة.