Non-asymptotic two-sample kernel testing with the spectrally truncated normalized MMD

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الـ MMD الموحد والمقطوع طيفياً: اختبار عينات ثنائية بنواة غير تقاربية باستخدام الـ MMD الموحد والمقطوع طيفياً" من إعداد لاكروا، ميشيل، بيكارد، وريفوارد.

1. بيان المشكلة

تتناول الورقة مشكلة اختبار العينات الثنائية القائم على النواة (Kernel)، حيث الهدف هو تحديد ما إذا كان مجموعتان مستقلتان من العينات تأتيان من نفس التوزيع ($H_0: P_X = P_Y$) أو من توزيعات مختلفة ($H_1: P_X \neq P_Y$).

• السياق: تقوم الطرق المعتمدة على النواة بتضمين التوزيعات في فضاء هيلبرت لإعادة الإنتاج (RKHS) وتستخدم التباعد المتوسط الأقصى (MMD) كإحصائية اختبار.
• محددات الطرق الحالية:
  • الـ MMD القياسي: يعتمد على التقريبات التقاربية (مجموع أوزان لانهائية من متغيرات مربع كاي) التي تعتمد على كميات سكانية مجهولة، مما يجعل المعايرة المباشرة صعبة. وغالباً ما تتطلب التطبيقات العملية تقسيم البيانات لتقدير المئينات، مما يقلل من القدرة الإحصائية.
  • الـ MMD الموحد (nMMD): قدمت أعمال حديثة نسخة موحدة (مشابهة لـ Hotelling's $T^2$) تأخذ في الاعتبار التباين داخل المجموعة عبر مقلوب مؤثر التباين (Covariance Operator). هذا يحسن القدرة ولكنه يتطلب تنظيمًا (Regularization)، وعادة ما يكون تنظيم "ريدج" (Ridge Regularization).
  • الفجوة: رغم أن nMMD المنظم بـ "ريدج" يمتلك ضمانات تقاربية، إلا أن توزيعه غير التقاربي تحت الفرضية الصفرية معقد (يتضمن أوزانًا مجهولة)، مما يستدعي غالبًا تقسيم البيانات. علاوة على ذلك، فإن تقريب $\chi^2$ التقاربي القياسي للنسخ المقطوعة طيفياً (التي تستخدم عدداً محدوداً من الاتجاهات الطيفية) يُعرف بأنه ضعيف المعايرة في أحجام العينات الصغيرة إلى المتوسطة.

2. المنهجية: الـ MMD الموحد المقطوع طيفياً (st-nMMD)

يقترح المؤلفون إجراء اختبار جديد يعتمد على نسخة من الـ MMD الموحد المقطوعة طيفياً، متجنبين تنظيم "ريدج" لصالح القطع الطيفي.

أ. إحصائية الاختبار

ليكن $\hat{\mu}_X, \hat{\mu}_Y$ هي تضمينات المتوسط التجريبية، وليكن $\hat{\Sigma}$ هو مؤثر التباين التجريبي داخل المجموعة في الـ RKHS. يعرّف المؤلفون إحصائية st-nMMD ($\hat{D}^2_T$) كالتالي:
$$\hat{D}^2_T = \frac{n_X n_Y}{n_X + n_Y} \sum_{t=1}^T \frac{\langle \hat{f}_t, \hat{\mu}_X - \hat{\mu}_Y \rangle_H^2}{\hat{\lambda}_t}$$
حيث:

• $T$ هو مستوى القطع (عدد المكونات الطيفية).
• $\hat{\lambda}_t$ و $\hat{f}_t$ هما القيم الذاتية والمتجهات الذاتية التجريبية لـ $\hat{\Sigma}$.
• يقتصر المجموع على أول $T$ من الاتجاهات حيث تكون القيم الذاتية موجبة.

هذه الصيغة تعمل فعلياً على توحيد الفرق في تضمينات المتوسط عبر تباين البيانات على طول اتجاهات تمييزية محددة.

ب. الإطار النظري

المساهمة الجوهرية هي التحليل غير التقاربي لـ $\hat{D}^2_T$ تحت الفرضية الصفرية.

1. متراجحات التركيز: اشتق المؤلفون حدوداً عليا أسية للاحتمال الذيلي لـ $\hat{D}^2_T$. لقد استخدموا العمليات ذاتية التوحيد (Self-normalized processes) ومتراجحات من نوع هوفدينغ (المكيفة من Bertail et al., 2008) مدمجة مع نظرية اضطراب المؤثرات (Operator Perturbation Theory).
2. الافتراضات الرئيسية:
   • أحجام عينات متوازنة ($n_X = n_Y = n$).
   • نواة محدودة ($M_k < \infty$).
   • قيم ذاتية بسيطة مع فجوات طيفية موجبة تماماً ($\Delta_t$) لضمان استقرار تقدير المتجهات الذاتية.
3. اشتقاق المئين: اشتقوا حداً علوياً حاداً وصريحاً $Q$ للمئين $(1-\alpha)$ للتوزيع الصفري. يعتمد هذا الحد على حجم العينة $n$، وحد النواة $M_k$، والقيم الذاتية $\lambda_{1:T}$، والفجوات الطيفية $\Delta_{1:T}$.

ج. خوارزمية المعايرة المعتمدة على البيانات

لجعل الطريقة عملية دون الحاجة لتقسيم البيانات، يقترح المؤلفون خوارزمية تعتمد كلياً على البيانات:

1. المئين المبسط: يقربون الحد النظري المعقد $Q$ عبر الاحتفاظ بالحدود المهيمنة، مما ينتج عنه شكل يتناسب مع مئين $\chi^2(T)$ التقاربي ولكن يتم تعديله بعامل يعتمد على نسبة الإشارة إلى الضجيج للقيم الذاتية.
2. ضبط المعلمات الفائقة (Hyperparameters):
   • $\rho$ (عامل القياس): تتم معايرته مباشرة على البيانات لضمان أن يكون المئين بمثابة تعديل تصاعدي لمئين $\chi^2$، وذلك لمنع التقليل من تقدير العتبة.
   • $T$ (مستوى القطع): يتم اختياره تلقائياً باستخدام قاعدة تقريبية تحتفظ فقط بالاتجاهات الذاتية حيث تتجاوز القيمة الذاتية المقدرة والفجوة الطيفية عتبة الضجيج ($\sim 1/\sqrt{n}$).
3. لا يوجد تقسيم للبيانات: يستخدم الإجراء بأكمله مجموعة البيانات الكاملة لكل من التقدير والمعايرة، مما يحافظ على القدرة الإحصائية.

3. المساهمات الرئيسية

1. النظرية غير التقاربية: أول اشتقاق لحد علوي أسي حاد وصريح لـ MMD الموحد المقطوع طيفياً تحت الفرضية الصفرية. يوفر هذا ضمانات صارمة في العينات المحدودة.
2. تحليل الأمثلية: إثبات أن المئين المقترح أمثل حتى عامل ضربي في النظام التقاربي، بما يتماشى مع تقارب $\chi^2(T)$ المعروف مع تصحيح الانحياز في العينات المحدودة.
3. إجراء متكيف مع البيانات: تطوير خوارزمية تعتمد كلياً على البيانات تقوم بـ:
   • تقدير المئين غير التقاربي دون تقسيم البيانات.
   • اختيار معلمة القطع $T$ تلقائياً.
   • التكيف مع هيكل التباين الأساسي (على عكس عتبات $\chi^2$ الحتمية).
4. الكفاءة الحسابية: باستخدام القطع الطيفي بدلاً من تنظيم "ريدج"، يتجنب المنهج التكلفة الحسابية لعكس المصفوفات الكبيرة أو حساب التفككات الطيفية الكاملة لكل عملية تبديل (Permutation)، بينما لا يزال يلتقط الاتجاهات التمييزية الضرورية.

4. النتائج

تحقق المؤلفون من منهجيتهم من خلال تجارب عددية واسعة على بيانات اصطناعية (Gaussian, Uniform, Cauchy, von Mises-Fisher) ومجموعة بيانات MNIST.

• المعايرة (التحكم في خطأ النوع الأول - Type-I Error):
  • يحافظ اختبار st-nMMD المقترح على مستوى المعنوية الاسمي (مثلاً $\alpha=0.05$) عبر أحجام عينات مختلفة ($n=100$ إلى $5000$) وأبعاد مختلفة ($d=2$إلى$100$).
  • في المقابل، فإن تقريب $\chi^2$ التقاربي القياسي غير معاير جيداً لأحجام $n$ الصغيرة والأبعاد المنخفضة، وغالباً ما يظهر أخطاء من النوع الأول (إيجابيات كاذبة) متضخمة.
• أداء القدرة (Power Performance):
  • المنهج متحفظ قليلاً تحت الفرضية الصفرية (مقايضة من أجل المعايرة الصارمة) ولكنه يحافظ على قدرة تجريبية تنافسية تحت الفرضية البديلة.
  • مع زيادة حجم العينة، تقترب قدرة st-nMMD من قدرة اختبار $\chi^2$ التقاربي.
  • الطبيعة المتكيفة مع البيانات للمئين تسمح للاختبار بالتكيف مع هياكل التباين المختلفة، مما يمنع فقدان القدرة حتى عندما يكون الاختبار متحفظاً تحت $H_0$.
• اختيار القطع ($T$): يختار اختيار $T$ التلقائي باستمرار قيماً صغيرة (عادةً $T < 10$) حتى في الأبعاد العالية، مما يعمل على تصفية الضجيج والتركيز على الاتجاهات المعلوماتية.

5. الأهمية

يسد هذا العمل الفجوة بين الصرامة النظرية والتطبيق العملي في اختبار العينات الثنائية القائم على النواة.

• الأثر النظري: يحل غياب الضمانات غير التقاربية لمتغيرات MMD الموحدة، مما يوفر إطاراً لا يعتمد على التقريبات التقاربية التي تفشل في العينات المحدودة.
• الأثر العملي: تلغي الخوارزمية المقترحة الحاجة إلى تقسيم البيانات، وهي ممارسة شائعة تقلل نصف حجم العينة الفعال وتقلل القدرة الإحصائية للاختبار. وبكونها متكيفة تماماً مع البيانات وفعالة حسابياً، فهي تقدم حلاً قوياً للاختبار الإحصائي عالي الأبعاد في مجالات مثل علم الجينوم، علوم الأعصاب، وتحليل الصور (مثل MNIST).
• القابلية للتفسير: يوفر نهج القطع الطيفي بطبيعته رؤية "الاتجاه التمييزي"، مما يقدم رؤى حول كيفية اختلاف التوزيعات (عبر المتجهات الذاتية المختارة)، بخلاف الاختبارات التي تكتفي باتخاذ قرار ثنائي فقط.

باختصار، تقدم الورقة st-nMMD، وهو اختبار عينات ثنائية متجذر نظرياً، ومتكيف مع البيانات، وفعال حسابياً، يضمن معايرة صالحة للعينات المحدودة دون التضحية بالقدرة الإحصائية أو اشتراط تقسيم البيانات.