Regularized estimation of Monge-Kantorovich quantiles for spherical data

ملخص تقني: التقدير المنتظم لربوع مونج-كانتوروف للبيانات الكروية

بيان المشكلة
تفتقر البيانات الاتجاهية، المرصودة كنقاط على كرة الوحدة $S^{d-1}$، إلى ترتيب معياري، مما يجعل تعريف الربوع الإحصائية أكثر تعقيداً مقارنة بالفضاء الإقليدي. تستخدم النهج غير المعلمية الحديثة نظرية النقل الأمثل (OT) لتعريف ربوع مونج-كانتوروف (MK). وتحديداً للبيانات الاتجاهية، يتم بناء دالة ربع تجريبية $Q_n$ عبر حل مسألة نقل أمثل بين توزيع منتظم على الكرة والقياس التجريبي للبيانات.

ومع ذلك، تعاني مقدرات النقل الأمثل الحالية للبيانات الاتجاهية من قصورين رئيسيين:

1. الافتقار إلى القدرة على التقدير خارج العينة: يؤدي المطابقة التجريبية بين توزيعين منفصلين (البيانات وشبكة منتظمة) إلى دالة ثابتة جزئياً تقتصر على مجموعة الملاحظات. ولا يمكنها تقديم تقديرات لنقاط بيانات جديدة لم تُشاهد من قبل ($X_{new}$)، وهو أمر ضروري لتطبيقات مثل التصنيف القائم على العمق أو قياس التشتت.
2. التعقيد الحسابي: يتطلب حل مسائل النقل الأمثل المنفصلة عادةً تعقيداً تكعيبياً مع عدد الملاحظات، مما يعيق القدرة على التوسع.

المنهجية
يقترح المؤلفون إطار عمل لـ التقدير المنتظم لربوع مونج-كانتوروف الاتجاهية باستخدام النقل الأمثل الإنتروبي (EOT) على الكرة الثانية ($S^2$). وتتم المنهجية كما يلي:

1. التنظيم الإنتروبي: بدلاً من حل مسألة مونج المنفصلة، يصيغ المؤلفون مسألة نقل أمثل مستمرة بين القياس المنتظم $\mu_{S^2}$ والقياس المستهدف $\nu$. ويقدمون حداً للتنظيم الإنتروبي بمعلمة $\varepsilon > 0$. يحول هذا المصطلح المسألة إلى تحسين شبه مزدوج لدالة جهد واحدة $u$، معرفة كالتالي:
   $$\max_{u \in L^\infty(S^2)} \int_{S^2} u(x) d\mu_{S^2}(x) + \int_{S^2} u^{c,\varepsilon}(y) d\nu(y)$$
   حيث $u^{c,\varepsilon}$ هي المرافقة الناعمة لـ $u$.

2. البارامتريّة الطيفية: لحل هذه المسألة ذات الأبعاد اللانهائية، يتم تمثيل دالة الجهد $u$ باستخدام التوافقيات الكروية. يتم توسيع الدالة كسلسلة من المعاملات $\bar{u} = (\bar{u}^m_l)$. ويثبت المؤلفون أنه في الحالة المنتظمة، تكون دالة الجهد قابلة للاشتقاق مرتين باستمرار، مما يضمن أن سلسلة التوافقيات الكروية تنتمي إلى الفضاء $\ell^1$.

3. الخوارزمية العشوائية: يتم تطوير خوارزمية التدرج الاشتقاقي العشوائي لتحسين معاملات التوافقيات الكروية.

   • المدخلات: تسلسل من الملاحظات مستقلة ومتماثلة التوزيع $X_1, \dots, X_n$ من $\nu$.
   • الآلية: في كل تكرار، تقوم الخوارزمية بتحديث المعاملات باستخدام تدرج دالة الهدف بالنسبة لعينة واحدة.
   • الكفاءة: تستفيد الخوارزمية من تحويل فوريه السريع (FFT) على الكرة (عبر مكتبة pyshtools) لحساب التكاملات والتحويلات الضرورية. تبلغ التكلفة الحسابية لكل تكرار $O(p^2 \log^2 p)، حيث$p$ هو حجم الشبكة، مما يحسن بشكل كبير من التعقيد التكعيبي لحلالات النقل الأمثل المنفصلة.
   • التعلم عبر الإنترنت (Online Learning): تعمل الخوارزمية بطريقة متسلسلة، حيث تعالج البيانات بالتتابع دون الحاجة لتخزين مصفوفة تكلفة كاملة بحجم $n \times n$.

4. دوال الربوع والتوزيع المنتظمة:

   • بمجرد تقدير دالة الجهد المثلى $u_\varepsilon$، يتم اشتقاق دالة الربوع المنتظمة $Q_\varepsilon$ ودالة التوزيع $F_\varepsilon$.
   • على عكس الحالة غير المنتظمة، تكون هذه الدوال ناعمة ومعرفة عبر تعبيرات مغلقة تتضمن متوسطات موزونة في الفضاء المماسي (إسقاطات بايسنتريك).
   • تحديداً، $Q_\varepsilon(x) = \text{Exp}_x \left( \int \text{Log}_x(z) \exp(\dots) d\nu(z) \right)، مما يسمح بالتقييم المباشر عند أي نقطة$x \in S^2$.

5. العمق الإحصائي الاتجاهي: يحدد البحث عمق مونج-كانتوروف الاتجاهي بناءً على قرب دالة التوزيع $F(x)$ من وسيط فريشيه. ويحقق مقياس العمق هذا نسخاً مكيفة من بديهيات ليو-زو-سيرفلينج (Liu-Zuo-Serfling)، بما في ذلك الثبات الدوراني والرتابة على طول منحنيات الإشارة.

المساهمات الرئيسية

• توسيع الخرائط الإنتروبية: يوسع المؤلفون مفهوم الخريطة الإنتروبية (التي عُرِّفت سابقاً في الفضاءات الإقليدية) إلى الإطار غير الإقليدي للكرة، مما يوفر مقدراً منتظماً وناعماً لربوع MK.
• التقدير خارج العينة: تسمح دالة الربوع المنتظمة $Q_\varepsilon$ بتقدير الربوع للملاحظات الجديدة، وهي قدرة كانت تفتقر إليها طرق النقل الأمثل المنفصلة السابقة.
• الخوارزمية الطيفية العشوائية: تم تقديم خوارزمية عشوائية مبتكرة تحل مسائل النقل الأمثل المستمرة على $S^2$ عبر توسيع الجهود في التوافقيات الكروية، مع استخدام FFT لرفع الكفاءة الحسابية.
• تعريف العمق الاتجاهي: تم تقديم مفهوم جديد لعمق مونج-كانتوروت الاتجاهي، والذي يرث الخصائص الجيدة من عمق MK الإقليدي ويحقق البديهيات ذات الصلة بالإحصاء الاتجاهي.

النتائج والادعاءات

• الخصائص النظرية: يثبت البحث أن الجهود المنتظمة قابلة للاشتقاق مرتين باستمرار، مما يضمن نعومة دوال الربوع والتوزيع الناتجة. كما يوضح أنه عندما تؤول $\varepsilon \to 0$، فإن الجهود المنتظمة تتقارب بشكل موحد مع جهود كانتتوروف غير المنتظمة.
• الكفاءة الحسابية: تتجنب الخوارزمية العشوائية التعقيد $O(n^3)$ للنقل الأمثل المنفصل، مما يقلل تكلفة كل تكرار إلى $O(p^2 \log^2 p)$، مما يجعلها مناسبة لمجموعات البيانات الكبيرة وسيناريوهات التعلم عبر الإنترنت.
• الفائدة الإحصائية: تمكن المنهجية من التصنيف القائم على العمق وقياسات التشتت من خلال توفير خرائط مستمرة وقابلة للاشتقاق. ويوضح البحث هذه الفوائد عبر تجارب عددية، مبيناً أن النهج المنتظم يوفر خطوط كونتور أكثر نعومة وأداءً أفضل خارج العينة مقارنة بالمقدرات المنفصلة غير المنتظمة.

الأهمية
يزعم البحث أن أهميته الرئيسية تكمن في سد الفجوة بين ربوع النقل الأمثل النظرية والتطبيقات الإحصائية العملية للبيانات الاتجاهية. ومن خلال تقديم التنظيم الإنتروبي وحلال طيفي عشوائي، يوفر المؤلفون طريقة قابلة للتطبيق حسابياً تتغلب على قيد "التقدير خارج العينة" الذي تعاني منه الطرق المنفصلة السابقة. وهذا يتيح تطبيق ربوع MK ومقاييس العمق على مشكلات العالم الحقيقي المتعلقة بالبيانات الاتجاهية، مثل التصنيف وقياس المخاطر، حيث تعد النعومة والقدرة على تقييم نقاط البيانات الجديدة أمراً إلزامياً. كما يساهم العمل في المجال الأوسع للنقل الأمثل على المتشعبات من خلال تقديم صياغة صريحة وقابلة للمعالجة للكرة.