Projection depth for functional data: Practical issues, computation and applications

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "عمق الإسقاط للبيانات الدالية: قضايا عملية، حساب، وتطبيقات."

1. بيان المشكلة

يتضمن تحليل البيانات الدالية (FDA) تحليل البيانات التي تكون عبارة عن منحنيات، أو أسطح، أو دوال، والتي توجد في فضاءات هيلبرت ذات أبعاد لانهائية. ويتمثل التحدي المركزي في تحليل البيانات الدالية في تحديد بنية ترتيب (Ranking) ذات معنى لهذه النقاط البيانية للتمييز بين الملاحظات المركزية (النموذية) والملاحظات الشاذة.

بينما توفر دوال العمق الإحصائي (وهي امتدادات للعمق متعدد المتغيرات للبيانات الدالية) حلاً لهذا الأمر، إلا أن الطرق الموجودة غالباً ما تعاني من:

• سمات الشكل المعقدة: تعتمد العديد من أعماق البيانات التقليدية (مثل الأعماق التكاملية، أو النطاقية، أو المكانية) بشكل كبير على الانحرافات الرأسية عند نقاط محددة. وغالباً ما تفشل هذه الطرق في اكتشاف القيم الشاذة التي تختلف أساساً في الشكل (مثل إزاحات الطور، أو تغيرات التردد، أو التشوهات الهيكلية) بينما تظل ضمن المنطقة المركزية لسحابة البيانات.
• التدهور في الأبعاد اللانهائية: إن عمق الإسقاط الكلاسيكي (Zuo, 2003)، الذي يعتمد على إسقاط البيانات على جميع الاتجاهات الممكنة، يصبح متدهوراً (مما يؤدي إلى شذوذ لانهائي) في الفضاءات ذات الأبعاد اللانهائية، مما يجعله عديم الفائدة إحصائياً للبيانات الدالية.
• التنفيذ العملي: حتى عندما يتم تعريف العمق نظرياً، فإن حساب عمق الإسقاط في الأبعاد العالية أو اللانهائية يكون مكلفاً للغاية من الناحية الحسابية.

2. المنهجية

تبحث الورقة في وتعمل على تحسين عمق الإسقاط المنظم (RPD)، وهو مفهوم اقترحه مؤخراً Bočinec et al. (2026)، مع التركيز على تطبيقه العملي، واختيار المعاملات، وحسابه.

أ. عمق الإسقاط المنظم (RPD)

يعالج RPD تدهور عمق الإسقاط الكلاسيكي من خلال تقييد مجموعة اتجاهات الإسقاط.

• الشذوذ (Outlyingness): بالنسبة لاتجاه $v$، يُعرف شذوذ نقطة $x$ باستخدام الوسيط والانحراف المطلق عن الوسيط (MAD) للبيانات المسقطة:
  $$O_v(x; P_X) = \frac{|\langle x, v \rangle - \text{med}[\langle X, v \rangle]|}{\text{MAD}[\langle X, v \rangle]}$$
• التنظيم (Regularization): يتم تقييد مجموعة الاتجاهات الصالحة $V_\beta$ لتكون تلك التي يكون فيها الـ MAD للإسقاط أكبر من أو يساوي $\beta$:
  $$V_\beta = \{v \in S : \text{MAD}[\langle X, v \rangle] \ge \beta\}$$
• تعريف العمق: الـ RPD هو القيمة الدنيا لمقلوب $(1 + \text{outlyingness})$ عبر هذه المجموعة المقيدة:
  $$D_\beta(x; P_X) = \inf_{v \in V_\beta} (1 + O_v(x; P_X))^{-1}$$
  يضمن هذا أن يكون العمق موجباً تماماً ومعرّفاً بشكل جيد.

ب. اختيار المعامل التكيفي مع البيانات

بدلاً من تثبيت $\beta$ بشكل تعسفي، يقترح المؤلفون اختيار $\beta$ كـ كميّ (quantile) $u$ لتوزيع $\text{MAD}[\langle X, V \rangle]$، حيث $V$ هو اتجاه عشوائي.

• الأهمية: يحول هذا $\beta$ إلى معامل قياسي $u \in [0, 1)$.
  • $u$ الصغير (مثلاً 0.001) يعني تنظيماً ضعيفاً، مما يحتفظ بمزيد من الاتجاهات، ويجعل العمق حساساً للغاية لاختلافات الشكل.
  • $u$ الكبير يعني تنظيماً أقوى، مما يقلل الأبعاد بفعالية ويزيد من المتانة ضد الضجيج.
• الضمانات النظرية: تثبت الورقة أن هذا الاختيار التكيفي مع البيانات يحافظ على الخصائص الرئيسية لـ RPD، بما في ذلك عدم التدهور، والاتساق للمقدر العيني، ونقطة انهيار (breakdown point) تبلغ 1/2 للمتوسط المستحث (تحت ظروف معينة).

ج. التقريب العشوائي للحساب

إن الحساب المباشر للقيمة الدنيا عبر مجموعة لانهائية من الاتجاهات أمر مستحيل. يقترح المؤلفون تقريباً عشوائياً قائماً على الإسقاط العشوائي:

1. تقدير الكمي $\beta$ باستخدام $L$ من الاتجاهات العشوائية.
2. أخذ عينات من $M$ من الاتجاهات من التوزيع المشروط على المجموعة الصالحة المقدرة $V_{\hat{\beta}}$.
3. تقريب العمق عن طريق تقليل الشذوذ عبر هذه الاتجاهات $M$.

• التقارب: يثبت النظرية 5 أن هذا التقريب يتقارب بشكل شبه مؤكد إلى RPD الحقيقي مع $M, L \to \infty$.
• التنفيذ: تم تنفيذ الطريقة في حزمة R تسمى (RPD) باستخدام لغة C++ عبر RcppArmadillo لضمان الكفاءة.

3. المساهمات الرئيسية

1. إطار عمل عملي لـ RPD: تنقل الورقة RPD من كونه بناءً نظرياً إلى أداة عملية من خلال تحديد طريقة اختيار معامل التنظيم (كمي $u$) القائمة على البيانات وإرساء صلاحيتها النظرية.
2. خوارزمية حساب عشوائية: تقدم خوارزمية فعالة وقابلة للتوسع لحساب RPD في السياقات الدالية، متجاوزة لعنة الأبعاد من خلال الإسقاطات العشوائية.
3. تقييم تجريبي شامل: أجرى المؤلفون تقيماً واسع النطاق عبر أربع مهام إحصائية متميزة، مقارنين RPD مع أحدث أعماق البيانات الدالية (العمق نصف الفراغي المنظم، العمق المتكامل، عمق النطاق المعدل، العمق الحد الأدنى، والعمق الكروي).
4. اكتشاف حساسية الشكل: تُظهر الدراسة أن RPD قادر بشكل فريد على اكتشاف القيم الشاذة القائمة على الشكل (إزاحات الطور، تغيرات التردد، الاختلافات الهيكلية) التي تفشل مقاييس العمق الأخرى في اكتشافها لأنها تركز على المقدار النقطي.

4. النتائج

تقيم الورقة RPD في أربعة سيناريوهات:

أ. اكتشاف القيم الشاذة

• الإعداد: 500 منحنى مع 50 قيمة شاذة من أنواع مختلفة (المقدار، الموقع، التباين، الطور، التردد، الشكل).
• النتائج: يحقق RPD (خاصة مع $u$ صغير، مثل 0.001) كشفاً شبه مثالي (متوسط رتبة القيم الشاذة $\approx 0.051$) عبر جميع النماذج.
• المقارنة: تؤدي الطرق المنافسة (FD, MBD, SD) أداءً جيداً في حالات قيم المقدار/الموقع الشاذة، لكنها تفشل بشكل كبير في القيم الشاذة للشكل (النماذج D5 و D6)، حيث تصنف القيم الشاذة للشكل كقيم مركزية. يؤدي RHD أداءً أفضل ولكنه لا يزال يتأخر عن RPD.

ب. التصنيف الخاضع للإشراف

• الإعداد: تصنيف ثنائي باستخدام مخططات DD-plots (مخططات العمق-العمق) ومصنفات خطية.
• النتالئج: يتيح RPD فصلاً شبه مثالي للفئات حتى عندما تختلف المجموعات فقط في الشكل (مثل القفزات المركزية أو اختلافات الأبعاد)، بينما تنتج الأعماق الأخرى سحباً متداخلة.
• الكفاءة: يكفي مصنف خطي بسيط يعتمد على مخططات DD-plots الخاصة بـ RPD للبيانات ذات الاختلافات الشكلية المعقدة، بينما تتطلب الأعماق الأخرى حدود قرار أكثر تعقيداً أو تفشل تماماً.

ج. اختبار الفرضيات

• الإعداد: اختبارات Kruskal-Wallis ذات العينتين بناءً على رتب العمق.
• النتائج: تحافظ الاختبارات القائمة على RPD على الحجم الاسمي الصحيح (خطأ النوع الأول) وتُظهر قوة عالية، خاصة في اكتشاف الاختلافات في الدوال الذاتية (الشكل) والقيم الذاتية (النعومة). غالباً ما تعاني الاختبارات القائمة على الأعماق الأخرى من تضخم في أخطاء النوع الأول (اختبارات ضخمة).

د. تقدير الموقع القوي

• الإعداد: تقدير المنحنى "الأكثر عمقاً" (الوسيط) تحت نماذج تلوث مختلفة (الإزاحة، السعة، الطور، الشكل، الذروة).
• النتائج:
  • لـ اكتشاف الشكل (مهام القيم الشاذة)، يعتبر $u$ الصغير هو الأمثل.
  • لـ التقدير القوي (مهام الوسيط)، يحسن $u$ الأكبر (مثلاً 0.5) الأداء من خلال تقليل التباين، مما يؤكد المقايضة النظرية بين الحساسية والمتانة.
  • يُظهر RPD متانة فائقة مقارنة بـ RHD عندما يتضمن التلوث إزاحات كبيرة، حيث يستخدم RPD الـ MAD القوي لتقدير التباين، بينما يعتمد RHD على التباين العيني غير القوي.

5. الأهمية

تثبت هذه الورقة أن عمق الإسقاط المنظم (RPD) هو أداة متفوقة لتحليل البيانات الدالية، لا سيما في السيناريوهات التي تكون فيها سمات الشكل حاسمة.

• الأثر النظري: يحل مشكلة تدهور عمق الإسقاط في الأبعاد اللانهائية ويوفر إطاراً صارماً للتنظيم التكيفي مع البيانات.
• الأثر العملي: يوفر خوارزمية قابلة للتنفيذ حسابياً تتفوق على الطرق الموجودة في اكتشاف الشذوذات الهيكلية الدقيقة (الطور، التردد، الشكل)، وهي أمور شائعة في البيانات الدالية الواقعية (مثل الإشارات الطبية، بيانات المناخ، والمنحنيات المالية).
• تعدد الاستخدامات: أثبتت الطريقة فعاليتها عبر كامل طيف المهام الإحصائية، بدءاً من اكتشاف القيم الشاذة وصولاً إلى التقدير القوي، مع المرونة في ضبط الحساسية عبر المعامل $u$.

في الختام، يوضح المؤلفون أن RPD ليس مجرد امتداد نظري، بل هو طريقة عملية، قوية، وفعالة للغاية تعالج التعقيدات المحددة لترتيب وتحليل البيانات الدالية.