Existence of penalised likelihood estimates and posterior propriety of separable prior distributions for Gaussian precision matrices

ملخص تقني: وجود تقديرات الاحتمال المعاقب وخصائص التوزيع اللاحق لمتوزيعات الأولوية القابلة للفصل لمصفوفات الدقة الغاوسية

بيان المشكلة
في الإعدادات عالية الأبعاد حيث يتجاوز بُعد مصفوفة الدقة الغاوسية $\Theta$ (وهو $p$) حجم العينة ($n$)، لا تكون مصفوفة التباين والتباين المشترك للعينة $S$ كاملة الرتبة (فهي شبه موجبة محددة PSD، ولكنها ليست موجبة محددة PD). وبناءً على ذلك، فإن تقدير الإمكان الأعظم القياسي (MLE) لـ $\Theta$، والمتمثل في $S^{-1}$، لا يوجد. تُستخدم طرق الإمكان المعاقب بشكل متكرر لاستحثاث التخلخل وضمان استقرار التقدير في هذه السيناريوهات. ومع ذلك، فإن وجود تقديرات الإمكان المعاقب $\hat{\Theta}_{Pen}$ ليس مضموناً لجميع مصفوفات $S$ شبه الموجبة محددة، لا سيما عندما تفتقر دالة العقوبة إلى النمو الكافي عند حدود فضاء المعلمات. تعالج هذه الورقة الشروط المحددة على ذيول دالات العقوبة القابلة للفصل لضمان وجود $\hat{\Theta}_{Pen}$ لأي $S$ شبه موجبة محددة، وتضع شروطاً لخصائص التوزيع اللاحق (Propriety).

المنهجية
تحلل الورقة مشكلة الأمثلة التالية:
$$\hat{\Theta}_{Pen} = \arg\max_{\Theta \succ 0} \left( \log \det \Theta - \text{tr}(S\Theta) - \text{Pen}(\Theta) \right)$$
حيث يُفترض أن دالة العقوبة قابلة للفصل: $\text{Pen}(\Theta) = \sum_{i} \text{pen}_D(\theta_{ii}) + \sum_{i<j} \text{pen}(\theta_{ij})$. يركز التحليل على السلوك الحدي لدالة الهدف عندما تقترب $\Theta$ من حدود مخروط المصفوفات الموجبة محددة (حيث تقترب القيم الذاتية من الصفر) أو عندما $\|\Theta\| \to \infty$.

تعتمد المنهجية على التفكيك الطيفي، حيث يتم التعبير عن اللوغاريتم الاحتمالي بدلالة القيم الذاتية $\lambda_k$ والمتجهات الذاتية $v_k$ لـ $\Theta$. يقوم المؤلف ببناء متواليات محددة من المصفوفات $\Theta(t)$ لاختبار عدم الوجود (عن طريق إظهار أن دالة الهدف تؤول إلى $+\infty$) وإثبات الوجود (عن طريق إظهار أن دالة الهدف تؤول إلى $-\infty$). ويعد توصيف الفضاء الصفري لـ $S$، المسمى $N(S)$، ذو البعد $m_0$، مفتاحاً للبراهين. يميز التحليل بين المتواليات التي تتقارب فيها المتجهات الذاتية نحو الفضاء الصفري لـ $S$ وتلك التي لا تتقارب، مستنتجاً شروطاً ضرورية وكافية لمعدلات نمو $\text{pen}_D$ و $\text{pen}$ بالنسبة لـ $\log x$.

المساهمات والنتائج الرئيسية

1. شروط الوجود للعقوبات القطرية:

   • إذا كانت العقوبة القطرية $\text{pen}_D$ تحقق $\lim_{x\to\infty} (\text{pen}_D(x) - \log x) = \infty$، فإن التقدير $\hat{\Theta}_{Pen}$ موجود لأي $S$ شبه موجبة محددة، بغض النظر عن عقوبة العناصر غير القطرية (بشرط أن تكون غير سالبة).
   • إذا كانت $S$ مصفوفة تباين مشترك لعينة غاوسية بـ $m_0$ من القيم الذاتية الصفرية، فإن شرطاً أضعف يكفي للوجود مع احتمال 1: $\liminf_{x\to\infty} \frac{\text{pen}_D(x)}{\log x} > \frac{m_0}{p}$.
   • وعلى العكس من ذلك، إذا كان $\text{pen} = 0$ و $\liminf_{x\to\infty} (p \cdot \text{pen}_D(x) - \log x) = -\infty$، فإن التقدير لا يوجد لأي $S$ شبه موجبة محددة فقط.

2. شروط الوجود للعقوبات غير القطرية:

   • إذا كانت العقوبة القطرية غائبة ($\text{pen}_D = 0$)، فإن الوجود يتطلب أن تمتلك $S$ عناصر قطرية موجبة تماماً. إذا كانت $S$ تمتلك عنصراً قطرياً صفرياً، فإن التقدير لا يوجد.
   • عندما تمتلك $S$ عناصر قطرية موجبة تماماً ولديها $m_0$ من القيم الذاتية الصفرية، فإن الوجود مضمون إذا كان $\liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > m_0$.
   • بالنسبة للوجود عبر جميع مصفوفات $S$ ذات العناصر القطرية الموجبة (أسوأ حالة رتبة)، فإن الشرط هو $\liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > p-1$.
   • إذا كان $\text{pen}_D = 0$ و $\liminf_{|x|\to\infty} (q \cdot \text{pen}(x) - \log |x|) = -\infty$ (حيث $q = p(p-1)/2$)، فإن التقدير لا يوجد لأي $S$ شبه موجبة محددة فقط.

3. العقوبات المشتركة:

   • توضح الورقة أن العقوبات القطرية وغير القطرية يمكن أن تعوض بعضها البعض. إذا كانت $S$ تمتلك $m_0$ من القيم الذاتية الصفرية وعناصر قطرية موجبة تماماً، فإن الوجود مضمون إذا كان:
     $$\liminf_{x\to\infty} \frac{\text{pen}_D(x)}{\log x} + \liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > m_0$$
   • يسمح هذا باستخدام عقوبات غير قطرية ذات نمو ذيل ضعيف (مثل العقوبات المحدودة مثل SCAD أو MCP، أو تقريبات $L_0$) بشرط دمجها مع عقوبة قطرية قوية بما يكفي.

4. خصائص التوزيع اللاحق (Posterior Propriety):

   • توسع الورقة هذه النتائج لتشمل الإطار البيزي. بينما يوجد تقدير MAP تحت الشروط المذكورة أعلاه، فإن خصائص التوزيع اللاحق (التكامل المحدود) تتطلب شروطاً أقوى.
   • بالنسبة لـ $S$ الموجبة محددة تماماً (PD)، تتحقق الخصائص إذا كانت الأولوية غير القطرية $\pi$ محدودة، وكانت الأولوية القطرية $\text{pi}_D$ تحقق شروط تكامل محددة بالقرب من الصفر واللانهاية.
   • بالنسبة لـ $S$ شبه الموجبة محددة (PSD)، فإن شرطاً كافياً للخصائص هو أن تكون الأولوية غير القطرية $\pi$ صحيحة (Integrable) وأن يكون للأولوية القطرية $\text{pi}_D$ عزم $n/2$ محدود.

5. التعميمات:

   • تظهر النتائج أنها تمتد لتشمل العقوبات غير المتساوية عبر المدخلات، والعقوبات غير المتماثلة للعناصر غير القطرية، والعقوبات التي ليست متزايدة بصرامة في المقدار.
   • كما تتناول الورقة العقوبات على الارتباطات الجزئية، مشيرة إلى أنه بخلاف العقوبات القابلة للفصل القياسية، فإن معاقبة الارتباطات الجزئية وحدها غير كافية لضمان الوجود لـ $S$ شبه موجبة محددة؛ إذ تظل العقوبة القطرية ضرورية.

الأهمية والادعاءات
تدعي الورقة أنها تقدم "خارطة طريق" لتحديد وجود تقديرات الإمكان المعاقب لأي اختيار تقريباً من دالات العقوبة القابلة للفصل. تكمن أهميتها الأساسية في حل التوتر بين اختيار النماذج الإحصائية (التي غالباً ما تفضل العقوبات غير القطرية ذات الذيول الضعيفة، مثل SCAD أو MCP أو $L_0$ السلس، لتقليل الانحياز) وبين الوجود الرياضي في الإعدادات عالية الأبعاد ($n \le p$).

تجادل الورقة بأنه بينما تفشل عقوبات غير قطرية ضعيفة بمفردها في ضمان الوجود عندما تكون $S$ شبه موجة محددة فقط، إلا أنه يمكن استخدامها بنجاح في الإعدادات عالية الأبعاد إذا دُمجت مع عقوبة قطرية قوية بما يكفي. يضمن هذا المزيج وجود التقدير لأي $S$ شبه موجة محددة دون اشتراط أن يتجاوز حجم العينة البعد. تشير الورقة بتواضع إلى أنه بينما تضمن هذه الشروط الوجود، فإن اختيار العقوبة القطرية يؤثر أيضاً على أداء التقدير والتخلخل، مما يوحي بأن الشروط المستمدة هي متطلبات دنيا للوجود وليست ضبطاً أمثلاً للأداء الإحصائي. بالإضافة إلى ذلك، يوضح العمل التمييز بين وجود تقدير MAP وخصائص التوزيع اللاحق الكامل، موفراً شروطاً صريحة لكلا الأخيرين في كل من سيناريوهات PD و PSD.