Objective Model Prior Probabilities in Variable Selection

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاحتمالات المسبقة الموضوعية للنماذج في اختيار المتغيرات" (Objective Model Prior Probabilities in Variable Selection) من تأليف بيرجر، غارسيا-دوناتو، مورينو، وبيريتشي.

1. بيان المشكلة

تتناول الورقة مسألة حرجة تتعلق باختيار الاحتمالات المسبقة الموضوعية (objective prior probabilities) للنماذج في عملية اختيار المتغيرات البايزية. في سياق يحتوي على $k$ من المتغيرات المحتملة، توجد $2^k$ من النماذج الممكنة. والهدف هو تعيين احتمال مسبق $Pr(M_\gamma)$ لكل نموذج $M_\gamma$ (المُعرف بمتجه مؤشر $\gamma$) يعكس حالة من "الجهل الموضوعي" مع دمج التقليلية (parsimony) الضرورية (أي تفضيل النماذج الأكثر بساطة).

حدد المؤلفون نموذجين افتراضيين "موضوعيين" تاريخيين يفشلان في التطبيق العملي:

1. الاحتمال المسبق الموحد (Uniform Prior): يخصص احتمالاً متساوياً ($2^{-k}$) لكل نموذج. يؤدي هذا إلى توزيع مسبق يتركز بشدة حول النماذج ذات الحجم $k/2$. في الإعدادات عالية الأبعاد (مثل علم الجينوم حيث $k=1,000,000$)، يعني هذا يقينًا شبه تام بأن نصف المتغيرات ذات صلة، وهو ما يتناقض مع الواقع العلمي ويفتقر إلى التحكم في تعدد الاختبارات.
2. احتمال جيفريز المسبق (Jeffreys Prior): يخصص احتمالاً متساوياً ($1/(k+1)$) لكل حجم نموذج (بُعد)، ويوزع تلك الكتلة بالتساوي بين النماذج من ذلك الحجم. وبينما يوفر هذا التحكمًا في تعدد الاختبارات، فإنه يمنح وزناً متساوياً للنموذج الصفري ($d=0$) والنموذج الكامل ($d=k$). هذا الافتقار إلى العقاب للنماذج الكبيرة غالباً ما يؤدي إلى اختيار نماذج معقدة للغاية (مثل النموذج الكامل) حتى عندما تشير البيانات إلى خلاف ذلك، مما ينتهك مبدأ التقليلية.

التحدي الجوهري هو إيجاد مواصفات مسبقة تكون موضوعية (غير مضبوطة بشكل تعسفي لبيانات محددة) وفي الوقت نفسه متقشفة بما يكفي لمعاقبة النماذج الكبيرة دون أن تكون مقيدة للغاية.

2. المنهجية

يقيم المؤلفون ثمانية أنواع مختلفة من مواصفات الاحتمالات المسبقة للنماذج باستخدام مزيج من المحاكاة العددية والتحليل النظري.

أ. الإطار العملي

• فضاء النموذج: يمثل $M_\gamma$ نموذجاً خطياً مع $k$ من المتغيرات التفسيرية.
• دالة الإمكان (Likelihood): نموذج خطي عام قياسي مع احتمالات داخلية للمعلمات (مما يؤدي إلى صيغة محددة لعامل بايز).
• مقاييس التقييم:
  • احتمالات الاشتمال اللاحقة (PIP): $Pr(x_j | y)$.
  • نموذج أعلى احتمال لاحق (HPM): النموذج الأكثر احتمالاً بمفرده.
  • نموذج الاحتمال الوسيط (MPM): النموذج الذي يحتوي على جميع المتغيرات التي يكون فيها $PIP > 0.5$.
  • التقليلية (Parsimony): تُقاس بكيفية اضمحلال الكتلة المسبقة $M(d)$ (إجمالي احتمال النماذج ذات الحجم $d$) مع زيادة $d$.

ب. المرشحون

تقارن الدراسة هذين الافتراضين الإشكاليين (الموحد، وجيفريز) مقابل ستة مرشحين "موضوعيين" بدلاء:

1. الاحتمال المسبق التوافقي (Harmonic Prior): $Pr(M_\gamma) \propto (1+|\gamma|)^{-1} / \binom{k}{|\gamma|}$. يخصص كتلة للأبعاد تتناسب مع $1/(d+1)$.
2. احتمال CMG المسبق: يعتمد على خليط بواسون مع احتمال داخلي لمعدل بواسون.
3. احتمال جيفريز بنصف $p$ (Half-p Jeffersons Prior): يفترض أن احتمال الاشتمال $p \sim Uniform(0, 0.5)$.
4. احتمال جيفريز بنصف $k$ (Half-k Jeffreys Prior): نسخة منقحة من جيفريز تضع حداً أقصى للكتلة المسبقة عند الحجم $k/2$ وتوزع المتبقي.
5. احتمال Beta(1, 2): يفترض أن $p \sim Beta(1, 2)$.
6. احتمال بيتا الهرمي (Hierarchical Beta Prior): وجود "احتمال مسبق فائق" (hyperprior) على معلمة بيتا $\alpha$ ($\pi(\alpha) \propto \alpha^{-3/2}$)، مما ينتج عنه احتمال مسبق معقد لـ $p$.

ج. أدوات التحليل

• عددياً: استُخدمت حزمة BayesVarSel في لغة R للإحصاء الدقيق (للقيم الصغيرة من $k$) ولأخذ عينات جيبس (Gibbs sampling) وطريقة الفرع والحد (branch-and-bound) للقيم الأكبر من $k$. تضمنت إحدى الحالات الدراسية المحددة مجموعة بيانات سمنة الرضع ($k=47$).
• نظرياً: تم تحليل السلوك التقاربي للكتلة المسبقة $M(d)$ واحتمال اشتمال المتغير $Pr(x_j)$ عندما تؤول $k$ إلى مالانهاية ($\infty$).

3. المساهمات الرئيسية

1. النقد المنهجي للافتراضات الافتراضية: تثبت الورقة بصرامة لماذا تعتبر الاحتمالات المسبقة الموحدة وجيفريز غير مناسبة لاختيار المتغيرات عالي الأبعاد الحديث، مع تسليط الضوء على مفارقة "النموذج الكامل" في احتمال جيفريز.
2. تقديم احتمالات مسبقة موضوعية جديدة: يصيغ المؤلفون ويحللون عدة بدائل (التوافقي، نصف $p$، وبيتا الهرمي) التي تحاول الموازنة بين الموضوعية والتقليلية.
3. التمييز بين HPM و MPM: تقدم الدراسة دليلاً تجريبياً قوياً على أن نموذج الاحتمال الوسيط (MPM) أكثر استقراراً ومتانة عبر مختلف أنواع الاحتمالات المسبقة من نموذج أعلى احتمال لاحق (HPM). في مثال السمنة، تغير HPM بشكل جذري (من 8 إلى 47 متغيراً) اعتماداً على الاحتمال المسبق، بينما ظل MPM مستقراً (بفارق متغيرين على الأكثر).
4. التوصيف النظري: يشتق البحث تقريبات للقيم الكبيرة لـ $k$ للكتلة المسبقة $M(d)$ واحتمالات الاشتمال، مما يكشف كيفية سلوك الاحتمالات المسبقة المختلفة تقاربياً (على سبيل المثال، احتمالات CMG والتوافقية تؤدي إلى احتمالات اشتمال متناقصة، بينما تحافظ أخرى على احتمالات ثابتة).

4. النتائج

النتائج العددية (مثال السمنة، $k=47$)

• الموحد وجيفريز: فشلا في إنتاج نتائج تقليلية. اختار احتمال جيفريز المسبق النموذج الكامل (47 متغيراً) كـ HPM، بينما اقترح الاحتمال الموحد أن حوالي نصف المتغيرات مهمة.
• الاحتمال التوافقي: كان أيضاً غير كافٍ في تحقيق التقليلية، حيث اختار النموذج الكامل كـ HPM، مما يشير إلى أنه ليس تقليليًا بما يكفي لهذه المجموعة من البيانات.
• احتمال CMG: كان شديد التقليلية؛ فقد "أباد" فعلياً جميع النماذج ذات البعد أكبر من 14، مما أدى إلى احتمالات اشتمال منخفضة جداً لمعظم المتغيرات.
• احتمالات Half-p و Half-k: فرضت تقليلية صارمة، حيث استبعدت النماذج الأكبر من الحجم 34.
• احتمالات Beta(1,2) وبيتا الهرمي: أدت أداءً جيداً، حيث اختارت نماذج تتراوح بين 8 إلى 12 متغيراً. كانت نماذج HPM لهذه الاحتمالات متسقة مع بعضها البعض ومعقولة علمياً.
• استقرار MPM: بغض النظر عن الاحتمال المسبق (باستثناء CMG)، ظل MPM مستقراً بشكل ملحوظ، مما يعزز التوصية باستخدام MPM بدلاً من HPM.

النتائج النظرية

• احتمالات الاشتمال المسبقة:
  • الموحد/جيفريز: $Pr(x_j) = 0.5$ (مرتفع جداً).
  • Beta(1,2): $Pr(x_j) = 1/3$.
  • الهرمي لبيتا: $Pr(x_j) \approx 0.22$.
  • CMG/التوافقي: $Pr(x_j)$ يتناقص مع $O(1/k)$ أو $O(1/\log k)$.
• التقليلية مقابل الموضوعية: يجادل المؤلفون بأن "الموضوعية" في اختيار المتغيرات لا تتطلب بالضرورة احتمال اشتمال ثابت قدره 0.5. إذا كان الهدف هو تجنب الإفراط في التخصيص (overfitting)، فإن الاحتمالات المسبقة التي تؤدي إلى احتمالات اشتمال متناقصة (مثل التوافقي أو CMG) أو احتمالات ثابتة معتدلة (مثل Beta(1,2)) هي الأكثر ملاءمة.

5. الأهمية والاستنتاجات

تخلص الورقة إلى أنه لا يوجد احتمال مسبق موضوعي واحد "مثالي"، بل هناك مقايضة تعتمد على السياق العلمي:

• المرفوض: تعتبر احتمالات Uniform و Jeffreys غير صالحة لاختيار المتغيرات بسبب الافتقار إلى التقليلية. كما يُرفض CMG لكونه شديد التقليلية (عدواني للغاية).
• المرشحون الموصى بهم:
  • الاحتمال التوافقي (Harmonic Prior): جيد إذا كنت ترغب في احتمالات اشتمال متناقصة، ولكنه قد يفتقر إلى التقليلية الكافية في بعض الحالات.
  • احتمال نصف $p$ (Half-p Prior): ممتاز للتقليلية الصارمة، رغم أنه قد يكون مقيداً للغاية باستبعاد النماذج الكبيرة تماماً.
  • احتمال Beta(1, 2) وبيتا الهرمي: هذه هي الخيارات الأكثر توازناً. فهي تقدم درجة معقولة من التقليلية دون أن تكون عدوانية للغاية. يفضل الاحتمال الهرمي لبيتا النماذج الأصغر قليلاً، بينما يعد Beta(1,2) أبسط حوسبياً.

الخلاصة النهائية: يدعو المؤلفون إلى استخدام احتمالات Beta(1, 2)، أو بيتا الهرمي، أو نصف $p$ اعتماداً على مستوى التقليلية المطلوب. علاوة على ذلك، يقترحون بقوة تقديم نموذج الاحتمال الوسيط (MPM) بدلاً من HPM، حيث يوفر MPM اختياراً للمتغيرات أكثر متانة واستقراراً عبر مختلف مواصفات الاحتمال المسبق.