Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models

ملخص تقني: تقريب لابلاب المتكامل المصحح للاستدلال البايزي في النماذج الغاوسية الكامنة

بيان المشكلة

تعد النماذج الغاوسية الكامنة (LGMs) فئة واسعة الانتشار من النماذج الهرمية البايزية، بما في ذلك العمليات الغاوسية، والنماذج المكانية، ونماذج التأثيرات المختلطة. وتُعرف هذه النماذج بكثافة مشتركة $\pi(\theta, z, y) = \pi(\theta)\pi(z|\theta)\pi(y|\theta, z)$، حيث تمثل $\theta$ المعلمات الفائقة (hyperparameters)، و $z$ المتغيرات الغاوسية الكامنة، و $y$ الملاحظات.

يتمثل التحدي الرئيسي في الاستدلال البايزي لنماذج LGMs في الأبعاد العالية لـ $z$ والتعقيد الهندسي للبعد المشترك $\pi(\theta, z|y)$، مما يعيق أخذ العينات بكفاءة. وتتمثل إحدى الاستراتيجيات الشائعة في تهميش (marginalizing) $z$ لاستنتاج $\pi(\theta|y)$، وهو هدف ذو أبعاد أقل. وعندما تكون دالة الإمكان $\pi(y|\theta, z)$ غير غاوسية، يصبح التهميش الدقيق مستعصياً. وتستخدم الطريقة القياسية، وهي تقريب لابلاب المتكامل (INLA)، تقريب لابلاب لتقريب البعد المشترك الشرطي $\pi(z|\theta, y)$ كدالة غاوسية متمركزة عند المنوال $\hat{z}$.

وعلى الرغم من كفاءتها، إلا أن هذا التقريب يؤدي إلى "خطأ بعدي" (posterior error) منهجي. فعندما تكون دالة الإمكان غير غاوسية، يختلف البعد المشترك التقريبي $\hat{\pi}(\theta|y)$ عن البعد المشترك الحقيقي $\pi(\theta|y)$، حتى في الحالة التقاربية. وتسمح الطرق الموجودة مثل تقريب لابلاب بالتفاضل الملحق (ADLA) بأخذ العينات القائمة على التدرج (مثل هاميلتوني مونت كارلو - HMC) على هذا البعد المشترك التقريبي، لكنها لا تصحح التحيز الأساسي الذي يسببه تقريب لابلاب. أما تشغيل MCMC على البعد المشترك الكامل $\pi(\theta, z|y)$ فهو دقيق تقاربياً، ولكنه غالباً ما يكون غير ممكن حسابياً بسبب الأبعاد العالية لـ $z$.

المنهجية

يقترح المؤلفون إطار عمل لأخذ عينات الأهمية (importance sampling) لتصحيح الخطأ الناتج عن تقريب لابلاب مع الاحتفاظ بالفوائد الحسابية للتهميش. وتتمثل الرؤية الجوهرية في أن تقريب لابلاب المتكامل يمكن إعادة صياغته كنموذج لتقدير عينة واحدة من عينات أخذ عينات الأهمية. ومن خلال زيادة عدد العينات، يتقارب المقدر نحو البعد المشترك الحقيقي.

تفصل الورقة ثلاثة تطبيقات محددة لهذه الفكرة، مدمجة جميعها في إطار عمل التفاضل التلقائي (JAX) لدعم الاستدلال القائم على التدرج:

1. تقريب ADLA ذو العينات الزائفة (PM-ADLA):

   • الآلية: يستهدف هذا النهج توزيعاً موسعاً على المعلمات $\theta$ والمتغيرات العشوائية المساعدة $\epsilon$ المستخدمة لتوليد عينات $z_i$ من تقريب لابلاب. وتحديداً، $z_i = \hat{z} + \sqrt{\Sigma}\epsilon_i$، حيث $\epsilon_i \sim \mathcal{N}(0, I)$.
   • الخصائص: يوفر مقدراً غير متحيز للقدرة الاحتمالية الهامشية (marginal likelihood). ومع زيادة عدد العينات $n \to \infty$، يتقارب البعد المشترك نحو البعد المشترك الصحيح.
   • المقايضة: يزيد من أبعاد مشكلة الاستدلال بمقدار $(n-1)d_z$ (حيث $d_z$ هو بُعد $z$) ويتطلب $n$ من تقييمات الكثافة في كل خطوة HMC.

2. تقريب ADLA باستخدام كوارتز مونت كارلو شبه المُنظم (QMC-ADLA):

   • الآلية: بدلاً من المتغيرات العشوائية المساعدة، يقوم هذا الأسلوب بتثبيت العشوائية باستخدام تسلسل منخفض التباعد (LDS)، مثل تسلسل Sobol. المتغيرات المساعدة $u_i$ هي نقاط ثابتة في مكعب الوحدة، ويتم توليد $z_i$ عبر تحويل دالة التوزيع التراكمي العكسي.
   • الخصائص: يقلل هذا من تباين تقدير أخذ عينات الأهمية إلى $O(n^{-2})$ في ظل ظروف مناسبة، مما يوفر تقارباً أسرع من مونت كارلو القياسي. كما يحافظ على مساحة معلمات ذات أبعاد أقل (نفس أبعاد ADLA).
   • المقايضة: رغم أنه صحيح تقاربياً، تشير الورقة إلى أنه بالنسبة لقيمة $n$ محدودة، قد يظل التحيز كبيراً، ويمكن أن تؤدي الطبيعة الثابتة للنقاط إلى أخطاء كبيرة في الممارسة العملية حتى مع $n$ متوسطة.

3. تقريب ADLA باستخدام كوارتز مونت كارلو العشوائي (RQMC-ADLA):

   • الآلية: يوحد هذا النهج الأسلوبين السابقين. فهو يستخدم متغير إزاحة عشوائي واحد $U$ يُطبق على LDS ثابت لتوليد المتغيرات المساعدة $u_i = (v_i + U) \pmod 1$.
   • الخصائص: يوفر مقدراً غير متحيز للقدرة الاحتمالية الهامشية ولا يزيد من بُعد النموذج (المتغير المساعد $U$ له نفس بُعد $z$، ولكنه مشترك عبر العينات).
   • المقايضة: عملية "باقي القسمة" (modulo) تُدخل انقطاعات في كثافة الهدف بالنسبة لـ $U$، مما يجعل HMC القياسي غير قابل للتطبيق. يقترح المؤلفون خوارزمية Metropolis-within-Gibbs (MwG): حيث تقوم HMC بتحديث $\theta$ مشروطاً بـ $U$، بينما تقوم خطوة Metropolis-Hastings بتحديث $U$ مشروطاً بـ $\theta$.

استعادة المتغيرات الكامنة:
تصف الورقة أيضاً طريقة لاستعادة عينات المتغيرات الكامنة $z$ التي تكون أقرب إلى البعد المشترك الحقيقي $\pi(z|\theta, y)$ من تقريب لابلاب القياسي. وذلك عبر حساب أوزان الأهمية لـ $n$ من العينات $z_1, \dots, z_n$، مما يسمح ببناء تقريب منفصل للبعد المشترك الشرطي الحقيقي، وبالتالي تصحيح استدلال المتغيرات الكامنة أيضاً.

المساهمات الرئيسية

• إعادة الصياغة النظرية: يوضح المؤلفون أن تقريب لابلاب المتكامل هو حالة خاصة من مقدر أخذ عينات الأهمية مع عينة واحدة. وقد أثبتوا أن زيادة حجم العينة في هذا الإطار يؤدي إلى بعد مشترك صحيح تقاربياً.
• الخوارزميات المتنوعة: اقترحوا ونفذوا ثلاثة خوارزميات مختلفة (PM-ADLA، QMC-ADLA، RQ_ADLA) توازن بين الكفاءة الحسابية، والأبعاد، والصحة التقاربية.
• حساب التدرج: يوسع العمل إطار ADLA لحساب التدرجات لهذه المقدرات لتقريب أخذ عينات الأهمية، مما يتيح استخدام Hamiltonian Monte Carlo (HMC) وغيرها من أخذ العينات القائمة على التدرج.
• استعادة المتغيرات الكامنة: تم توفير إجراء للحصول على عينات محسنة للمتغيرات الكامنة $z$ باستخدام أوزان الأهمية المستمدة أثناء استدلال البعد المشترك.

النتائج التجريبية

تم تقييم الطرق على عمليات غاوسية اصطناعية ذات احتمالية بواسون، ونماذج تفاعل نوى متفرقة (SKIMs) على بيانات حقيقية، ونماذج التأثيرات المختلطة (مجموعة بيانات Epil2).

• تقليل الخطأ: في جميع التجارب، قللت الطرق المقترحة (PM, QMC, RQMC) من خطأ التقدير للمعلمات بشكل كبير مقارنة بـ ADLA القياسي.
• التقارب:
  • PM-ADLA: صحح خطأ البعد المشترك بفعالية، ولكنه كان أبطأ حسابياً بسبب زيادة الأبعاد وتعدد تقييمات الكثافة.
  • QMC-ADLA: أظهر تباينًا منخفضًا، ومع ذلك ظهر تحيز مستمر في بعض الحالات (مثل تقدير متوسطات بارامترات معينة في SKIMs) حتى مع $n$ كبيرة.
  • RQMC-ADLA: حقق توازناً، حيث صحح تحيز ADLA بأداء يقارب HMC القياسي من حيث الخطأ، وإن كانت خطوة Gibbs sampling تزيد من التكلفة الحسابية لكل دورة.
• الانحرافات (Divergences): في النماذج التي عانى فيها HMC القياسي على البعد المشترك الكامل من انحرافات (مما يشير إلى هندسة سيئة)، ألغت جميع طرق التهميش (بما في ذلك ADLA والتحسينات المقترحة) هذه الانحرافات، مما يثبت أن هندسة البعد المشترك التقريبي جيدة السلوك.
• الكفاءة: بينما كان ADLA هو الأسرع، فقد عانى من التحيز. قدمت الطرق المقترحة مقايضة قابلة للضبط: حيث يؤدي زيادة $n$ إلى تقليل التحيز على حساب وقت الحساب.

الأهمية والادعاءات

تدعي الورقة تقديم نسخة "مصحة" من تقريب لابلاب المتكامل تحافظ على قابلية التوسع للتهميش مع تقديم ضمانات تقاربية للصحة. تكمن الأهمية في سد الفجوة بين كفاءة الطرق التقريبية (مثل INLA/ADLA) ودقة MCMC الدقيقة.

يؤكد المؤلفون أن طرقهم تسمح للمستخدمين بالاستفيد من مرونة لغات البرمجة الاحتمالية (عبر التفاضل التلقائي) دون التقيد بالقيود المتعلقة بدقة تقريب لابلاب. ويضعون RQMC-ADLA كنهج واعد بشكل خاص يتجنب زيادة أبعاد النموذج مع تصحيح خطأ البعد المشترك، وإن كان يتطلب مخطط أخذ عينات أكثر تعقيداً (MwG) للتعامل مع الانقطاعات. ويشير العمل إلى أنه بالنسبة للعديد من التطبيقات، فإن التكلفة الحسابية لهذه التصحيحات مبررة بالانخفاض في تحيز البعد المشترك، مما يتيح تطبيقات لاحقة أكثر موثوقية.