Data-informed posterior approximation for Bayesian linear inverse problems

ملخص تقني: التقريب البعدي المستند إلى البيانات للمسائل العكسية الخطية البايزية

بيان المشكلة
تتناول الورقة التحديات الحسابية المتأصلة في المسائل العكسية الخطية البايزية واسعة النطاق، والتي تُصاغ كـ $y = Gx + \eta$، حيث $x \in \mathbb{R}^n$ هو المعلم المجهول، و $y \in \mathbb{R}^m$ هو الملاحظة، و $\eta$ هو ضجيج غاوسي. وتكمن الصعوبة الأساسية في كون بُعد المعلم $n$ كبيرًا جدًا ($n \gg m$)، مما يجعل الحساب المباشر لتوزيع اللاحق (posterior) لمتوسطه ومغايرته (covariance) أمرًا مستعصيًا حسابيًا. وتحديدًا، فإن قلب المصفوفة $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$ (حيث $\Sigma$ هي مغايرة التوزيع القبلي و $\lambda$ هو معلم فائق/hyperparameter) يعد أمرًا باهظ التكلفة من الناحية الحسابية. تعتمد تقنيات تقليل الأبعاد الموجودة، مثل تلك القائمة على توسيع كارونين–لوفي (Karhunen–Loève expansion) أو الفضاءات الفرعية المستنيرة بالاحتمالية (LIS)، غالبًا على تحليلات صريحة لمغايرة التوزيع القبلي أو تعمل بالكامل ضمن فضاء المعلمات عالي الأبعاد، مما يفشل في استغلال التفاعل بين مؤثر الجبهة (forward operator) وبيانات الملاحظة بشكل كامل. علاوة على ذلك، فإن اختيار المعلم الفائق $\lambda$ يتطلب عادةً عمليات متكررة واسعة النطاق في فضاء المعلمات.

المنهجية
يقترح المؤلفون إطار عمل ينقل التركيز الحسابي من فضاء المعلمات إلى فضاء البيانات. ويتضمن جوهر المنهجية المكونات التالية:

1. الإطار الهندسي لفضاء البيانات:
   تعرف الورقة فضاء قسم (quotient Hilbert space) $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$، حيث $M = G\Sigma G^\top$ و $\mathcal{N}(M)$ هو الفضاء الصفري (null space) الخاص به. هذا الفضاء مزود بضرب داخلي $\langle [u], [v] \rangle_M = u^\top M v$. ويقوم المؤلفون بإنشاء تضمين متماثل (isometric embedding) $\iota$ من فضاء البيانات هذا إلى فضاء المعلمات $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$. ويثبتون أن التحديث من القبلي إلى اللاحق يقتصر تمامًا على صورة هذا التضمين، $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$، والذي يمتلك بُعدًا يساوي $\text{rank}(G)$. وهذا يكشف أن الاتجاهات المعلوماتية للتوزيع اللاحق هي ذات أبعاد منخفضة جوهريًا ومستقلة عن بُعد الفضاء المحيط $n$.

2. طريقة جولب–كاهان ثنائية القطع في فضاء القسم (Q-GKB):
   لبناء فضاءات كريلوف (Krylov subspaces) مستنيرة بالبيانات دون تشكيل $M$ صراحةً أو حساب الإسقاطات المتعامدة على مداها، طور المؤلفون خوارزمية تكرارية جديدة تسمى Q-GKB. تطبق هذه الطريقة عملية جولب–كاهان ثنائية القطع مباشرة على المؤثرات المعرفة على فضاء القسم. تولد الخوارزمية سلسلتين من المتجهات، $\{u_i\}$ و $\{v_i\}$، تشكل قواعد متعامدة لفضاءات كريلوف مزدوجة في فضاء البيانات. ومن الأهمية بمكان أن Q-GKB هي طريقة "خالية من المصفوفات" (matrix-free) تعتمد فقط على ضرب المصفوفات والمتجهات مع $M$ و $\Gamma^{-1}$، متجنبة تخزين أو تحليل المصفوفات الكثيفة الكبيرة.

3. الاستدلال البايزي التجريبي المتكامل:
   يدمج إطار العمل الاستدلال البايزي التجريبي لتقدير المعلم الفائق $\lambda$ وتقريب التوزيع اللاحق في آن واحد. ومن خلال إسقاط مشكلة تحسين الاحتمالية الهامشية على فضاءات كريلوف منخفضة الأبعاد المولدة بواسطة Q-GKB، تحسب الطريقة احتمالية سالبة لوغاريتمية هامشية تقريبية $L^{(k)}(\lambda)$ باستخدام مصفوفات صغيرة النطاق مشتقة من التكرار فقط. وهذا يسمح بالتحديد الفعال لـ $\lambda_k$ في كل خطوة دون العودة إلى فضاء المعلمات عالي الأبعاد.

4. تقريب التوزيع اللاحق:
   يتم بناء متوسط التوزيع اللاحق التقريبي ومغايرته ضمن فضاء كريلوف المستنير بالبيانات. يتطابق المتوسط التقريبي مع الحل المنظم تكراريًا، ويتم حساب المغايرة التقريبية عبر قلب مصفوفات صغيرة النطاق. توفر الورقة حدود خطأ صريحة لهذه التقريبات باستخدام مسافة فورستنر (Förstner distance) وتباعد كولباك–ليبلر (KL divergence)، حيث تبين أن الخطأ محكوم بتضاؤل القيم الذاتية المعممة لزوج المصفوفات $(M, \Gamma)$.

المساهمات الرئيسية

• التوصيف الهندسي: توفر الورقة توصيفًا رياضيًا صارمًا للطبيعة منخفضة الأبعاد لتحديثات التوزيع اللاحق من خلال هندسة فضاء القسم، مما يؤسس لمراسلة متماثلة بين فضاء البيانات وفضاء المعلمات.
• خوارزمية Q-GKB: تم تطوير صيغة جديدة لعملية جولب–كاهان ثنائية القطع في فضاء القسم، مما يتيح بناء فضاءات كريلوف مستنيرة بالبيانات بطريقة خالية تمامًا من المصفوفات.
• التقدير المتزامن: يتيح دمج الاستدلال البايزي التجريبي في تكرار Q-GKB تقدير المعلم الفائق وتقريب التوزيع اللاحق في وقت واحد، مما يلغي الحاجة إلى عمليات حسابية متكررة عالية الأبعاد.
• الضمانات النظرية: اشتق المؤلفون حدود خطأ صريحة لمتوسط التوزيع اللاحق التقريبي ومغايرته، رابطين معدل التقارب بالخصائص الطيفية لفضاء البيانات.

النتائج العددية
تم التحقق من صحة الطريقة باستخدام ثلاث مسائل تمثيلية:

1. معادلة فريدهولم التكاملية أحادية البعد: أظهرت تقاربًا سريعًا للمعلم الفائق وإعادة بناء الحل، مع كون بُعد فضاء البيانات الفعال أصغر بكثير من بُعد المعلمات.
2. إزالة الضبابية من الصور ثنائية الأبعاد: أظهرت قدرة الطريقة على التعامل مع المسائل متوسطة سوء التحديد. تحقق طريقة Q-GKB تقاربًا أسرع من طريقة LIS المباشرة للمتوسط اللاحق وتحقق دقة مقاربة للمغايرة، بينما تكون مجدية حسابيًا على الأجهزة القياسية حيث لا يمكن لـ LIS ذلك.
3. التصوير المقطعي المحوسب بالأشعة السينية (CT): تطبيق واسع النطاق ($n=65,536$) حيث يتم التعامل مع مغايرة التوزيع القبلي عبر نهج يعتمد على FFT خالي من المصفوفات. تظهر النتائج أن الطريقة تلتقط المتوسط اللاحق وعدم اليقين (التباين) بفعالية، حيث يتقارب المتوسط اللاحي بسرعة وتستقر المغايرة مع زيادة بُعد الفضاء الجزئي.

الأهمية والادعاءات
تدعي الورقة أن صياغة فضاء البيانات تقدم نموذجًا حسابيًا مختلفًا جذريًا للمسائل العكسية البايزية. ومن خلال نقل التركيز إلى فضاء البيانات، تتجنب الطريقة الاختناقات الحسابية المرتبطة بفضاءات المعلمات عالية الأبعاد وتحليلات مغايرة التوزيع القبلي الصريحة. ويؤكد المؤلفون أن إطار عملهم يوفر فهمًا هندسيًا صارمًا للفضاءات الفرعية المستنيرة بالبيانات ويقدم خوارزمية قابلة للتوسع وخالية من المصفوفات للتقدير المتزامن للمعلم الفائق وتقريب التوزيع اللاحق. وتدعم التجارب العددية النتائج النظرية، مما يثبت أن الطريقة فعالة ومستقرة وقادرة على التعامل مع المسائل واسعة النطاق حيث يكون الوصول المباشر إلى التوزيع اللاحي مستعصيًا حسابيًا. وتخلص الورقة إلى أن هذا المنظور يفتح مسارات جديدة للاستدلال اللاحق ويقترح اتجاهات مستقبلية مثل توسيع إطار العمل ليشمل المسائل العكسية غير الخطية وذات الأبعاد اللانهائية.