Bayesian inference for the learning rate in Generalised Bayesian inference

ملخص تقني: الاستدلال البايزي لمعدل التعلم في الاستدلال البايزي المعمم

بيان المشكلة
يقوم الاستدلال البايزي المعمم (GBI) بتحديث المعتقدات باستخدام توزيع "جيبس" اللاحق (Gibbs posterior) الذي يأخذ الشكل $\pi_s(\phi|x) \propto \exp(-\eta \ell_\beta(\phi; x))\pi(\phi)، حيث يمثل$\eta$معدل التعلم، بينما تمثل$\beta$المعلمات الفائقة لدالة الخسارة$\ell_\beta$. وبينما يعد الاستدلال البايزي المعمم فعالاً في التعامل مع عدم دقة النموذج (model misspecification) ودمج مجموعات البيانات غير المتجانسة، فإن المعلمات الفائقة للاستدلال $s = (\eta, \beta)$ لا يمكن تقديرها بشكل مشترك مع معلمات النموذج $\phi$ بمجرد تعيين معلمة سابقة لها والاشتراط على البيانات. القيام بذلك يؤدي إلى تشويه التوزيع اللاحق لـ $\phi$ بسبب ثابت التطبيع $c(\phi, s)$. وبناءً على ذلك، تعتمد الطرق الحالية غالباً على الاختيار العشوائي (ad-hoc) أو التحقق المتقاطع. تعالج هذه الورقة الحاجة إلى إطار عمل متماسك لتقدير $s$ وقياس عدم اليقين حوله، لا سيما في الإعدادات التي تتضمن وحدات بيانات متعددة قد تكون بعضها غير دقيقة.

المنهجية
يقترح المؤلفون إطار عمل للاستدلال البايزي على المعلمات الفائقة للاستدلال $s$ باستخدام بيانات معايرة محجوزة $y$. وتتمثل الفكرة الجوهرية في معاملة التوزيع التنبؤي اللاحق لبيانات المعايرة، $p_s(y|x)$، ككمية تشبه "الدالة الاحتمالية" (likelihood-like quantity) لـ $s$. وقد تم تعريف توزيعين لاحقين متميزين لـ $s$ بناءً على دوال خسارة مختلفة:

1. الخسارة المجمعة (Pooled Loss): تُعرف بـ $l^{(1,J)}(s; y, x) = -\log p_s(y|x)، حيث$p_s(y|x) = \int p(y|\phi)\pi_s(\phi|x)d\phi$. تستهدف هذه الطريقة تغطية المعلمة "الحقيقية الزائفة"$\tilde{\phi}$(المعلمة التي تقلل تباعد كولباك - ليبلر بين عملية توليد البيانات الحقيقية والنموذج). التوزيع اللاحق الناتج$\rho^{(1,J)}(s|y; x)$لا يتركز مع زيادة حجم بيانات المعايرة$J \to \infty$، بل يتقارب نحو توزيع منتشر يتناسب مع$\pi_s(\tilde{\phi}|x)\rho(s)$.
2. خسارة المنتج (Product Loss): تُعرف بـ $l^{(J,1)}(s; y, x) = -\sum_{j=1}^J \log p_s(y_j|x)، والتي تقابل سالب "متوسط كثافة النقطة التنبؤية المتوقعة" (Expected Log Pointwise Predictive Density - ELPPD). تستهدف هذه الطريقة تقليل المخاطر التنبؤية. وتحت شروط الانتظام، يتركز التوزيع اللاحق الناتج$\rho^{(J,1)}(s|y; x)$عند المعلمة الفائقة المثلى$s^*$بمعدل$J^{-1/2}$، ويتبع توزيعاً طبيعياً تقاربياً.

توسع الورقة هذا الإطار ليشمل الاستدلال شبه الموديولي (Semi-Modular Inference - SMI)، وهو إعداد يتكون فيه النموذج من وحدات متعددة، قد تكون بعضها غير دقيقة. يحدد المؤلفون SMI كحالة خاصة من توزيع جيبس المتسلسل (Sequential-Gibbs posterior) (Winter et al., 2023). كما يقدمون نوعاً جديداً من $(\eta, \beta)$-SMI اللاحق، والذي يتحكم بشكل مشترك في تدفق المعلومات من وحدة مشتبه بها (عبر $\eta$) وفي متانة دالة الخسارة (عبر $\beta$).

المساهمات الرئيسية

• التقدير المشترك للمعلمات الفائقة: توفر الورقة إطار عمل موحداً للتقدير المشترك لمعدل التعلم $\eta$ والمعلمات الفائقة للخسارة (مثل $\beta$ في $\beta$-loss) باستخدام بيانات محجوزة، متجاوزةً بذلك ضبط معلمة واحدة.
• التوصيف النظري: يضع المؤلفون خصائص تقاربية لكل من التوزيعات اللاحقة المجمعة والمنتجة. وقد أثبتوا أن التوزيع اللاحق للمنتج يتركز حول المعلمات الفائقة المثلى للتنبؤ، بينما يستهدف التوزيع المجمع المعلمة الحقيقية الزائفة. كما قدموا نتائج للحالات غير المنتظمة حيث تقع $s$ المثلى على حدود فضاء المعلمات (مثل $\eta=0$ في نماذج القطع/Cut models)، حيث يظهر التقارب نحو توزيع "غاما".
• تكامل SMI: من خلال صياغة SMI كتوزيع جيبس متسلسل، استورد المؤلفون نظريات الاتساق ونظرية "بيرنستاين-فون ميسيس" (BvM) الموجودة إلى الإعداد الموديولي، مما أثبت السلوك التقاربي لتحديث $(\eta, \beta)$-SMI الجديد.
• المقدرات: تم اقتراح ومقارنة عدة مقدرات لـ $s$، بما في ذلك المتوسط اللاحق، ومقلل الخسارة (MAP)، والمتوسط التوافقي، ومقلل تباعد كولباك-ليبلر.

النتائج
تم تقييم الطرق المقترحة من خلال دراسات محاكاة وتطبيق على تحليل النصوص في العالم الحقيقي:

• نماذج الخليط الطبيعي ونماذج حالة الفضاء (Normal Mixture and State-Space Models): في التجارب الاصطناعية مع نماذج غير دقيقة، تفوقت المعلمات الفائقة المتعلمة (خاصة عبر خسارة المنتج) باستمرار على الاستدلال البايزي الثابت ($\eta=1$) ونماذج القطع ($\eta=0$) من حيث نسب المخاطر المتوقعة على بيانات الاختبار. وأظهر نهج $(\eta, \beta)$-SMI أداءً مقارباً لنهج $\eta$-SMI مع إضافة مرونة دالات الخسارة القوية، وغالباً ما حقق مخاطر أقل من تحديثات بايز القياسية أو تحديثات القطع.
• تحليل النصوص (تغير المعنى): طُبق على مجموعة نصوص إنجليزية تمتد من 1810 إلى 2010 (نموذج EDiSC)، واستُخدمت الطريقة لتجميع معاني الكلمات. حققت معدلات التعلم المتعلمة $\hat{\eta}$ احتمالات تنبؤية لاحقة أعلى على بيانات الاختبار المحجوزة مقارنة بـ $\eta=1$ أو القيم المختارة عبر فحوصات التنبؤ اللاحق. وأظهرت المجموعات الناتجة تماسكاً دلالياً محسناً (مقاساً بمعاملات "براير") مقارنة بالاستدلال البايزي القياسي، مما عالج بفعالية عدم دقة النموذج وندرة البيانات.
• التحقق التقاربي: أكدت عمليات المحاكاة التوقعات النظرية: حيث تركزت التوزيعات اللاحقة للمنتج حول القيم المثلى مع زيادة $J$، بينما ظل التوزيعات اللاحقة المجمعة منتشرة، مما يتوافق مع الأهداف الاستدلالية المتميزة بين التغطية (coverage) وتعظيم الكثافة التنبؤية.

الأهمية والادعاءات
تدعي الورقة أن معاملة المعلمات الفائقة للاستدلال كمتغيرات عشوائية مع توزيع لاحق مشتق من بيانات محجوزة يوفر مساراً متماسكاً لتقدير عدم اليقين والاختيار الأمثل في الاستدلال البايزي المعمم. ويؤكد المؤلفون أن الاختيار بين المعايرة المجمعة ومعايرة المنتج يتوافق مع أهداف استدلالية مختلفة (تغطية المعلمة الحقيقية الزائفة مقابل تعظيم الكثافة التنبؤية)، وبالتالي فإن المعلمات الفائقة المثلى الناتجة عن كل منهما قد لا تتطابق.

إن هذا العمل ذو أهمية خاصة للاستدلال شبه الموديولي (SMI)، حيث يقدم طريقة منهجية للموازنة بين تدفق المعلومات من الوحدات جيدة التحديد والوحدات غير الدقيقة دون اللجوء إلى الضبط التعسفي. ويشير المؤلفون إلى أنه بينما قد يكون النهج مكلفاً حاسوبياً في فضاءات المعلمات عالية الأبعاد، إلا أنه عملي في الحالات منخفضة الأبعاد (مثل $\eta$ و $\beta$)، ويقدم بديلاً قوياً لطرق مثل WAIC، التي قد تكون غير موثوقة في حالات عدم دقة النموذج. يدعم هذا الإطار استخدام "بايز المعمم" في المشكلات المعقدة في العالم الحقيقي التي تتضمن بيانات غير متجانسة وعدم دقة في النموذج.