ملخص تقني: نقل اللاح l posterior لـ Onsager–Machlup في العمليات الغاوسية العميقة

1. بيان المشكلة

تقدم العمليات الغوسية العميقة (DGPs) إطار عمل للتعلم العميق البايزي مع معايرة لعدم اليقين من خلال تكديس طبقات العمليات الغوسية (GP). ومع ذلك، تظل عملية الاستدلال عقبة حسابية مركزية. إن توزيع اللاح l (posterior) للمتغيرات المحرضة لكل طبقة $U = \{U^{(\ell)}\}_{\ell=1}^L$ هو غير غاوسي ومرتبط بشدة عبر الطبقات، مما يجعل الاستدلال الدقيق مستعصياً.

تواجه طرق الاستدلال التقريبية الحالية مقايضة:

• ملاءمة الكثافة الصريحة (المعتمدة على ELBO): تفرض طرق مثل الاستدلال التبايني ثنائي العشوائية (DSVI) تحليلاً غاوسياً، وهو أمر مقيد للتوزيعات متعددة الأنماط أو المرتبطة.
• معادلات SDE القائمة على الدرجة (Score-Based SDEs): تُعرف طرق مثل DDVI و DBVI اللاح l كطرف نهائي لمعادلة تفاضلية عشوائية (SDE) عكسية الزمن يتم تدريبها عبر مطابقة درجة الضجيج (DSM) و ELBO بصيغة Girsanov. ورغم مرونتها، إلا أنها تتطلب تدريب شبكات درجة مساعدة وتعاني من تباين التكامل العشوائي.
• أخذ العينات (Sampling): تعتبر طريقة SGHMC مكلفة حاسوبياً وتواجه صعوبة في التوسع مع مجموعات البيانات الكبيرة.

التحديد الجوهري هو إجراء الاستدلال على المتغيرات المحرضة لـ DGP دون افتراضات الـ Gaussian المقيدة لـ DSVI، مع تجنب خسائر الدرجة المساعدة عالية التباين وتكاليف التكامل العشوائي لطرق SDE القائمة على الدرجة.

2. المنهجية: FBVI-bridge-Path (OM-Path)

يقترح المؤلفون نقل اللاح l (posterior transport) كصيغة بديلة. بدلاً من ملاءمة كثافة $q_\phi(U)$ عبر تعظيم ELBO، يقومون بتعلم عينة حتمية $T_\phi$ تقوم بنقل مقياس مرجعي قابل للتحكم إلى المتغيرات المحرضة ذات الصلة باللاح l.

2.1 من SDE إلى ODE حتمي

تبني الطريقة على SDE الجسر المربوط بـ Doob (Doob-bridged forward SDE) المستخدم في DBVI، والذي يربط عملية الانتشار بتوزيع أولي يعتمد على البيانات عبر مُحيّل (amortizer) $\mu_\theta(x)$.

• العملية المرجعية: يطبق المؤلفون اختزال معادلة تدفق الاحتمالية (probability-flow ODE) لـ Song et al. (2021) على SDE جسر DBVI. ينتج عن ذلك انحراف مرجعي مغلق (closed-form reference drift) $v_{ref}^{Bri}(U, s)$ مشتق مباشرة من معاملات الهامش للجسر (المتوسط والتباين)، مما يلغي الحاجة إلى مطابقة الدرجة (score matching).
• النقل الحتمي: الكائن التبايني هو ODE حتمي $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$ يقوم بنقل العينات من هامش جانب الضجيج إلى اللاح l.

2.2 هدف Onsager–Machlup

هناك رؤية نظرية حرجة وهي أن تباعد Girsanov KL القياسي المستخدم في SDE-based VI يتباعد عندما يقترب معامل الانتشار $g \to 0$ (الحد الحتمي). الهدف الصحيح للحد الحتمي هو فعل Onsager–Machlup (OM action)، والذي يتوافق مع دالة معدل الانحراف الكبير لـ Freidlin–Wentzell.

يُعرَّف هدف التدريب $L_{OM}$ كالتالي:
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• حد البيانات: سالب لوغاريتم الاحتمالية للنقطة النهائية.
• المنهج القبلي (Path Prior): منظم خالٍ من الأثر (trace-free) يقيس انحراف حقل السرعة المتعلم عن الانحراف المرجعي المغلق.
• الخصائص الرئيسية:
  • خالٍ من الأثر (Trace-free): لا يستخدم تقدير أثر Hutchinson (على عكس FFJORD/CNF).
  • خالٍ من الخسارة المساعدة: لا يحتاج لمطابقة درجة DSM (على عكس DDVI/DBVI).
  • خالٍ من دالة التجزئة (Partition-function-free): لا يتطلب تقدير $\partial_t \log Z_t$ (على عكس NFS2).

2.3 الحالة النظرية

يؤكد النظرية 1 أن $L_{OM}$ يتطابق مع مسار الـ MAP ذو الضجيج الصغير للاح l مسار الجسر المربوط بـ Doob المبرد عبر مبدأ الانحراف الكبير (LDP) لـ Freidlin–Wentzell مع $\epsilon \to 0$.

• عند قيمة التدريب النهائية ($\alpha=1, \epsilon=1$)، يعمل الهدف كمقدر مسار لـ Gaussian reference path measure مائل بواسطة احتمالية النقطة النهائية.
• الطريقة هي مقدر مسار MAP، وليست ELBO. يشير المؤلفون صراحةً إلى هذا التمييز، مقارنين إياها بطرق ELBO الصارمة.

2.4 تجارب الـ Strict-ELBO

يشتق البحث نسختين من الـ strict path-space ELBO على نفس هيكل الجسر:

1. FBVI-bridge-CNF: يستخدم صيغة تغيير المتغيرات اللحظية لـ FFJORD (Hutchinson trace) لـ حد KL.
2. FBVI-bridge-CNFOM: يضيف منظم OM إلى هدف CNF.
   تجريبياً، تؤدي هذه النسخ من الـ strict-ELBO أداءً أقل من مُقدر الـ MAP الخالي من الأثر بسبب التباين العالي الذي يسببه مُقدر Hutchinson trace.

3. المساهمات الرئيسية

1. نقل اللاح l (Posterior Transport) لـ DGPs: تقديم إطار عمل لنقل اللاح l يعتمد على ODE حتمي لمتغيرات الـ DGP المحرضة، مستبدلاً استدلال score-SDE بـ ELBO. الانحراف المرجعي له صيغة مغلقة، مما يلغي الحاجة لمطابقة الدرجة.
2. هوية الـ Finite-$\epsilon$ Path-Posterior: توفير تحديد دقيق لهدف التدريب ككثافة غير معيرة سالبة لـ path posterior مبرد (finite $\alpha$) وربطه بمسار MAP للضجيج الصغير عبر LDP لـ Freidlin–Wentzell (النظرية 1).
3. تحليل مقايضة التحيز والتباين: إثبات أنه في نظام نقل اللاح l لـ DGP، فإن تقليل تباين هدف المسار (عبر إزالة Hutchinson trace) يهيمن على فائدة تتبع كثافة دقيقة. مُقدر الـ MAP الخالي من الأثر يتفوق على الـ strict ELBOs.
4. التحقق التجريبي: إظهار تحسينات ذات دلالة إحصائية على طرق DBVI في مجموعات بيانات الانحدار UCI واسعة النطاق ($N > 9,000$) وأداء تنافسي في التصنيف الثنائي.

4. النتائج التجريبية

تم تقييم الطريقة (FBVI-bridge-Path أو OM-Path) مقابل DSVI و SGHMC و IPVI و DDVI و DBVI على سبع مجموعات بيانات انحدار UCI، وانحدار واسع النطاق (Airline, Year)، وتصنيف ثنائي (SUSY, HIGGS).

• الانحدار الصغير/المتوسط (UCI):
  • انتصارات كبيرة: تحقق OM-Path انتصارات ذات دلالة إحصائية (اختبار Wilcoxon المزدوج) على DBVI في أكبر مجموعتي بيانات: Power ($p=0.014$) و Protein ($p=0.002$).
  • تعادل: تعادل إحصائي في Yacht و QSAR.
  • خسائر: تخسر OM-Path أمام DBVI في مجموعات البيانات الصغيرة ذات الضجيج العالي (Boston, Energy, Concrete)، حيث توفر تنظيم SDE-noise لـ DBVI فائدة.
• الانحدار واسع النطاق: في مجموعتي بيانات Year (515 ألف صف) و Airline، تحقق OM-Path أفضل متوسط أداء في RMSE و NLL، رغم عدم ادعاء الدلالة الإحصائية بسبب محدودية عدد البذور (seeds).
• التصنيف الثنائي: حققت OM-Path أداءً متساوياً مع DBVI في SUSY و HIGGS، مما أغلق الفجوة التي كانت موجودة سابقاً مع البدائل ذات الـ implicit-q.
• الاستدلال بخطوات قليلة: نظراً للطبيعة الحتمية لـ ODE، تدعم OM-Path استدلالاً عدوانياً بخطوات قليلة (1–4 خطوات) مع حد أدنى من تدهور الدقة في مجموعات بيانات مثل Energy و Concrete، متفوقة على النماذج العشوائية في هذا النطاق.
• التحسين البايزي (Bayesian Optimization): توفر OM-Path تعليماً أفضل لعدم اليقين في الاختبارات الاصطناعية ذات الأبعاد المنخفضة إلى المتوسطة (Hartmann-6, Levy-20)، متفوقة على DSVI.

5. الأهمية والادعاءات

يدعي البحث أن FBVI-bridge-Path تمثل بديلاً صارماً وخالياً من الأثر (trace-free) للاستدلال القائم على الدرجة (score-based) في الـ DGPs. تكمن أهميتها في:

• الدقة النظرية: تأصيل هدف التدريب في فعل Onsager–Machlup و LDP لـ Freidlin–Wentzell، مما يوفر تبريراً رياضياً سليماً لنقل اللاح l الحتمي.
• الكفاءة العملية: إزالة العبء الحسابي لمطابقة الدرجة وتقدير Hutchinson trace، مما يؤدي إلى تدريب أسرع وتدرجات أكثر استقراراً.
• الأداء: إثبات أن مُقدر مسار MAP الذي يستبدل الـ strict ELBO بتباين أقل، يعطي نتائج تجريبية متفوقة في مجموعات البيانات الكبيرة حيث يكون تباين التدرج هو العامل المحدد.

المؤلفون متواضعون في ادعاءاتهم، حيث يقرون بما يلي:

• الطريقة ليست ELBO ولا توفر حداً أدنى للاحتمالية الهامشية (marginal likelihood).
• توجد نسخ strict-ELBO ولكنها أدنى أداءً تجريبياً في هذا النطاق المحدد بسبب التباين.
• في مجموعات البيانات الصغيرة والمشوشة، لا تزال الطرق القائمة على الدرجة (DBVI) تقدم أفضل خدمة بفضل تنظيم SDE-noise.
• التحديد مع مسار MAP هو نتيجة تقاربية ($\epsilon \to 0$)، بينما يحدث التدريب العملي عند $\epsilon$ محدودة.