ملخص تقني: صياغة ماكسيتيف دونسكر-فاريا-دون (Maxitive Donsker-Varadhan) للاستدلال التبايني الإمكاني

1. بيان المشكلة

يعد الاستدلال التبايني (Variational Inference - VI) حجر الزاوية في التعلم البايزي الحديث، حيث يُمكّن من التقريب الاستدلالي في النماذج المعقدة عبر تعظيم الحد الأدنى لبرهان الدليل (ELBO). ومع ذلك، يعتمد الاستدلال التبايني القياسي على التوقعات والتباعدات (مثل تباعد كولباك-ليبلر) المعرفة من خلال التكاملات عالية الأبعاد، والتي تفترض مسبقاً مقاييس احتمالية جمعية (additive). هذا الاعتماد يجعل المعالجة التحليلية صعبة ويستلزم استخدام تقريبات مكثفة.

وعلى النقيال، تقدم نظرية الإمكان (Possibility Theory) إطاراً للاحتمالات غير الدقيقة لنمذجة عدم اليقين المعرفي (epistemic uncertainty) دون اشتراط الخاصية الجمعية. فبدلاً من المجموع، تستخدم هذه النظرية مؤثرات الـ max/min، مما يسمح بالنمذجة المباشرة لعدم اليقين في ظل معلومات شحيحة أو غير دقيقة. وبينما توفر نظرية الإمكان المتانة والقابلية للتفسير، فإن تكييف الاستدلال التبايني مع هذا السياق ليس بالأمر الهين. فالأهداف القياسية مثل ELBO والتباعدات مثل KL لا تمتلك نظائر مباشرة في السياق الإمكاني لأنها تعتمد جوهرياً على المقاييس الجمعية. وقد استخدمت المحاولات الحالية، مثل أعمال سيلا ومارتن (2025)، استراتيجيات مونت كارلو لتقريب النماذج الاستدلالية الإمكانية، ولكن كان هناك نقص في وجود إطار تبايني عام ومنهجي للاستدلال التبايني الإمكاني.

2. المنهجية

نظير "ماكسيتيف" لصيغة دونسكر-فاريا-دون (Donsker-Varadhan)

المساهمة النظرية الجوهرية لهذا العمل هي تأسيس نظير "ماكسيتيف" (maxitive analogue) لصيغة دونسكر-فاريا-دون الكلاسيكية.

في الاستدلال التبايني الاحتمالي القياسي، توضح صيغة دونسكر-فاريا-دون (DV) برهان الدليل كأقصى قيمة لهدف يتضمن تباعد كولباك-ليبلر. يستنتج المؤلفون صياغة ثنائية للخصائص في السياق الإمكاني. لتكن $\pi$ دالة الإمكان القبلية و$\ell$ دالة الخسارة. تُعرف الدالة البعدية الماكسيتيفية $g^*_{\max}$ كما يلي:
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

يثبت المؤلفون أن لوغاريتم الاتساق (لوغاريتم الاحتمالية الهامشية الماكسيتيفية) يمكن التعبير عنه عبر مسألتين تباينيتين مزدوجتين:

1. الحد الأدنى (التعظيم): $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. الحد الأعلى (التقليل): $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

هنا، $\mathcal{F}(\Theta)$ هي مجموعة دوال الإمكان. الكمية التي يتم تحسينها في الطرف الأيمن تسمى حد الاتساق (CBO).

• يؤدي تعظيم الحد الأدنى لـ CBO إلى دوال إمكان تُشكّل حداً أدنى للدالة البعدية الحقيقية ($g \preceq g^*_{\max}$).
• يؤدي تقليل الحد الأعلى لـ CBO إلى دوال إمكان تُشكّل حداً أعلى للدالة البعدية الحقيقية ($g^*_{\max} \preceq g$).

الدالة البعدية الإمكانية القياسية $g^*_{\max}$ هي العنصر الفريد الذي يحقق كلا الحدين في آن واحد، وتعمل كممثل نموذجي لمجموعة الحلول. يتضمن التحسين "الإنتروبيا النسبية القصوى" (max-relative entropy) ($D_{\max}$)، والمعرفة بـ $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$، والتي تلعب دوراً مشابهاً لتباعد KL في الاستدلال التبايني القياسي.

معالجة العائلة الأسية وقواعد التعلم

لجعل هذا الإطار عملياً للشبكات العصبية، طور المؤلفون معالجة لـ دوال الإمكان من العائلة الأسية. لقد حددوا فئة من المرشحين $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$، حيث $A^\dagger$ هي تحويل ليجاندر لدالة الجزء المنقسم اللوغاريتمية $A$.

تشمل الخصائص الرئيسية المستمدة ما يلي:

• الترافق (Conjugacy): في ظل وجود دالة قبلية غير معلوماتية، تظل الدالة البعدية ضمن نفس العائلة الأسية، مع تحديث المعلمات الفائقة (hyperparameters) كمتوسط جاري للإحصاءات الكافية.
• تحديثات شبيهة بنيوتن (Newton-like Updates): من خلال تطبيق نظرية دانسكين (Danskin's theorem) وتقريبات تايلور من الدرجة الثانية، استنتج المؤلفون قاعدة تعلم لتحسين CBO. يؤدي هذا إلى تحديث تدرج طبيعي يشبه خطوة نيوتن:
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  حيث $H_s$ هي مصفوفة انحناء موقعة تعتمد على هسيان (Hessian) الخسارة ودقة المرشح.

مُحسنات CBOpt

بناءً على هذه الاشتقاقات النظرية، يقترح المؤلفون عائلة من المُحسنات تسمى CBOpt.

• uCBOpt: يعمل على تحسين الحد الأعلى لـ CBO (تقليل الحد الأعلى).
• lCBOpt: يعمل على تحسين الحد الأدنى لـ CBO (تعظيم الحد الأدنى).
• النسخ التكيفية (uCBOpt-adapt, lCBOpt-adapt): تقوم هذه النسخ بتعديل معامل الانحناء $\vartheta$ ديناميكياً أثناء التدريب لتلبية شروط التقعر/التحدب الضرورية لمسألة التحسين الداخلية.

يستخدم التنفيذ العملي تقريباً قطري للهسيان (مشابه لـ Adam أو Vprop) ومتوسطات متحركة أسية (EMAs) لتقديرات التدرج والتدريج المربع، مما يجعلها فعالة حسابياً وقابلة للتوسع في الشبكات العصبية الكبيرة.

3. المساهمات الرئيسية

1. الصياغة النظرية: وضع البحث أول نظير ماكسيتيفي (maxitive analogue) لصيغة دونسكر-فاريا-دون، مما يوفر أساساً تباينياً صارماً للاستدلال الإمكاني.
2. التوصيف المزدوج: قدم البحث "حد الاتساق" (CBO) مع صياغات مزدوجة دنيا وعليا، موضحاً أن الدالة البعدية الإمكانية الحقيقية هي التقاطع الفريد لهذه الحدود.
3. إطار العائلة الأسية: طور المؤلفون إطاراً ترافقياً (conjugate prior framework) للعائلات الأسية الإمكانية، مما يكشف عن أوجه تشابه هيكلية مع الحالة الاحتمالية مع مراعاة الطبيعة الماكسيتيفية للنظرية.
   ④ مُحسنات CBOpt: تم اشتقاق عائلة جديدة من المُحسنات وتنفيذها، مما يوفر طريقة عملية لتدريب الشبكات العصبية باستخدام الاستدلال التبايني الإمكاني.
4. التحقق التجريبي: تم تقييم طرق CBOpt على مهام تصنيف الصور داخل النطاق وخارجه (OOD)، مما أظهر أداءً تنبؤياً تنافسياً وتقديرات موثوقة لعدم اليقين.

4. النتائج التجريبية

قيم المؤلفون متغيرات CBOpt (uCBOpt, uCBOpt-adapt, lCBOpt-adapt) مقابل خطوط الأساس بما في ذلك SGD، وAdamW، وIVON، وMC Dropout، وLaplace approximation، وSWAG على ثلاث مجموعات بيانات: Fashion-MNIST، وCIFAR-10، وCIFAR-100.

• الأداء داخل النطاق (In-Domain): على مجموعة Fashion-MNIST، حققت متغيرات CBOpt أقوى أداء إجمالي، حيث حصل lCBOpt-adapt على أفضل دقة (0.913) وأفضل قيمة لـ (Negative Log-Likelihood - NLL). وعلى CIFAR-100، تفوقت جميع متغيرات CBOpt على خطوط الأساس في معظم المقاييس داخل النطاق، مما يشير إلى قابليتها للتوسع في النماذج الأكبر.
• الكشف عن البيانات خارج النطاق (OOD Detection): أظهرت الطرق قدرات تنافسية في الكشف عن OOD. أظهر uCBOpt سلوكاً متسقاً عبر مجموعات البيانات، مقترباً من أداء MC Dropout وSWAG من حيث FPR@95 وAUROC.
• الكفاءة: حافظت متغيرات CBOpt على كفاءة حسابية مماثلة للمحسنات من الدرجة الأولى مثل SGD وAdam، حيث تتطلب فقط تقديرات لكل معلم تدرج وانحناء قياسي، دون الحاجة إلى عمليات تمرير أمامي عشوائية متعددة في وقت الاستدلال (على عكس MC Dropout).
• الدمج مع MC Dropout: أظهرت تجربة إضافية أن الجمع بين CBOpt وMC Dropout يحافظ على الأداء القوي لـ MC Dropout داخل النطاق مع تحسين مقاييس الكشف عن OOD بشكل أكبر.

5. الأهمية والادعاءات

يزعم البحث أن الاستدلال التبايني الإمكاني ليس مجرد إعادة صياغة للطرق الموجودة، بل يقدم منظوراً متميزاً لتمثيل عدم اليقين يؤدي إلى خوارزميات مفيدة عملياً.

• التحول المفاهيمي: من خلال الانتقال من الاحتمال الجمعي إلى الإمكان الماكسيتيفي، يتعامل الإطار بشكل طبيعي مع عدم اليقين المعرفي ويسمح بوجود دوال قبلية غير معلوماتية تماماً دون مشكلة التكاملات غير المحدودة الشائعة في نظرية الاحتمالات.
• الفائدة العملية: يثبت تطوير CBOpt أن الإطار النظري يمكن تجسيده في مُحسنات قابلة للتوسع تنافس طرق التعلم الواعية بعدم اليقين (مثل IVON وMC Dropout) مع تجنب العبء الحسابي للعينات في وقت الاختبار.
• أساس للعمل المستقبلي: يذكر المؤلفون أن عملهم يوفر أساساً لتوسيع الاستدلال التبايني ليشمل نظرية الإمكان. كما أشاروا إلى أن بعض مكونات هذا الإطار (تحديداً التباعد الزائف الماكسيتيفي والدالة البعدية تحت الدوال غير المعلوماتية) قد تم توظيفها بالفعل من قبل Ni et al. (2026) لاشتقاق متنبئات من الدرجة الثانية، مما يؤكد فائدة النظرية الأساسية.

يظل المؤلفون متواضعين بشأن القيود، حيث يقرون بأن تحديثاتهم الشبيهة بنيوتن تعتمد على تقريبات الدرجة الثانية وشروط انحناء محددة، وأن التحقق التجريبي الحالي يقتصر على مرشحات Gaussian متناحية مع تقريبات Fisher قطرية. ومع ذلك، يؤكدون أن الإطار ينجح في سد الفجوة بين الاستدلال الإمكاني النظري وتطبيقات التعلم العميق القابلة للتوسع.