ملخص تقني: الاستدلال التبايني القائم على الدرجة (Score-based) واسع النطاق للنماذج العميقة البايزية

بيان المشكلة

تقدم الشبكات العصبية العميقة البايزية (BNNs) مزايا كبيرة مقارنة بالتعلم العميق القائم على التقدير النقطي، بما في ذلك التكميم القوي لعدم اليقين، ومقاومة الضجيج، وتخفيف حدة الإفراط في التخصيص (overfitting). ومع ذلك، فإن الاستدلال البعدي الدقيق (exact posterior inference) في الـ BNNs يعد أمرًا مستعصيًا بشكل عام. ويُعد الاستدلال التبايني (Variational Inference - VI) طريقة تقريبية مهيمنة، حيث يصيغ الاستدلال كمسألة تحسين عبر تقريب التوزيع البعدي المستهدف $\pi(\theta)$ بتوزيع قابل للتحكم $q_\lambda(\theta)$.

النهج السائد حاليًا، وهو VI القائم على ELBO (الذي يقلل من تباعد KL العكسي)، يعاني من مشكلة "انهيار النمط" (mode collapsing) المعروفة، حيث يفشل التقريب في التقاط جميع الأنماط (modes) للكثافة المستهدفة. وبينما يمكن لطرق VI القائمة على الدرجة (score-based) — التي تقلل الفرق بين درجة الهدف $\nabla_\theta \log \pi(\theta)$ ودرجة النموذج $\nabla_\theta \log q_\lambda(\theta)$ — أن تعالج نظريًا مشكلة انهيار النمط، إلا أن النهج الحالية القائمة على الدرجة لا يمكن توسيع نطاقها لتشمل الـ BNNs واسعة النطاق. وتحديدًا:

1. الاستعصاء الحسابي: تعتمد طرق مثل مطابقة الدرجة الغاوسية (GSM) وBatch-and-Match (BaM) على عمليات قلب المصفوفات أو ضربها التي تتوسع بشكل تكعيبي أو تربيعي مع أبعاد الحالة، مما يجعلها غير مجدية للبارامترات عالية الأبعاد للشبكات العصبية.
2. عدم التوافق مع التدرجات العشوائية: تتطلب معظم الطرق القائمة على الدرجة درجات دقيقة أو لا يمكنها التعامل مع الدرجات المجمعة (mini-batch) المشوشة وغير المنحازة المستمدة من التدرجات العشوائية، وهي ضرورية للتدريب على مجموعات البيانات الكبيرة.
3. قيود إعادة المعلمة (Reparametrization): تعتمد العديد من الطرق على أخذ عينات إعادة المعلمة، والتي قد تكون مكلفة حسابيًا أو غير مستقرة في الأبعاد العالية.

المنهجية

يقترح المؤلفون خوارزمية الاستدلال التبايني القائم على الدرجة باستخدام التدرج العشوائي القريب (Proximal Stochastic-Gradient Score-based VI) المصممة للتوسع لتشمل الـ BNNs واسعة النطاق، بما في ذلك نماذج Vision Transformers (ViT) وResNets.

هدف التحسين الجوهري

تقوم الطريقة بتحديث التوزيع التبايني $q_t(\theta)$ تكراريًا إلى $q_{t+1}(\theta)$ عن طريق حل مسألة التحسين التالية عند كل تكرار $t$:

$$q_{t+1} = \arg \min_{q \in \mathcal{Q}} \mathbb{E}_{\theta \sim q_t(\theta)} \left[ \alpha_t \|\nabla_\theta \log q(\theta) - \nabla_\theta \log q_t(\theta)\|_2^2 + \|\nabla_\theta \log q(\theta) - s(\theta)\|_2^2 \right]$$

حيث أن:

• $s(\theta) = \nabla_\theta \log \pi(\theta)$ هي درجة الهدف.
• $\alpha_t$ هو معامل تأثير قريب (proximal impact parameter) متكيف (يتم جدولته خطيًا من 0 إلى ثابت $\le 1$).
• الحد الأول هو عقوبة قريبة (proximal penalty) تفرض بقاء التكرار الجديد قريبًا من التكرار الحالي من حيث الدرجات.
• الحد الثاني هو خسارة مطابقة الدرجة (score-matching loss).

الابتكارات التقنية الرئيسية

1. التعامل مع درجات الـ Mini-batch المشوشة: على عكس الطرق القائمة على الدرجة السابقة التي تتطلب درجات دقيقة، يستخدم هذا النهج درجات $\hat{s}(\theta)$ مشوشة وغير منحازة يتم الحصول عليها عبر التدرجات العشوائية. تضمن خطية حد الدرجة في دالة الخسارة بقاء تدرج الخسارة بالنسبة لمعلمات التباين $\lambda$ تقديرًا غير منحاز، حتى مع وجود درجات مشوشة.
2. تجنب إعادة المعلمة: تسمح العقوبة القريبة بأخذ التوقع بالنسبة للتوزيع الحالي الثابت $q_t$ بدلاً من المتغير $q$. وهذا يتجاوز الحاجة إلى خدعة إعادة المعلمة (المستخدمة في ADVI) ويتجنب الاشتقاق مرتين بالنسبة لـ $\theta$ (المطلوب في طرق Fisher/Score التقليدية)، مما يقلل بشكل كبير من العبء الحسابي وبصمة الذاكرة.
3. القابلية للتوسع: من خلال استخدام المعايير الإقليدية (Euclidean norms) بدلاً من المعايير المستحثة من التغاير (والتي تتطلب قلب المصفوفات)، ودعم التدرجات العشوائية، تتوسع هذه الطريقة لتشمل شبكات تحتوي على مئات الملايين من البارامترات (مثل ViT-L-32 الذي يحتوي على ~305 مليون بارامتر).

التقارب النظري

يقدم المؤلفون نظرية تقارب (Theorem 3.1) تنص على أنه تحت افتراض أن العائلة التباينية غنية بما يكفي لتمثيل حقول المتجهات السلسة، فإن درجة التوزيع التبايني تتقارب نحو درجة الهدف مع زيادة التكرارات. وبينما يعد افتراض الثراء التمثيلي مثاليًا، يشير المؤلفون إلى أنه يتحقق تمامًا إذا كان كل من التوزيع البعدي الحقيقي والعائلة التباينية كلاهما توزيعات غاوسية.

المساهمات الرئيسية

1. خوارزمية مبتكرة: تقديم خوارزمية استدلال تبايني قائمة على مطابقة الدرجة باستخدام التدرج العشوائي القريب تجمع بين خسارة مطابقة الدرجة والعقوبة القريبة.
2. القابلية للتوسع للـ BNNs واسعة النطاق: تعد هذه الطة أول نهج VI قائم على الدرجة يتم إثبات فعاليته على الشبكات العميقة واسعة النطاق (ResNets, ViTs) ومجموعات البيانات الكبيرة، متجاوزة الاختناقات الحسابية لـ GSM وBaM.
3. المتانة تجاه الضجيج: تتعامل الخوارزمية بفعالية مع درجات الـ mini-batch المشوشة وغير المنحازة، مما يسمح باستخدام التدرجات العشوائية دون الحاجة إلى حسابات الدرجة لكامل المجموعة (full-batch).
4. إلغاء إعادة المعلمة: تتجنب الطريقة خدعة إعادة المعلمة، مما يبسط مشهد التحسين ويحسن الكفاءة مقارنة بـ ADVI القائم على ELBO.

النتائج التجريبية

قيم المؤلفون الطريقة على بيانات اصطناعية، ومعيار PosteriorDB، ومهام واقعية واسعة النطلة:

• البيانات الاصطناعية: على الأهداف الغاوسية ومزيج التوزيعات الغاوسية، أظهرت الطريقة المقترحة تقاربًا أسرع ومتانة أفضل تجاه اختيارات البارامترات الأولية (تحديدًا فيما يتعلق بالقيم الذاتية الصغيرة للتباين) مقارنة بـ ADVI وGSM وBaM. كما نجحت في التعامل مع عدم تطابق النموذج والفضاءات ذات الأبعاد العالية حيث فشلت GSM/BaM بسبب المشكلات العددية.
• MNIST (BNB صغير النطاق): في أنظمة البيانات المنخفضة، حققت الطريقة معدلات خطأ في التنبؤ مقاربة لـ ADVI، لكنها أظهرت تكميمًا متفوقًا لعدم اليقين، كما يتضح من انخفاض خطأ المعايرة المتوقع (ECE) واللوغاريتم السالب للاحتمالية (NLL).
• التعرف البصري واسع النطاق (ResNet-101 & ViT-L-32): على مجموعات بيانات مثل Pets, Flowers, Aircraft, وDTD، طابقت الطريقة دقة التنبؤ لـ ADVI بينما تفوقت عليه باستمرار في مقاييس عدم اليقين (ECE وNLL). فشلت الطرق المنافسة (GSM, BaM, مطابقة الدرجة التقليدية) بسبب قيود الذاكرة أو الانفجارات العددية.
• التنبؤ بالسلاسل الزمنية: باستخدام بنية شبكة Koopa، تفوقت الطريقة على VI القائم على ELBO والنماذج غير البايزية في MSE وMAE وNLL عبر مجموعات بيانات متعددة (ECL, ETTh2, Ex. Rate, ILi, Traffic, Weather).
• التدفقات الناظمة (Normalizing Flows): تم توسيع الطريقة لتشمل كثافات التدفق الناظم، مما أظهر تحسينات متسقة فوق ADVI في مهام السلاسل الزمنية.
• الكفاءة: على الرغم من الاحتفاظ بالتكرارات السابقة والحالية، كانت وقت التنفيذ (wall-clock time) وبصمة ذاكرة GPU مقاربة لـ ADVI، مما يثبت جدواها العملية للتدريب واسع النطاق.

الأهمية والادعاءات

يدعي البحث أن هذا العمل يوفر بديلًا مرنًا وقابلًا للتوسع لـ VI المهيمن القائم على ELBO للتعلم العميق البايزي واسع النطاق. ومن خلال معالجة مشكلة انهيار النمط المتأصلة في أهداف KL العكسية والتغلب على القيود الحسابية للطرق السابقة القائمة على الدرجة، تمكن الخوارزمية المقترحة من إجراء استدلال بايزي صارم على البنى الحديثة عالية السعة مثل Vision Transformers.

يؤكد المؤلفون أن نهجهم فعال تجريبيًا عبر مختلف الاختبارات، حيث يقدم تكميمًا أفضل لعدم اليقين دون التضحية بالأداء التنبئي. ويشيرون بتواضع إلى أنه بينما يعتمد التقارب النظري على افتراضات قوية حول القدرة التعبيرية للعائلة التباينية، فإن النتائج التجريبية تدعم فائدة الطريقة في الممارسة العملية. يضع هذا العمل الاستدلال التبايني القائم على الدرجة كمسار قابل للتوسع وفعال للتعلم العميق البايزي، متجاوزًا قيود الاعتماد على التوزيعات الغاوسية فقط أو متطلبات الـ full-batch التي فرضتها الأعمال السابقة.