Bayesian Lottery Ticket Hypothesis

إليك ملخص تقني مفصل لورقة البحث بعنوان "فرضية تذكرة اليانصيب البايزية" (Bayesian Lottery Ticket Hypothesis) من إعداد كوهن وآخرون.

1. بيان المشكلة

تعد الشبكات العصبية البايزية (BNNs) ضرورية لتقدير عدم اليقين (UQ) في التطبيقات الحرجة للسلامة، حيث تقوم بنمذجة الأوزان كتوزيعات احتمالية بدلاً من قيم ثابتة. ومع ذلك، تعاني الشبكات العصبية البايزية من عبء حسابي هائل مقارنة بالشبكات الحتمية (Deterministic):

• العبء في المعلمات (Parameters): الأوزان هي توزيعات (على سبيل المثال، المتوسط $\mu$ والتباين $\sigma$)، مما يضاعف عدد المعلمات.
• التكلفة الحسابية: يتطلب التدريب أخذ عينات متعددة في كل عملية تمرير أمامي/خلفي (forward/backward pass)، مما يزيد بشكل كبير من عمليات الفاصل الزمني (FLOPs) واستهلاك الذاكرة.
• صعوبة التدريب: غالباً ما يكون من غير الممكن تدريب الشبكات العصبية البايزية واسعة النط النطاق على الأجهزة الاستهلاكية.

بينما نجحت الندرة (Sparsity/Pruning) في تقليل التكاليف في الشبكات الحتمية عبر فرضية تذكرة اليانصيب (LTH) — التي تفترض وجود شبكات فرعية نادرة ("تذاكر فائزة") يمكنها مضاهاة أداء الشبكة الكثيفة — إلا أنه لا يزال من غير الواضح ما إذا كانت هذه الفرضية تنطبق على الشبكات العصبية البايزية. وتحديداً، من غير المعروف ما إذا كان:

1. توجد شبكات فرعية نادرة داخل الشبكات العصبية البايزية تحافظ على دقة عالية ومعايرة (Calibration) جيدة.
2. تختلف معايير تحديد هذه التذاكر عن الشبكات الحتمية (على سبيل المثال، هل يجب أن يعتمد التقليم على المتوسط $\mu$، أم الانحراف المعياري $\sigma$، أم مزيج منهما؟).
3. يمكن تقليل التكلفة الحسابية لإيجاد هذه التذاكر عن طريق "نقل" (Transplanting) التذاكر من النماذج الحتمية.

2. المنهجية

قام المؤلفون بترجمة إطار التقليم المتكرر للمقدار (Iterative Magnitude Pruning - IMP) القياسي الخاص بفرضية تذكرة اليانصيب إلى سياق بايزي باستخدام الاستدلال التبايني للمجال المتوسط (Mean-Field Variational Inference - VI).

• النماذج والبيانات: أُجريت التجارب على مجموعة بيانات CIFAR-10 باستخدام ثلاثة بنى معمارية: ResNet-18، وVGG-11، وVision Transformer (ViT-tiny). تم تدريب كل من النسخ الحتمية والبايزية.
• استراتيجيات التقليم للشبكات البلوجية (BNNs): على عكس التقليم الحتمي الذي يستخدم مقدار الوزن ($|w|$)، اختبر المؤلفون ثلاث دوال تسجيل لأوزان الشبكة البايزية $(\mu, \sigma)$:
  1. نسبة الإشارة إلى الضوضاء (SNR): $s_{SNR} = |\mu| / \sigma$. تقوم بتقليم الأوزان الصغيرة و"المزعجة" (عالية التباين).
  2. مجموع المربعات (Square): $s_{SS} = \sqrt{\mu^2 + \sigma^2}$. تقوم بتقليم الأوزان ذات المقدار المنخفض والتباين المنخفض (حيث تكون الشبكة "متأكدة" أن الوزن قريب من الصفر).
  3. مقدار المتوسط ($\mu$): $s_{\mu} = |\mu|$. تتجاهل التباين وتعتمد فقط على المتوسط.
• دورة IMP: تخضع النماذج لدورة تدريب $\leftarrow$ تقليم $\leftarrow$ إعادة ضبط. بعد التقليم، يتم إعادة ضبط الأوزان إلى قيمها الأصلية عند التهيئة ($w_0$) ثم إعادة تدريبها. وتتكرر هذه العملية لـ 20 مستوى من الندرة (وصولاً إلى حوالي 1.2% من المعلمات غير الصفرية).
• تجارب إعادة التهيئة والخلط (Shuffling): لفهم ما يحدد "التذكرة الفائزة"، اختبر المؤلفون:
  • إعادة تهيئة الأوزان: تثبيت القناع (Mask) مع إعادة سحب الأوزان من التوزيع القبلي (Prior).
  • خلط القناع (Mask Shuffling): تثبيت الأوزان مع تغيير ترتيب قناع التقليم (خلط عالمي، متساوٍ، أو على مستوى الطبقة).
• استراتيجية النقل (Transplantation): طريقة لتجاوز حلقة التدريب البايزي المكلفة. يأخذ المؤلفون "تذكرة فائزة" (القناع + التهيئة) تم العثور عليها في نموذج حتمي، ثم ينقلونها إلى نموذج بايزي. بعد ذلك، يتم تدريب النموذج البايزي باستخدام الاستدلال التبايني (VI)، ولكن بدءاً من الهيكل النادر المحدد مسبقاً.

3. المساهمات الرئيسية

1. التحقق من صحة LTH في الشبكات البلوجية: تؤكد الدراسة أن فرضية تذكرة اليانصيب تنطبق على الشبكات العصبية البايزية. حيث توجد شبكات فرعية نادرة يمكنها مضاهاة أو حتى تجاوز دقة نظيراتها البايزية الكثيفة.
2. تحليل معايير التقليم: حدد المؤلفون أن مقدار المتوسط ($|\mu|$) هو المعيار الأكثر فعالية للتقليم في الشبكات الببية، حيث يتفوق على أو يضاهي الاستراتيجيات التي تدمج التباين ($\sigma$). وهذا يشير إلى أن متوسط التوزيع اللاحق (Posterior Mean) هو المهيمن في قرار التقليم.
3. رؤى معمارية:
   • النماذج التلافيفية (ResNet/VGG): تعتمد التذاكر الفائزة بشكل كبير على نسبة الندرة لكل طبقة وعلى قيم الأوزان الأولية.
   • المحولات (Transformers - ViT): هذه النماذج حساسة للغاية للتهيئة؛ فالمزيج المحدد من هيكل القناع والأوزان الأولية أمر بالغ الأهمية؛ حيث يؤدي خلط أي منهما إلى تدمير الأداء.
4. كفاءة النقل: أظهرت الورقة أن "نقل" تذكرة حتمية إلى نموذج بايزي يعطي أداءً مقارباً للتذكرة البايزية المدربة بالكامل، ولكنه يقلل وقت التدريب الحسابي بنسبة ~50%.

4. النتائج الرئيسية

• الأداء مقابل الندرة:
  • عند ندرة تصل إلى 90%، تحقق التذاكر الفائزة البايزية دقة مقاربة للنماذج الكثيفة.
  • عند مستويات الندرة العالية جداً (>98%)، يتدهور الأداء، خاصة في نماذج VGG وResNet عند استخدام معيار التقليم "Square".
  • أظهر نموذج ViT-tiny اتجاهاً فريداً حيث تفوقت النسخ البايزية على النسخ الحتمية عند الندرة المتوسطة (حتى 50%) قبل أن يبدأ الأداء في التراجع.
• مقارنة معايير التقليم:
  • حققت استراتيجيات مقدار المتوسط ($|\mu|$) و SNR أداءً متشابهاً وجيداً.
  • أدت استراتيجية مجموع المربعات (Squared-Sum) أداءً ضعيفاً، خاصة في نماذج ViT، مما يشير إلى أن التقليم بناءً على انخفاض التباين ليس معياراً موثوقاً.
• الهيكل مقابل التهيئة:
  • بالنسبة لـ ResNet وVGG، أدى الخلط على مستوى الطبقة (الحفاظ على نسبة الندرة لكل طبقة مع تغيير ترتيب القناع) مع إعادة تهيئة الأوزان إلى نتائج قريبة من التذكرة الفائزة. وهذا يعني أن توزيع الندرة عبر الطبقات هو عامل رئيسي.
  • بالنسبة لـ ViT، لم يستطع الخلط أو إعادة التهيئة بمفردهما استعادة الأداء؛ بل يتطلب الأمر الزوج المحدد من القناع الأصلي والتهيئة.
• معايرة عدم اليقين:
  • ظل متوسط خطأ المعايرة المطلق (MACE) مستقراً أو متحسناً عند مستويات الندرة العالية لـ ResNet وViT، مما يشير إلى أن التقليم لا يضعف بالضرورة قدرة النموذج على تقدير عدم اليقين.
• كفاءة النقل:
  • حقق نقل التذاكر الحتمية إلى النماذج البايزية دقة مقاربة لعملية IMP البايزية الكاملة.
  • توفير وقت التشغيل: بما أن تدريب الاستدلال التبايني (VI) أغلى بـ 3 إلى 7 مرات من التدريب الحتمي، وبما أن عملية IMP تتطلب 20 دورة تدريبية، فإن طريقة النقل توفر حوالي 50% من إجمالي وقت الحوسبة مع الحفاظ على فوائد المعايرة.

5. الأهمية والآثار المترتبة

• جدوى الشبكات البايزية واسعة النطاق: من خلال إثبات وجود شبكات فرعية نادرة في الشبكات البايزية، تشير الورقة إلى إمكانية جعل النماذج البايزية واسعة النطاق قابلة للتطبيق حسابياً في العالم الحقيقي دون التضحية بتقدير عدم اليقين.
• بروتوكولات تدريب فعالة: توفر طريقة النقل (Transplantation) سير عمل عملي: تدريب نموذج حتمي لإيجاد "التذكرة الفائزة"، ثم نقلها إلى نموذج بايزي للتحسين النهائي باستخدام الاستدلال التبايني (VI). هذا يقلل بشكل كبير من حواجز الدخول لتدريب نماذج قوية ومدركة لعدم اليقين باستخدام أجهزة محدودة.
• فهم ديناميكيات الشبكات البايزية: تسلط النتائج الضوء على أنه بينما تشترك الشبكات البايزية في ظاهرة LTH مع الشبكات الحتمية، فإن الآليات الأساسية (مثل هيمنة المتوسط على التباين في التقليم، وحساسية المحولات للتهيئة) تختلف، مما يتطلب استراتيجيات تقليم مخصصة.

في الختام، تجسر هذه الدراسة الفجوة بين كفاءة الشبكات النادرة ومتانة الاستدلال البايزي، مقدمةً إثباتاً نظرياً وخوارزميات عملية لتدريب شبكات بايزية فعالة.