Ensembling Pruned Attention Heads For Uncertainty-Aware Efficient Transformers

إليك ملخص تقني مفصل لورقة البحث بعنوان "Ensembling Pruned Attention Heads for Uncertainty-Aware Efficient Transformers" (Hydra Ensembles).

1. بيان المشكلة

تتعرض الشبكات العصبية العميقة (DNNs)، ولا سيما نماذج المحولات (Transformers) واسعة النطاق (مثل ViT، وBERT، وCLIP)، لخطر الأخطاء المفرطة في الثقة، مما يشكل مخاطر جسيمة في المجالات الحساسة للسلامة مثل الرعاية الصحية والقيادة الذاتية. ويعد تقدير عدم اليقين (Uncertainty Quantification - UQ) أمراً ضرورياً للتخفيف من حدة ذلك، وتعتبر المجموعات العميقة (Deep Ensembles) حالياً المعيار الذهبي من حيث الدقة والمعايرة.

ومع ذلك، تعاني المجموعات العميقة من تكاليف حوسبة وذاكرة باهظة:

• تتطلب تدريب نماذج مستقلة متعددة من الصفر.
• يتطلب الاستنتاج (Inference) عمليات تمرير أمامي (forward passes) متعددة (تتدرج خطياً مع عدد النماذج).
• تتطلب تخزين نقاط تفتيش (checkpoints) متعددة.

غالباً ما تضحي البدائل الفعالة الموجودة (مثل MC Dropout، وBatchEnsemble، وPacked Ensembles) باستقلالية أعضاء المجموعة أو لا تزال تتطلب إعادة تدريب كاملة. علاوة على ذلك، تحدد الورقة فجوة حرجة: التقليم الساذج (naive pruning) (إزالة الأوزان لتقليل حجم النموذج) غالباً ما يؤدي إلى تدهور قدرة النموذج على تقدير عدم اليقين (المعايرة)، حتى لو حافظ على الدقة في البيانات النظيفة. وقد أثبت المؤلفون نظرياً أن التقليم يمكن أن يضخم فجوات الأداء في البيانات المشوشة أو تلك التي تقع خارج التوزيع (OOD)، مما يجعل النماذج المقلمة القياسية غير موثوقة لتقدير عدم اليقين (UQ).

2. المنهجية: مجموعات هيدرا (Hydra Ensembles)

يقترح المؤلفون مجموعات هيدرا (Hydra Ensembles)، وهو إطار عمل يبني مجموعة فعالة عن طريق تقليم رؤوس الانتباه (attention heads) من نموذج محول واحد مدرب مسبقاً ودمجها في نموذج واحد مدمج.

المفاهيم الأساسية

• التقليم الهيكلي للرؤوس (Structured Head Pruning): بدلاً من التقليم غير الهيكلي للأوزان، تقوم الطريقة بإزالة رؤوس انتباه كاملة. هذا يخلق شبكات فرعية متنوعة (أعضاء) من هيكل أساسي واحد.
• الاختيار القائم على الدوائر (Circuit-Based Selection): لتجنب تدهور المعايرة الناتج عن التقليم الساذج، يستفيد المؤلفون من التفسير الآلي (mechanistic interpretability). يستخدمون خوارزمية Headmap (Wang et al., 2025) لتحديد والحفاظ على "الدوائر" (الرسوم البيانية الفرعية) الضرورية لمهام محددة (مثل اكتشاف OOD أو الدقة)، بدلاً من مجرد إزالة الرؤوس الأقل أهمية بناءً على توسع تايلور (Taylor expansion).
• استراتيجية الدمج (Merging Strategy): يتم دمج الشبكات الفرعية المقلمة والمتنوعة في بنية محول واحدة تؤدي استنتاج المجموعة في تمريرة أمامية واحدة.

تفاصيل البنية

تتضمن عملية الدمج مكونين رئيسيين:

1. الانتباه متعدد الرؤوس المدمج (Fused Multi-Head Attention - MSHA):
   • يتم إعادة تشكيل المدخلات من $M$ من النماذج المقلمة وتكديسها على طول بُعد العمق.
   • تُستخدم طبقات الربط الكامل المجموع (Grouped Fully-Connected - GFC) لحساب الاستعلامات ($Q$)، والمفات keys ($K$)، والقيم ($V$) بشكل مشترك لجميع الأعضاء.
   • يتم حساب الانتباه عبر جميع الرؤوس لجميع الأعضاء، وتُسقط المخرجات باستخدام طبقات GFC.
   • يسم la هذا النموذج معالجة $M$ من التمثيلات المتنوعة في وقت واحد دون الحاجة إلى تمريرات أمامية متسلسلة.
2. طبقة MLP المدمجة:
   • يتم حساب متوسط طبقات المدرك متعدد الطبقات (MLP) لـ $M$ من النماذج (الأوزان والانحيازات) لإنشاء طبقة MLP واحدة مشتركة.
   • يوضح المؤلفون تجريبياً أن هذا الدمج لا يقلل من تنوع المجموعة لأن التنوع مدفوع بشكل أساسي بهياكل رؤوس الانتباه المتميزة التي تم تعلمها أثناء مرحلة التقليم/الضبط الدقيق.

استراتيجيات التقليم

تقترح الورقة استراتيجيتين لتوليد أعضاء المجموعة:

1. مجموعات هيدرا (تايلور) (Hydra Ensembles - Taylor): تستخدم التقليم التقليدي القائم على تايلور (Molchanov et al., 2019) لإزالة الرؤوس. وهي الأنسب للحالات التي يتم فيها لاحقاً ضبط النماذج المقلمة (fine-tuning) لاستعادة المعايرة.
2. مجموعات هيدرا (الدائرة) (Hydra Ensembles - Circuit): تستخدم خوارزمية Headmap لاستخراج دوائر محسنة لأهداف محددة (مثل تعظيم AUROC لاكتشاف OOD). وهي فعالة حتى في حالات التعلم الصفري (zero-shot) دون الحاجة لضبط دقيق.

3. المساهمات الرئيسية

1. التحليل النظري والتجريبي للتقليم: يثبت المؤلفون أن التقليم الساذج يقلل من تقدير عدم اليقين في البيانات المشوشة. ويظهرون أن فجوة الخسارة بين مجموعات البيانات النظيفة والمشوشة تتسع بعد التقليم، مما يجعل النماذج المقلمة القياسية غير مناسبة لـ UQ دون تدخلات محددة.
2. إطار عمل مجموعات هيدرا (Hydra Ensembles): أول إطار عمل قائم على التقليم مصمم خصيصاً لـ UQ في نماذج المحولات واسعة النطاق. يحقق تنوعاً بمستوى المجموعة مع الحفاظ على تكلفة استنتاج تقارب تكلفة النموذج المنفرد.
3. التفوق في التعلم الصفري (Zero-Shot Superiority): ثبت أن مجموعات هيدرا يمكنها التفوق على الطرق الرائدة في التصنيف الصفري واكتشاف OOD دون الحاجة إلى تدريب إضافي أو إعادة تدريب من الصفر.
4. الكفاءة: تقلل الطريقة من زمن انتقال الاستنتاج (latency) ليصبح قريباً جداً من النموذج المنفرد (زيادة قدرها $1.07\times$ في تنسيق BF16) بينما توفر تقديرات عدم يقين تضاهي المجموعات العميقة (التي تكون أبطأ بنحو $3\times$).

4. النتائج التجريبية

تم تقييم الطريقة على تصنيف الصور (ViT)، وتصنيف النصوص (BERT)، والتصنيف الصفري للصور (OpenCLIP).

• تصنيف الصور الخاضع للإشراف (ImageNet-1K, CIFAR-100):
  • حققت مجموعات هيدرا نتائج تماثل أو تتجاوز قليلاً المجموعات العميقة في مقاييس اكتشاف OOD (مثل AUROC، وFPR95، وAUPR).
  • تفوقت بشكل كبير على المجموعات الفعالة الأخرى (مثل MIMO، وBatchEnsemble، وLoRA-Ensemble).
  • سرعة الاستنتاج: في تنسيق BF16، حققت مجموعات هيدرا نسبة تشغيل زمنية قدرها 1.07x مقارنة بالنموذج المنفرد، بينما كانت المجموعات العميقة أبطأ بنسبة 2.99x.
• تصنيف النصوص (SST-2):
  • حسنت مجموعات هيدرا (الدائرة) اكتشاف OOD بمقدار +2.8% AUROC وخفضت FPR95 بمقدار -7.6% مقارنة بالمجموعات العميقة (D)، مع الحفاظ على دقة مماثلة.
• التصنيف الصفري (OpenCLIP-ViT):
  • في اختبارات OOD لـ ImageNet-1K، تجاوزت مجموعات هيدرا (الدائرة) طريقة ViLU الرائدة (التي تتطلب تدريباً) بمقدار +1.3% AUROC، و -3.5% FPR95، و +4.0% AUPR.
  • حققت أفضل دقة ومقاييس معايرة بين الطرق التي لا تتطلب تدريباً.

5. الأهمية والأثر

• القابلية للتوسع (Scalability): تحل مجموعات هيدرا مشكلة التوسع في المجموعات العميقة بالنسبة لنماذج التأسيس (CLIP، BERT، ViT)، مما يجعل الـ UQ القوي ممكناً للنشر واسع النطاق.
• كفاءة التكلفة: تقدم سيناريو "أفضل ما في العالمين": تنوع وموثوقية المجموعة مع البصمة الحوسبية لنموذج واحد.
• المتانة (Robustness): من خلال دمج التفسير الآلي (استخراج الدوائر) في التقليم، تضمن الطريقة أن الشبكات الفرعية المتبقية ليست أصغر فحسب، بل هي مصممة خصيصاً لتكون متينة تجاه تغيرات التوزيع والضوضاء.
• العملية: القدرة على العمل في بيئات التعلم الصفري دون إعادة تدريب تجعلها قابلة للتطبيق الفوري على النماذج المدربة مسبقاً في البيئات الديناميكية.

في الختام، تمثل مجموعات هيدرا تحولاً نوعياً في كفاءة تقدير عدم اليقين، حيث تنتقل من أسلوب "القوة الغاشمة" في التجميع نحو التقليم الهيكلي القابل للتفسير الذي يحافظ على التنوع الجوهري اللازم لتقدير موثوق لعدم اليقين.