ملخص تقني: قياس عدم اليقين في النماذج التأسيسية باستخدام مجموعات القيم المفردة (Singular Value Ensembles)

1. بيان المشكلة

حققت النماذج التأسيسية أداءً ملحوظًا عبر مهام متنوعة من خلال التدريب المسبق واسع النطاق، ومع ذلك، فإنها غالبًا ما تنتج تنبؤات مفرطة في الثقة وغير معايرة. في المجالات عالية المخاطر مثل التشخيص الطبي، والقيادة الذاتية، ودعم القرار الزراعي، تعد قدرة النموذج على إدراك جهله (عدم اليقين المعرفي - Epistemic Uncertainty) بالغة الأهمية بقدر دقة تنبؤاته. فالتشخيصات الخاطئة المفرطة في الثقة أو تقييمات المخاطر غير الصحيحة يمكن أن تؤدي إلى عواقب وخيمة.

يعتمد النهج القياسي لقياس عدم اليقين المعرفي على تدريب مجموعة (Ensemble) من عدة نماذج تم تهيئتها بشكل مستقل (Deep Ensembles). ورغم فعاليتها، إلا أن هذه الطريقة تعاني من قصور جوهري: حيث تتناسب التكاليف الحسابية والذاكرة طرديًا مع عدد أعضاء المجموعة ($M$). بالنسبة للنماذج التأسيسية ذات المليارات من المعلمات، يصبح حتى تكوين مجموعة متواضع (مثل $M=4$) مكلفًا حسابيًا للغاية، مما يجعل تقدير عدم اليقين المنهجي بعيد المنال للممارسين ذوي الموارد المحدودة أو أولئك الذين يعتمدون على الضبط الدقيق كفء المعلمات (PEFT).

تحاول طرق المجموعات الضمنية الموجودة (مثل MC-Dropout، وBatchEnsemble، وLoRA-Ensemble) تقليل العبء، لكنها غالبًا ما تكافح لمضاهاة أداء المعايرة للمجموعات الصريحة، أو لا تزال تتطلب تعلم معلمات جديدة كبيرة لكل عضو.

2. المنهجية: مجموعة القيم المفردة (SVE)

يقترح المؤلفون مجموعة القيم المفردة (Singular Value Ensemble - SVE)، وهي طريقة تجميع ضمنية كفؤة المعلمات، قائمة على الاستنتاج بأن المعرفة في النماذج التأسيسية منظمة على طول فضاءات فرعية خطية محددة بواسطة المتجهات المفردة لمصفوفات الأوزان.

الافتراض الجوهري

تعتمد الطريقة على فرضية أن المتجهات المفردة ($U$ و $V$) لمصفوفات الأوزان سابقة التدريب تتوافق مع "اتجاهات معرفية" ذات معنى ومتعامدة في فضاء التمثيل. وتُشفر القيم المفردة ($\Sigma$) الأهمية النسبية أو قوة هذه الاتجاهات. لذلك، يمكن بناء مجموعة من خلال الحفاظ على قاعدة المعرفة المشتركة (المتجهات المفردة) مع ضبط مساهمة كل اتجاه عبر قيم مفردة خاصة بكل عضو.

التنفيذ التقني

1. تفكيك SVD: لكل مصفوفة وزن مستهدفة $W \in \mathbb{R}^{m \times n}$ في نموذج سابق التدريب، يتم حساب تفكيك القيم المفردة: $W = U\Sigma V^\top$.
2. تجميد المعلمات: يتم تجميد المتجهات المفردة $U$ و $V$، مما يحافظ على قاعدة المعرفة السابقة للتدريب.
3. التعلم الخاص بكل عضو: بدلًا من تعلم مصفوفات أوزان جديدة، تقوم الطريقة بتدريب $M$ من نسخ القيم المفردة، ويُرمز لها بـ $\{\Sigma^{(m)}\}_{m=1}^M$، واحدة لكل عضو في المجموعة. بالإضافة إلى ذلك، يتم تدريب متجه انحياز (bias) لكل عضو $b^{(m)}$.
4. إعادة البناء: أثناء الاستدلال، يتم إعادة بناء مصفوفة الوزن للعضو $m$ كالتالي: $W^{(m)} = U\Sigma^{(m)}V^\top$.
5. التنوع والتهيئة: لضمان التنوع بين الأعضاء دون تدمير الهيكل السابق للتدريب، يتم تهيئة القيم المفردة باضطرابات ضربية: $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$، حيث $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$. كما يعمل أخذ العينات العشوائي للدفعة الصغيرة (Stochastic mini-batch sampling) أثناء التدريب المشترك على دفع الأعضاء للتقارب نحو تركيبات متميزة من الفضاءات الفرعية المشتركة.

كفاءة المعلمات

بالنسبة لنموذج Transformer ببعد خفي $d$، تضيف SVE فقط $6d$ من القيم المفردة و $9d$ من مدخلات الانحياز لكل طبقة لكل عضو. إجمالي العبء الإضافي بالنسبة للنموذج الأساسي هو تقريبًا:
$$\text{Overhead} \approx \frac{5(M-1)}{4d}$$
بالنسبة لـ $d=768$ و $M=8$، ينتج عن ذلك عبء قدره $<1\%$. وبالنسبة للنماذج الأكبر مثل LLaMA-2-7B ($d=4096$)، ينخفض العبء إلى $\approx 0.2\%$. وهذا أكثر كفاءة بكثير من LoRA-Ensemble (الذي يضيف مصفوفات برتبة $r$) وأكثر كفاءة بعدة مراتب من Deep Ensembles.

3. المساهمات الرئيسية

• تقديم SVE: طريقة تجميع ضمنية جديدة وكفؤة المعلمات، تنشئ أعضاء مجموعة متنوعين عبر تعلم قيم مفردة لكل عضو مع مشاركة المتجهات المفردة سابقة التدريب.
• معيار جديد لعدم اليقين: ترسي SVE كمعيار قوي لتقدير عدم اليقين، حيث تحقق معايرة (calibration) متفوقة مع الحفاظ على دقة التنبؤ.
• التحقق الواسع: تم التحقق من صحتها عبر مهام معالجة اللغات الطبيعية (NLP) ومهام الرؤية الحاسوبية باستخدام نماذج أساسية تتراوح أحجامها من 22 مليون إلى 7 مليارات معلمة (BERT, LLaMA-2-7B, DINOv1/v2). وتُظهر النتائج القدرة على التعميم عبر أحجام النماذج وأنواع المهام.

4. النتائج التجريبية

قيم المؤلفون SVE على مهام NLP (مثل ARC-Easy و SST-2) ومهام الرؤية (مثل Flowers102، CIFAR-100، DTD، Oxford Pets، وكشف الخروج عن التوزيع OOD، و CIFAR-100-C المحرفة).

• المعايرة (Calibration): تحقق SVE باستمرار خطأ معايرة متوقع (ECE) متفوقًا أو منافسًا لـ Deep Ensembles و LoRA-Ensemble والأساليب البايزية (مثل Bayes-LoRA و BLoB). ومن الجدير بالذكر أنه في مهمة ARC-Easy مع LLaMA-2-7B، حققت SVE ($M=16$) خطأ معايرة (ECE) بنسبة 3.8%، وهو ما يتفوق بشكل كبير على Deep Ensembles (9.9%) و LoRA-Ensemble (9.0%)، مقتربة من معايرة الأساليب البايزية مع كونها أبسط في التنفيذ.
• الدقة: تحافظ SVE على دقة تنبؤية قابلة للمقارنة مع المجموعات الصريحة والطرق الضمنية الأخرى. وفي مهمة CIFAR-100، حققت دقة بنسبة 85.6%، متفوقة على Deep Ensembles (85.4%) والنموذج الفردي.
• المتانة (Robustness): تحت ظروف تغير التوزيع (CIFAR-100-C) وكشف الخروج عن التوزيع (OOD detection) (CIFAR-100 $\to$ CIFAR-10)، أظهرت SVE متانة قوية، حيث طابقت أو تجاوزت أداء LoRA-Ensemble و Deep Ensembles من حيث AUROC و AUPRC، رغم استخدامها لمعلمات أقل بكثير.
• الاعتماد على النموذج الأساسي (Backbone Dependency): تتناسب فوائد SVE مع جودة التمثيلات سابقة التدريب. ففي النماذج ذات التهيئة العشوائية، كان أداء SVE ضعيفًا؛ ومع ذلك، مع وجود نماذج قوية (DINOv2)، فقد تفوقت على جميع المعايير المرجعية، مما يؤكد الفرضية القائلة بأن قواعد المتجهات المفردة ذات المعنى ضرورية لنجاح الطريقة.
• التكلفة الحسابية: تقلل SVE العبء في المعلمات والذاكرة بمقدار 10 أضعاف مقارنة بـ LoRA-Ensemble و 700 ضعف مقارنة بـ Deep Ensembles. وقت الاستدلال مشابه لـ LoRA-Ensemble وأسرع بكثير من أساليب أخذ العينات البايزية.

5. الأهمية والادعاءات

يزعم البحث أن SVE تساهم في جعل التقدير المنهجي لعدم اليقين متاحًا للبيئات محدودة الموارد. من خلال الاستفادة من بنية الفضاء الفرعي الخطي للنماذج التأسيسية، تمكن SVE من إنشاء مجموعات متنوعة بحد أدنى من العبء في المعلمات ($<1\%$).

يضع المؤلفون SVE كنهج متوازن يحقق:

1. دقة قابلة للمقارنة مع LoRA-Ensemble.
2. معايرة قابلة للمقارنة مع الأساليب البايزية المعقدة.
3. الكفاءة الحسابية للضبط الدقيق كفء المعلمات.

يشير العمل إلى أنه مع تحسن النماذج التأسيسية، تصبح "قاعدة المعرفة" المشفرة في متجهاتها المفردة ذات قيمة متزايدة. تستفيد SVE من ذلك عبر الحفاظ على هذه التمثيلات مع إدخال التنوع من خلال تعديلات خفيفة الوزن، مما يجعل تقدير عدم اليقين الموثوق متاحًا للنماذج واسعة النطاق حيث يكون التجميع التقليدي غير ممكن عمليًا.

القيود المعلنة:
أشار المؤلفون إلى أن الاستدلال لا يزال يتطلب تمريرة أمامية (Forward Pass) واحدة لكل عضو (مشابه للمجموعات الضمنية الأخرى)، لذا تظل عمليات الحساب (FLOPs) قابلة للمقارنة مع Deep Ensembles. كما أن التكامل مع النماذج المكممة (Quantized Backbones) ليس بالأمر السهل بسبب الحاجة إلى إلغاء التكميم قبل إجراء SVD. علاوة على ذلك، نظرًا لأن SVE تحافظ على القاعدة سابقة التدريب، فقد ترث التحيزات أو الارتباطات الزائفة الموجودة في النموذج الأساسي.