ملخص تقني: الضبط الدقيق البايزي في الفضاءات الجزئية المسقطة

بيان المشكلة

غالبًا ما تعاني النماذج اللغوية الكبيرة (LLMs) وغيرها من الشبكات العصبية العميقة من الإفراط في الثقة وسوء المعايرة عند إجراء الضبط الدقيق لها، لا سيما عند استخدام بيانات محدودة. وبينما يوفر التكيف منخفض الرتبة (LoRA) حلاً فعالاً من حيث كفاءة المعلمات للضبط الدقيق عبر تفكيك تحديثات الأوزان إلى مصفوفات منخفضة الرتبة، إلا أن معايير LoRA القياسية تفتقر إلى آليات تحديد عدم اليقين.

لقد اقتُرِحَت متغيرات بايزية من LoRA (المعروفة بـ Bayesian LoRA) لمعالجة ذلك من خلال تعلم التوزيعات اللاحقة (posterior distributions) على المعلمات. ومع ذلك، تواجه هذه الأساليب مقايضة حرجة: فنمذجة مصفوفة التباين اللاحقة (posterior covariance matrix) -وهي ضرورية لعدم اليقين المعرفي (epistemic uncertainty)- تتطلب عادةً عدداً من المعلمات يتناسب تربيعياً مع عدد الأوزان القابلة للتدريب. وهذا يزيد بشكل كبير من تكاليف التخزين والحوسبة، مما يقلل جزئياً من مكاسب الكفاءة التي يوفرها LoRA. علاوة على ذلك، يمكن أن يكون تدريب هذه النماذج البايزية عالية الأبعاد غير مستقر ويصعب تقاربه.

المنهجية

يقترح المؤلفون إطار عمل مبتكر يجمع بين الضبط الدقيق الفعال للمعلمات والاستدلال البايزي ضمن فضاء جزئي منخفض الأبعاد ومسقط. وتتمثل الفكرة الجوهرية في قصر تعلم التوزيعات اللاحقة البايزية على ماني فولد (manifold) مضغوط بدلاً من فضاء المعلمات الكامل.

1. تمثيل المعلمات في الفضاء الجزئي المسقط

بدلاً من تعلم تحديثات منخفضة الرتبة كاملة $\Delta W = AB$ حيث تكون كل من $A$ و $B$ قابلة للتدريب (كما في LoRA القياسي)، يقترح الأسلوب المقترح تجميد مصفوفات الأساس $A$ و $B$ وتعلم مصفوفة "مركزية" مربعة صغيرة $R$ فقط. ويُعرَّف تحديث الوزن كالتالي:
$$\Delta W = ARB$$
حيث $A \in \mathbb{R}^{n \times r}$ و $B \in \mathbb{R}^{r \times m}$ هما مصفوفتان للإسقاط محددتان مسبقاً من الأوزان سابقة التدريب $W_0$، و $R \in \mathbb{R}^{r \times r}$ هي المعلمة القابلة للتعلم. يؤدي هذا إلى تقليل عدد المعلمات القابلة للتدريب من $r(n+m)$ إلى $r^2$، مما يخلق فضاء معلمات مضغوطاً للغاية.

2. استراتيجيات الإسقاط

يقيّم البحث أربع طرق متميزة لحساب مصفوفات الإسقاط المجمدة $A$ و $B$:

• تفكيك القيم المفردة المبتور (Truncated SVD): يعمل على محاذاة الإسقاطات مع الاتجاهات الرئيسية لمصفوفة الوزن الأصلية $W_0$.
• تفكيك القيم المفردة المبتور والمبيض (W-SVD): يأخذ في الاعطبار إحصائيات بيانات المدخلات (التباين المشترك $\Sigma_{xx}$) لتقليل أخطاء التنشيط بدلاً من أخطاء إعادة بناء الأوزان.
• تحويل جيب التمام المتقطع ثنائي الأبعاد (2D DCT): يستخدم أساساً ثابتاً وعالمياً من موجات جيب التمام، مسبوقاً بتبديل حتمي للأوزان لإحداث ارتباط مكاني.
• الإسقاطات العشوائية (Random Projections): يستخدم مصفوفات متعامدة غاوسية موزعة حسب توزيع هير (Haar-distributed)، دون وضع أي افتراضات هيكلية حول الأوزان.

3. الاستدلال البايزي في الفضاء الجزئي

ينفذ إطار العمل الاستدلال البايزي على المصفوفات المركزية $R$ بدلاً من تحديثات الأوزان الكاملة. وقد تم استخدام طريقتين تقريبيتين للاستدلال البايزي:

• طريقة SWAG (متوسط الأوزان العشوائي-الغاوسي): تستغل مسار خوارزمية التدرج الاشتقاقي العشوائي (SGD) لبناء توزيع لاحق غاوسي مع تباين منخفض الرتبة بالإضافة إلى تباين قطري.
• تقريب لابلاب (Laplace Approximation): يقرب التوزيع اللاحق حول حل الحد الأقصى للاحتمال اللاحقي (MAP). وقد طبق المؤلفون كلاً من التقريبات القطرية (DIAG) و المتخذة لعامل كرونيكر (KRON) لمصفوفة هيسيان/معلومات فيشر لتحقيق التوازن بين القدرة التعبيرية وكفاءة الذاكرة.

من المهم ملاحظة أن التباين الكامل لتحديثات الأوزان $\Delta W$ لا يتم استحضاره أبداً؛ بل يتم تعريف التباين ضمنياً عبر بنية كرونيكر للفضاء الجزئي المسقط، مما يسمح بأخذ العينات وتقدير عدم اليقين بكفاءة.

المساهمات الرئيسية

1. إطار عمل بايزي فعال للمعلمات: يقدم البحث طريقة تحقق تقديراً فعالاً لعدم اليقين في فضاءات معلمات منخفضة الأبعاد للغاية ($r^2$ معلمة لكل طبقة) دون التضحية بمزايا الكفاءة التي يوفرها LoRA.
2. استراتيجيات إسقاط معممة: بخلاف الأعمال السابقة التي اعتمدت بشكل أساسي على SVD، يقدم هذا العمل إطار عمل معمماً يتضمن إسقاطات مدركة للبيانات (W-Sved) وغير مرتبطة بالهيكل (DCT، عشوائي).
3. التحقق التجريبي من التباينات منخفضة الرتبة: أثبت المؤلفون أن تباينات الأوزان في هذه الفضاءات الجزئية المسقطة تظهر خصائص منخفضة الرتبة، مما يعني أن استخدام تقريبات تباين منخفضة الرتبة جداً (مثل الرتبة $k=2$) غالباً ما يكون كافياً لنمذجة عدم اليقين بفعالية.
4. القابلية للتوسع: تم التحقق من قابلية النهج للتوسع على نماذج RoBERTa-large و LLaMA2-7B، مما يظهر قدرة الطريقة على التوسع مع النماذج الأكبر مع الحفاظ على الجدوى الحسابية.

النتائج التجريبية

أُجريت التجارب على مهام GLUE (RTE, MRPC, CoLA, SST-2) باستخدام RoBERTa-large، ومهام الاستدلال المنطقي العام (OBQA, ARC-E, ARC-C) باستخدام LLaMA2-7B.

• المعايرة وعدم اليقين: تفوقت الطرق المقترحة (B-LoRA-XS و L-LoRA-XS) باستمرار على معايير LoRA و LoRA-XS في خطأ المعايرة المتوقع (ECE) واللوغاريتم السالب للاحتمالية (NLL). لقد حققت معايرة تضاهي أو تتفوق على نماذج LoRA-SWAG البايزية الكاملة مع استخدام عدد معلمات أقل بـ 5 إلى 15 مرة.
• أداء الإسقاط: حققت إسقاطات W-SVD و SVD القياسية أفضل أداء. أما الأساليب غير المرتبطة بالبيانات مثل الإسقاطات العشوائية و DCT فقد كان أداؤها أسوأ بكثير، خاصة عند الرتب المنخفضة، مما يسلط الضوء على أهمية محاذاة الفضاء الجزئي مع هيكل الأوزان.
• رتبة التباين: ظلت النماذج قوية حتى مع تقريبات التباين منخفضة الرتبة جداً. على سبيل المثال، حقق B-LoRA-XS أفضل معايرة عند رتب تباين منخفضة تصل إلى $k=2$ أو $k=5$، بينما تدهورت طرق LoRA البايزية القياسية بشكل كبير مع انخفاض الرتبة.
• كشف البيانات خارج التوزيع (OOD): أظهرت المتغيرات البايزية قدرة فائقة على التمييز بين البيانات داخل التوزيع (ID) وخارج التوزيع (OOD) مقارنة بالنماذج الحتمية، حيث أظهرت أساليب الفضاء الجزئي المقترحة فصلاً قوياً في الإنتروبيا التنبؤية.
• نتائج LLaMA2-7B: في النموذج الأكبر، حققت النسخ المضغوطة (مثل L-LoRA-XS مع $r=64$) تحسينات كبيرة في المعايرة باستخدام أقل من ثلث ميزانية المعلمات المطلوبة لنموذج Laplace-LoRA، مع الحفاظ على دقة تنافسية.

الأهمية والادعاءات

يزعم البحث أن التقدير الفعال لعدم اليقين لا يتطلب فضاءات معلمات عالية الأبعاد. ومن خلال إسقاط تحديثات الأوزان على ماني فولد مختار بعناية، أثبت المؤلفون أنه:

• يمكن نمذجة عدم اليقين بكفاءة: يمكن التقاط الارتباطات بين الأوزان بفعالية في فضاءات جزئية منخفضة الأبعاد، مما يسمح باستخدام مصفوفات تباين منخفضة الرتبة تقلل بشكل جذري من تكاليف الذاكرة والحوسبة.
• يتحسن الاستقرار: العمل في فضاء معلمات مختزل يستقر عملية التحسين، مما يؤدي إلى تقارب ومعايرة أفضل في ظل ميزانيات حوسبية محدودة.
• مقايضة تآزرية: يقدم النهج مقايضة تآزرية حيث يتم الحفاظ على الأداء التنبئي أو تحسينه، مع تعزيز المعايرة بشكل كبير، وكل ذلك باستخدام جزء ضئيل من المعلمات المطلوبة لطرق Bayesian LoRA الموجودة.

يخلص المؤلفون إلى أن إطار عملهم يمثل ابتكاراً مفاهيمياً في تطبيق الاستدلال البايزي على الفضاءات المضغوطة، مما يوفر حلاً عملياً للضبط الدقيق الواعي بعدم اليقين للنماذج الكبيرة في البيئات محدودة الموارد.