ملخص تقني: التعلم في الفضاء الفرعي لفيشر (FILet)

تعريف المشكلة

تعمل عملية الضبط الدقيق عالي الكفاءة للمعلمات (PEFT)، ولا سيما تكيف الرتبة المنخفضة (LoRA)، على تقليل تكاليف التدريب من خلال قصر تحديثات الأوزان على فضاءات فرعية ذات رتبة منخفضة. ومع ذلك، تعتمد فعالية LoRA بشكل حاسم على التهيئة (initialization) لهذه الفضاءات الفرعية. تعتمد استراتيجيات التهيئة الحالية (مثل PiSSA و MiLoRA و KaSA) بشكل أساسي على الخصائص الهندسية الجوهرية للأوزان مسبقة التدريب، حيث تستخدم عادةً تفكيك القيم المفردة (SVD) لاختيار الاتجاهات بناءً على القيم المفردة.

تجادل الورقة بأن هذه المعايير "المعتمدة على الوزن فقط" غير كافية لأنها تفتقر إلى رؤية توزيع البيانات في المهام اللاحقة (downstream data distribution). فالاتجاه الذي يمتلك أهمية هيكلية في الأوزان مسبقة التدريب قد يكون غير ذي صلة أو خاملًا بالنسبة لمهمة محددة لاحقة. وعلى العكس من ذلك، قد تكون الاتجاهات ذات القيم المفردة المنخفضة حساسة للغاية للبيانات المستهدفة. إن تخصيص قدرة التكيف المحدودة لاتجاهات غير ذات صلة بالمهمة يعيق الأداء اللاحق. تكمن المشكلة الجوهرية في تحديد اتجاهات التكيف التي تقلل من الزيادة المتوقعة في الخسارة (loss) تحت توزيع بيانات المهمة، بدلاً من مجرد اتباع البنية الطيفية للأوزان مسبقة التدريب.

المنهجية: FILet

يقترح المؤلفون إطار عمل FILet (التهيئة الموجهة بفيشر لضبط LoRA)، وهو إطار عمل مدرك للبيانات يستفيد من طاقة فيشر (Fisher Energy) لتوجيه التهيئة.

1. الصياغة النظرية

يعرّف المؤلفون فائدة اتجاه تحديث المعلمة $Z$ من خلال التغير في الخسارة اللاحقة $\Delta L$. باستخدام مفكوك تايلور من الدرجة الثانية، يوضحون أنه بالنسبة للاضطرابات المتماثلة، يهيمن مصطلح الدرجة الثانية الذي يتضمن هسيان (Hessian) الخسارة على تغير الخسارة:
$$\Delta L_{sym}(Z) \approx \frac{\gamma^2}{2} \langle Z, \nabla^2_{W_0} L \rangle$$
ولتجنب حساب مصفوفة الهسيان الكاملة، يقومون بتقريبها باستخدام مصفوفة معلومات فيشر ($S_W$)، والتي تُعرف بأنها توقع حاصل الضرب الخارجي للتدرجات:
$$S_W = E[\text{vec}(\nabla_W L) \text{vec}(\nabla_W L)^\top]$$
تُعرف طاقة فيشر للاتجاه $Z = uv^\top$ بـ:
$$E(Z) = \text{vec}(Z)^\top S_W \text{vec}(Z)$$
يقيس هذا المقياس الحساسية المحلية لتنبؤات النموذج للاضطرابات في الاتجاه $Z$ تحت توزيع البيانات المستهدفة. ويفترض المؤلفون أن الاتجاهات ذات طاقة فيشر المنخفضة تتوافق مع تحديثات المعلمات التي تسبب أدنى زيادة في الخسارة، مما يجعلها مرشحة مثالية لتهيئة LoRA.

2. الحساب الفعال (تقريب K-FAC)

يعد حساب مصفوفة فيشر الكاملة أمراً غير ممكن لنماذج اللغات الكبيرة (LLMs) بسبب حجمها الهائل ($O((mn)^2)$). يستخدم FILet طريقة التقوس التقريبي المعتمد على عامل كرونيكر (K-FAC) لتحليل معلومات فيشر:
$$S_W \approx S_X \otimes S_Y$$
حيث أن:

• $S_X = E[XX^\top]$ هو التباين التجريبي للتنشيطات المدخلة.
• $S_Y = E[(\nabla_Y L)(\nabla_Y L)^\top]$ هو التباين التجريبي لتدرجات المخرجات.

يتم تقدير هذه العوامل بكفاءة باستخدام دفعة صغيرة (minibatch) من البيانات اللاحقة.

3. إجراء التهيئة

لتحويل ذلك إلى واقع دون الحاجة إلى SVD كامل، يبني FILet قواعد مفردة بديلة (surrogate singular bases) من الأوزان مسبقة التدريب $W_0$:

1. حساب مصفوفة غرام (Gram matrix) لـ $W_0$ وتطبيع الأعمدة لتشكيل قاعدة يمنى بديلة $\hat{V}$.
2. رسم خرائط $\hat{V}$ عبر $W_0$ وتطبيعها لتشكيل قاعدة يسرى بديلة $\hat{U}$.
3. إسقاط عوامل فيشر المقدرة ($S_X, S_Y$) على هذه القواعد لحساب طاقة فيشر لكل اتجاه مرشح.
4. اختيار أفضل $r$ من الاتجاهات ذات أقل طاقة فيشر.
5. تهيئة مصفوفات LoRA (أي $A$ و $B$) باستخدام هذه الاتجاهات المختارة، مع قياسها بالجذر التربيعي لطاقات فيشر المقابلة لها.

تضمن هذه العملية تهيئة محولات LoRA في الفضاءات الفرعية الأقل حساسية للبيانات المستهدفة، مما يحافظ على المعلومات ذات الصلة بالمهمة في الأوزان المتبقية المجمدة بينما يسمح بالتكيف الفعال في المناطق "المسطحة" من مشهد الخسارة.

المساهمات الرئيسية

1. معيار التهيئة المدرك للبيانات: تنقل الورقة النموذج من التهيئة المرتكزة على الوزن (المعتمدة على SVD) إلى التهيئة المرتكزة على البيانات، بحجة أن حساسية المعلمات لتوزيع البيانات اللاحقة هي معيار أكثر منطقية لاختيار فضاءات التكيف الفرعية.
2. إطار العمل الموجه بفيشر (FILet): طريقة فعالة حاسبياً لتقدير طاقة فيشر باستخدام K-FAC والقواعد البديلة، مما يتجنب التكلفة الباهظة لحساب مصفوفة فيشر الكاملة أو إجراء SVD كامل على الأوزان الكبيرة.
3. التحقق التجريبي: تجارب شاملة توضح أن اختيار الاتجاهات ذات أقل طاقة فيشر، جنباً إلى جنب مع القياس القائم على فيشر، يتفوق باستمرار على النماذج المرجعية المعتمدة على SVD والموجهة بالبيانات.

النتائج التجريبية

قيم المؤلفون FILet عبر مهام وأنماط متنوعة:

• الاستدلال اللغوي الطبيعي: في اختبارات تشمل BoolQ و PIQA و ARC-Challenge وغيرها، باستخدام Llama2-7B و Llama3-8B. حقق FILet باستمرار دقة متوسطة أعلى من النماذج المرجعية مثل PiSSA و MiLoRA و KaSA و LoRA-Dash. على سبيل المثال، في Llama3-8B، حقق FILet متوسط درجة بلغ 86.7، متفوقاً على أقرب منافس له (NEAT بنسبة 84.5) والطرق المعتمدة على SVD (مثل KaSA بنسبة 85.7).
• تصنيف الصور: باستخدام ViT-B/32 على سبعة مجموعات بيانات (مثل Cars و DTD و SVHN). حقق FILet أعلى متوسط دقة (69.3%)، مع مكاسب ملحوظة في SVHN و Cars.
• توليد اللغة الطبيعية: في مهام GSM8k (الرياضيات)، و MBPP (البرمجة)، و E2E، و MT-bench. أظهر FILet مكاسب جوهرية، خاصة في GSM8k (63.5 لـ Gemma-7B) وفي MBPP (30.8 لـ Gemma-7B)، مما يشير إلى فعاليته في المهام التي تتطلب تعميماً دقيقاً.
• الكفاءة: بينما يتطلب FILet وقتاً إضافياً لحساب عوامل فيشر، فإنه يتجنب عبء تحويل النوع إلى FP32 وعمليات SVD الكاملة المستخدمة في طرق مثل KaSA. كما أن وقت التهيئة يتناسب بشكل جيد مع حجم النموذج مقارنة بالنهج المعتمدة على SVD.
• دراسات الاستئصال (Ablation Studies):
  • حجم الدفعة (Minibatch Size): يتحسن الأداء مع أحجام الدفعات الأكبر ولكنه يستقر، مما يشير إلى أن الأحجام المتوسطة (مثل 320) توفر توازناً جيداً بين الدقة والكفاءة.
  • استراتيجية القياس (Scaling Strategy): تؤكد الورقة أن استخدام القياس القائم على فيشر (الحد الأدنى من الطاقة) يتفوق على استخدام القيم المفردة لـ SVD للقياس، حتى لو كان اختيار الاتجاه صحيحاً.

الأهمية والادعاءات

تدعي الورقة أن FILet يوفر معياراً منطقياً ومعتمداً على المهمة لتهيئة LoRA، مما يجعل التكيف أكثر توافقاً مع الهدف اللاحق. من خلال الاستفيد من معلومات الانحناء الناجمة عن البيانات اللاحقة، يتجنب FILet تخصيص القدرة للاتجاهات الخاملة تحت التوزيع المستهدف.

يؤكد المؤلفون أن هذا النهج:

• يحسن باستمرار الأداء اللاحق عبر مهام الاستدلال والتوليد والتصنيف.
• يحافظ على الكفاءة الحسابية، حيث يتحمل حداً أدنى من عبء التهيئة مقارنة بطرق SVD الكاملة.
• يعزز الفائدة العملية لـ PEFT، مما يتيح ضبطاً دقيقاً عالي الجودة تحت ميزانيات حوسبة محدودة من خلال ضمان وضع المعلمات القابلة للتدريب المحدودة في أكثر الفضاءات الفرعية فعالية.

تخلص الورقة إلى أن التهيئة المدركة للبيانات، وتحديداً عبر تقليل طاقة فيشر، تعد عاملاً حاسماً في تعظيم فعالية الضبط الدقيق عالي الكفاءة للمعلمات، متجاوزة بذلك قيود هندسة الأوزان الثابتة.