ملخص تقني: LoCO - الضبط الدقيق التكويني منخفض الرتبة للدوران

بيان المشكلة

أصبح الضبط الدقيق فعالاً في المعلمات (PEFT) أمراً ضرورياً لتكييف النماذج التأسيسية واسعة النطاق (مثل النماذج اللغوية الكبيرة LLMs، ومحولات الرؤية ViTs، ومحولات الانتشار Diffusion Transformers) مع المهام اللاحقة دون التكلفة الحسابية الباهظة وخطر النسيان الكارثي المرتبط بالضبط الدقيق الكامل. وبينما تحقق الطرق الحالية مثل LoRA الكفاءة من خلال التحديثات منخفضة الرتبة المضافة، إلا أنها لا تحافظ بطبيعتها على البنية الهندسية للتمثيلات سابقة التدريب.

تعالج طرق الضبط الدقيق المتعامد (Orthogonal fine-tuning) هذه المشكلة من خلال تطبيق تحويلات ضربية مقيدة بمجموعة الدوران الخاصة ($SO(d)$)، والتي تحافظ على العلاقات الزاوية الثنائية وبنية الطاقة الكروية للسمات. ومع ذلك، تواجه هذه الطرق عقبة حسابية أساسية: بناء وتطبيق مصفوفات دوران عامة يتطلب عادةً تعقيداً قدره $O(d^3)$ بسبب قلب المصفوفة أو الحسابات الأسية. كما أن الحلول السابقة، مثل المصفوفات قطرية الكتل (OFT) أو تحليل الفراشة (BOFT)، تفرض قيوداً هيكلية تحد من القدرة التعبيرية أو تعاني من أنماط وصول غير فعالة للذاكرة على الأجهزة الحديثة. علاوة على ذلك، فإن الطرق القائمة على التكوينات المتتالية (مثل انعكاسات Householder) تعيق التوازي، مما يحد من إنتاجية التدريب.

المنهجية

يقترح المؤلفون LoCO (الضبط الدقيق الدوراني التكويني منخفض الرتبة)، وهو أسلوب يبني تحويلات متعامدة باستخدام مصفوفات متناظرة مائلة (skew-symmetric) منخفضة الرتبة وسلاسل دوران تكوينية، مُحسّنة للحوسبة المتوازية.

1. المعلمة المتناظرة المائلة منخفضة الرتبة

يستفيد LoCO من الخاصية الرياضية التي تنص على أن الفضاء المماسي لمجموعة الدوران الخاصة $SO(d)$ يتكون من مصفوفات متناظرة مائلة ($A^T = -A$). وبدلاً من تعلم مصفوفة $d \times d$ كاملة متناظرة مائلة، يقوم LoCO بمعلمتها باستخدام شكل الضرب الخارجي منخفض الرتبة:
$$A = UV^T - VU^T$$
حيث $U, V \in \mathbb{R}^{d \times r}$ و $r \ll d$. ويُعاد كتابة هذا باستخدام مصفوفات مساعدة $X = [U | -V]$ و $Y = [V | U]$ بحيث يكون $A = XY^T$.

2. الحوسبة الفعالة عبر تحويل Cayley ومتطابقة Woodbury

لتوليد مصفوفة الدوران $R \in SO(d)$ من المصفوفة المتناظرة المائلة $A$، يستخدم LoCO تحويل Cayley:
$$R = (I - A)^{-1}(I + A)$$
إن قلب المصفوفة $d \times d$ مباشرة لـ $(I-A)$ مكلف حسابياً. لذا يستخدم LoCO متطابقة Sherman-Morrison-Woodbury لتقليل تعقيد القلب. من خلال استبدال $A = XY^T$، يتم تحويل قلب مصفوفة $d \times d$ إلى قلب مصفوفة صغيرة بحجم $2r \times 2r$:
$$R = I + 2X(I - Y^T X)^{-1}Y^T$$
يقلل هذا من التعقيد الحسابي من $O(d^3)$ إلى $O(dr^2 + r^3)$، والذي يتبسط إلى $O(dr^2)$ نظراً لأن $r \ll d$.

3. سلاسل الدوران التكوينية والتقريب المتوازي

لتعزيز القدرة التعبيرية، يقوم LoCO بتكوين عدة مكونات دوران: $R = R_1 R_2 \dots R_n$. وبينما يتطلب التكوين الدقيق ضرب المصفوفات المتتالي، يقدم LoCO تقريباً من الدرجة الأولى يتيح الحوسبة المتوازية بالكامل:
$$R \approx I + \sum_{i=1}^n 2X_i(I - Y_i^T X_i)^{-1}Y_i^T$$
يؤكد التحليل النظري أنه في سيناريوهات الضبط الدقيق حيث تكون تحديثات المعلمات صغيرة (قريبة من التهيئية الصفرية)، تكون حدود الخطأ من الدرجات العليا مهملة ($O(\epsilon^4)$ وما فوق). يسمح هذا التقريب بحساب وجمع جميع مكونات الدوران بالتوازي، مما يستغل التوازي في وحدات معالجة الرسومات (GPU) بالكامل ويتجنب الاختناقات المتتالية لطرق مثل BOFT أو HRA.

4. قياس درجة الحرارة عند الاختبار

يقدم LoCO معلمة درجة حرارة قياسية $t$ تُطبق على المصفوفة المتناظرة المائلة $A$ أثناء الاستنتاج ($R = (I - At)^{-1}(I + At)$). يتيح ذلك انتقالاً سلساً بين السلوك سابق التدريب ($t=0$) والسلوك المتكيف بالكامل ($t=1$)، مما يوفر قدرة تحكم في قوة التكيف دون الحاجة لإعادة التدريب.

المساهمات الرئيسية

1. بنية PEFT مبتكرة: اقتراح LoCO، الذي يبني تحويلات متعامدة عبر مصفوفات متناظرة مائلة منخفضة الرتبة، مما يتيح التكيف بكفاءة في الفضاءات عالية الأبعاد.
2. التقريب القابل للتوازي: تقديم مخطط تقريب من الدرجة الأولى لسلاسل الدوران التكوينية. يتيح هذا الحوسبة المتوازية لعدة مكونات دوران مع الحفاظ على التعامد مع خطأ تقريب محدود، وهي ميزة تفتقر إليها الطرق المتتالية المتعامدة السابقة.
3. استنتاج قابل للتحكم: تطوير آلية قياس درجة الحرارة عند الاختبار التي تسمح بالتحكم المرن في قوة التكيف، مما يوفر بديلاً لمخططات التنظيم المكلفة المستخدمة في الطرق المتعامدة السابقة.
4. التحقق التجريبي: إثبات أداء يضاهي أو يتفوق على أحدث المعايير عبر بنود متنوعة (GLUE, GSM8K, MATH, VTAB-1k، وتوليد الانتشار القابل للتحكم) مع الحفاظ على بصمة ذاكرة أقل وكفاءة تدريب أعلى مقارً بـ OFT و BOFT.

النتائج التجريبية

قيم المؤلفون LoCO عبر ثلاثة مجالات:

• النماذج اللغوية الكبيرة (فهم اللغة الطبيعية والاستدلال): في اختبار GLUE، حقق LoCO أعلى متوسط درجات (87.75)، متفوقاً على HRA (85.64) و OFT (87.63) مع استخدام معلمات أقل. وفي الاستدلال الرياضي (LLaMA-2-7B على GSM8K/MATH)، حقق LoCO أفضل نتيجة في GSM8K بنسبة (50.19%) ونتائج تنافسية في MATH، متفوقاً على النماذج القائمة على الكتل و Householder.
• محولات الانتشار (Diffusion Transformers): في مهام التوليد الشرطي (مثل حافة-إلى-صورة، وعمق-إلى-صورة) باستخدام FLUX.1، أظهر LoCO دقة محاذاة فائقة (درجات CLIP Image) وجودة صور تنافسية (FID, SSAM) مقارنة بـ LoRA و BOFT. والجدير بالذكر أن آلية قياس درجة الحرارة سمحت بجودة توليد قوية عبر مستويات التكيف المتغيرة، على عكس التوسع الهش الملاحظ في LoRA.
• محولات الرؤية (VTAB-1k): حقق LoCO دقة تنافسية عبر مجموعات المهام الطبيعية، والمتخصصة، والهيكلية. وقد تفوق بشكل ملحوظ على الطرق المتعامدة الأخرى في المهام الهيكلية (متوسط دقة 63.4%) وأظهر انتقالاً قوياً إلى التصوير الطبي (Patch Camelyon: 88.1%).

الكفاءة: طابق LoCO كفاءة التدريب لـ OFT المتناثر، بينما تفوق بشكل كبير على الطرق الكثيفة (HRA, BOFT) في كل من وقت الخطوة واستخدام الذاكرة. عانت HRA و BOFT من أعباء ذاكرة كبيرة بسبب تجسيد المصفوفات الكثيفة أو التبعيات المتتالية، بينما حافظ تصميم LoCO المعتمد على المدخلات والتوازي على إنتاجية مستقرة.

الأهمية والادعاءات

يزعم البحث أن LoCO نجح في سد الفجوة بين الفوائد الهندسية للضبط الدقيق المتعامد والكفاءة الحسابية المطلوبة للنماذج عالية الأبعاد الحديثة. ومن خلال استغلال البنية منخفضة الرتبة للمساحة المماسية واستخدام تقريب من الدرجة الأولى قابل للتوازي، يتجنب LoCO التعقيد التكعيبي والاختناقات المتتالية للطرق المتعامدة الموجودة.

يؤكد المؤلفون أن طريقتهم تحافظ على البنية الزاوية للتمثيلات سابقة التدريب — وهي خاصية حرجة للمهام التي تُشفر فيها المعلومات الدلالية في الزوايا بدلاً من المقادير — مع تقديم مزايا عملية مثل التحكم في قوة الاستنتاج والتوسع المتفوق. تشير النتائج إلى أن المعلمة المتناظرة المائلة منخفضة الرتبة هي استراتيجية أكثر فعالية لالتقاط أنماط الاستدلال والمحاذاة الدلالية من هياكل الكتل القطرية أو انعكاسات Householder.

يختتم البحث بتواضع، مشيراً إلى أنه بينما يعالج LoCO مشكلة القابلية للتوسع في السيناريوهات النموذجية، فإن العمل المستقبلي يمكن أن يستكشف التحسينات النظرية لتقسيمات الدوران المثلى والتوسعات لنماذج متعددة الوسائط.