ملخص تقني: GPart (الضبط الدقيق للتقسيم العالمي)

1. بيان المشكلة

يعد الضبط الدقيق الفعال للمعلمات (PEFT) أمراً ضرورياً لتكييف النماذج اللغوية الكبيرة (LLMs) والنماذج التأسيسية الأخرى، حيث يصبح الضبط الدقيق الكامل مكلفاً حوسبياً بشكل باهظ. وبينما أصبح "التكيف منخفض الرتبة" (LoRA) هو النموذج السائد في الـ PEFT، إلا أنه يفرض قيداً هندسياً حرجاً: وهو أن عملية الربط من المعلمات القابلة للتدريب إلى تحديثات الأوزان هي عملية ثنائية الخطية ($\Delta W = BA$) وليست خطية.

هذا الهيكل ثنائي الخطية يعني أن عملية الربط ليست متساوية القياس (isometry)؛ أي أن المسافات الإقليدية في فضاء المعلمات القابلة للتدريب لا يتم الحفاظ عليها في فضاء أوزان النموذج. وبناءً على ذلك، فإن مشهد التحسين الذي يراه المحسن في الإحداثيات القابلة للتدريب لا يتوافق مع هندسة تحديثات الأوزان المستحثة. تحاول الطرق الحديثة مثل Uni-LoRA تحسين الكفاءة عن طريق إسقاط متجه منخفض الأبعاد في فضاء معلمات LoRA عبر خريطة متساوية القياس، ولكن نظرًا لأن الخطوة النهائية لا تزال تعتمد على خريطة LoRA ثنائية الخطية ($\Delta W = BA$)، فإن التساوي في القياس النهائي ينكسر، مما يترك مشكلة التشوه الهندسي دون حل.

2. المنهجية: GPart

يقترح المؤلفون GPart (الضبط الدقيق للتقسيم العالمي)، وهي طريقة تلغي عنق الزجاجة منخفض الرتبة بالكامل. فبدلاً من الإسقاط في فضاء عوامل LoRA، يقوم GPart برسم خريطة من متجه قابل للتدريب منخفض الأبعاد مباشرة إلى فضاء الأوزان الكامل للنموذج.

الآلية الجوهرية

بالنظر إلى نموذج مدرب مسبقاً تم تسطيح $N$ من معلماته المتكيفة في متجه $w_0 \in \mathbb{R}^N$، يقدم GPart متجهاً قابلاً للتدريب $\theta_d \in \mathbb{R}^d$ (حيث $d \ll N$). ويتم تعريف تحديث الوزن كالتالي:
$$\Delta w = P \theta_d$$
حيث $P \in \mathbb{R}^{N \times d}$ هي مصفوفة تقسيم عشوائية.

بناء مصفوفة التقسيم

يتم بناء المصفوفة $P$ عبر عملية شبه عشوائية تعتمد على بذرة (seed):

1. التعيين العالمي: تقوم دالة تعيين عشوائية $g: \{1, \dots, N\} \to \{1, \dots, d\}$ بتعيين كل معلمة من معلمات النموذج الـ $N$ إلى واحدة من $d$ من المجموعات المنفصلة.
2. التطبيع (Normalization): لكل مجموعة $j$، لتكن $n_j$ هي عدد المعلمات المعينة لها. يتم تعريف المدخل $P_{ij}$ كالتالي:
   $$P_{ij} = \begin{cases} \frac{1}{\sqrt{n_j}} & \text{إذا كان } g(i) = j \\ 0 & \text{خلاف ذلك} \end{cases}$$
3. خاصية تساوي القياس (Isometry): من خلال هذا البناء، $P^\top P = I_d$. وهذا يضمن أن $P$ هي تضمين متساوي القياس من \mathbb \mathbb{R}^d$إلى$\mathbb{R}^N$.

التحسين والتخزين

• التمرير الأمامي (Forward Pass): يكون التحديث لمعلمة محددة $i$ هو $\Delta w_i = \theta_{g(i)} / \sqrt{n_{g(i)}}$. وهذا يسمح لنفس القيمة القابلة للتدريب بالانتشار عبر معلمات متعددة في طبقات مختلفة.
• التمرير الخلفي (Backward Pass): يتم حساب التدرج بالنسبة لـ $\theta_d$ عن طريق تجميع مجموع التدرجات الطبيعية داخل كل مجموعة: $(\nabla_{\theta_d} L)_j = \sum_{i: g(i)=j} (\nabla_w L)_i / \sqrt{n_j}$.
• التهيئة (Initialization): يتم تهيئة $\theta_d$ بصفر، مما يضمن بدء النموذج تماماً عند الأوزان المدربة مسبقاً ($\Delta w = 0$) دون الحاجة إلى تهيئة عشوائية لكسر التماثل.
• التخزين: يمكن استعادة النموذج الكامل المضبط دقيقاً من $d + 1$ من القيم: المتجه القابل للتدريب $\theta_d$ والبذرة العشوائية $s$ المستخدمة لإعادة توليد $P$.

3. المساهمات الرئيسية

1. تساوي القياس من البداية للنهاية (End-to-End Isometry): يوفر GPart خريطة خطية واحدة من الفضاء الجزئي القابل للتدريب إلى فضاء الأوزان الكامل الذي يحافظ على الهندسة الإقليدية. وعلى عكس LoRA و Uni-LoRA، فإن مشهد التحسين في فضاء $\theta$ هو مشهد متساوي القياس مع فضاء تحديث الوزن المستحث.
2. إزالة عنق زجاجة الرتبة المنخفضة: تزيل هذه الطة القيود الهيكلية لعملية التفكيك منخفضة الرتبة ($\Delta W = BA$)، وتعمل مباشرة في الفضاءات المحيطة للأوزان عبر فضاءات فرعية عشوائية منخفضة الأبعاد.
3. تبسيط المعلمات الفائقة (Hyperparameterization): يعتمد GPart على معلمة فائقة واحدة فقط، وهي $d$ (بعد الفضاء الجزئي)، للتحكم في المقايضة بين كفاءة المعلمات والقدرة التعبيرية. وهذا يتناقض مع LoRA (التي تتطلب الرتبة $r$) و Uni-LoRA (التي تتطلب كلاً من $r$ و $d$).
4. التحقق النظري والتجريبي: يثبت البحث خاصية تساوي القياس ويظهر أن GPart يتفوق على أو يضاهي طرق PEft الحالية عبر مهام متنوعة.

4. النتائج التجريبية

قام المؤلفون بتقييم GPart على معايض فهم اللغة الطبيعية (NLU)، والاستدلال الرياضي، ومعايير الرؤية الحاسوبية، مقارنة بـ Full Fine-Tuning (FF)، و Linear Probing (LP)، و LoRA، و BitFit، و VeRA، و FourierFT، و Uni-LoRA.

• فهم اللغة الطبيعية (GLUE): باستخدام RoBERTa-base و RoBERTa-large، حقق GPart أفضل متوسط أداء بين طرق PEFT على RoBERita-base (23 ألف معلمة)، متفوقاً على Uni-LoRA و LoRA و VeRA. وفي RoBERTa-large، تفوق على Uni-LoRA في المتوسط.
• الاستدلال الرياضي: تم التقييم باستخدام GSM8K و MATH باستخدام نماذج مختلفة تعمل بنظام Decoder-only (Qwen, Gemma, Llama). ظل GPart منافساً لـ Uni-LoRA تحت ميزانيات المعلمات المتطابقة، مع إظهار تحسينات طفيفة في المتوسط على GSM8K و MATH.
• الرؤية الحاسوبية: باستخدام ViT-Base و ViT-Large على ثمانية مجموعات بيانات (مثل OxfordPets، CIFAR-100)، حقق GPart أقوى متوسط أداء بين طرق PEFT، مقترباً من نتائج الضبط الدقيق الكامل ومتفوقاً على Uni-LoRA.
• تحليل مشهد الخسارة (Loss Landscape): أظهرت عمليات التصور لمشهد الخسية على SST-2 أن GPart ينتج حوضاً (basin) ناعماً ومركزاً جيداً يتوافق مع معلمته المتساوية القياس. في المقابل، أظهر Uni-LoRA مناطق حادة ذات خسارة عالية، وهو ما يُعزى إلى خطوة إعادة البناء ثنائية الخطية.
• الاستقصاء حول تساوي القياس (Ablation on Isometry): أظهرت التجارب التي قارنت بين نسخة GPart المتساوية القياس (مع تطبيع $1/\sqrt{n_j}$) مقابل نسخة غير متساوية القياس أن التطبيع أمر بالغ الأهمية. عانت النسخة غير المتساوية القياس من نقص شديد في التنظيم وانخفاض في الأداء، مما يؤكد أن خاصية تساوي القياس ليست مجرد ملاءمة هندسية بل ضرورية لاستقرار التحسين.

5. الأهمية والادعاءات

يزعم البحث أن GPart يوفر مساراً مباشراً وأنيقاً للـ PEFT من خلال إزالة القيود الهيكلية التي تشوه مشهد التحسين.

• الآثار النظرية: تدعم النتائج الفرضية القائلة بأن الضبط الدقيق الفعال يمكن أن ينبثق من فضاءات فرعية عشوائية منخفضة الأبعاد من فضاء الأوزان الكامل دون فرض هياكل مصفوفة منخفضة الرتبة. يعيد GPart ربط PEFT بنتائج الأبعاد الجوهرية (Aghajanyan et al., 2021) مع الاحتفاظ بكفاءة التخزين لطرق مثل VeRA و Uni-LoRA.
• الأثر العملي: من خلال تحقيق كفاءة وأداء في حالة السائدة (SOTA) مع معلمة فائقة واحدة وتكاليف تخزين دنيا ($d+1$ من القيم)، يتحدى GPart ضرورة عنق زجاجة الرتبة المنخفضة في الـ PEFT الحديث.
• القيود: يشير المؤلفون إلى أنه بينما تبدو النتائج واعدة عبر النماذج المشفرة (Encoders)، وفك التشفير (Decoders)، والرؤية، فإن التعميم على النماذج اللغوية الأكبر، والنماذج متعددة الوسائط، وإعدادات اتباع التعليمات أو السياق الطويل يتطلب مزيداً من الاستقصاء. يُقدم هذا العمل كمساهمة منهجية وليس كقدرة جديدة خاصة بتطبيق معين.