ملخص تقني: ليس كم العدد، بل أيها: وضع المعلمات في التكيف منخفض الرتبة (LoRA)

1. بيان المشكلة

تتناول الورقة البحثية مشكلة وضع المعلمات (Parameter Placement Problem) ضمن تقنية التكيف منخفض الرتبة (LoRA). وبينما أظهرت الأعمال الحديثة أن محولات LoRA يمكن أن تعمل بأعداد معلمات أقل بكثير (مثل القواعد العشوائية المشتركة أو التوصيف الطيفي)، فإن هذه الأساليب تفترض ضمناً أن الأداء يعتمد أساساً على كمية المعلمات القابلة للتدريب بدلاً من هويتها.

يصيغ المؤلفون السؤال التالي: بالنظر إلى ميزانية ثابتة قدرها $k$ من المدخلات القابلة للتدريب داخل مصفوفة $B$ الخاصة بمحول LoRA (حيث $A$ مجمدة ومُهيأة عشوائياً)، هل يؤثر الاختيار المحدد لـ أي من هذه الـ $k$ مدخلات التي سيتم تدريبها بشكل كبير على الأداء اللاحق؟ تعزل هذه الدراسة اختيار المعلمات عن عدد المعلمات عبر إبقاء $A$ مجمدة وقصر التدريب على مجموعة فرعية من $B$.

2. المنهجية

2.1 استراتيجية وضع المعلمات

يقترح المؤلفون إجراء اختيار قائم على التدرج (gradient-based selection procedure) لتحديد المعلمات الأكثر أهمية قبل بدء التدريب.

• التهيئة: يتم تهيئة $B$ إلى الصفر، ويتم سحب $A$ من توزيع عشوائي.
• مرحلة التسجيل (Scoring Phase): يقوم النموذج بإجراء $N$ من عمليات التمرير الأمامي والخلفي (forward-backward passes) على توزيع التدريب. بما أن $B=0$، فإن مخرجات النموذج تطابق النموذج المدرب مسبقاً، وتقيس تدرجات $\nabla_B L$ مباشرة مدى فائدة كل مدخل في $B$ لتقليل الخسارة.
• دوال التسجيل: تم تعريف مقياسين لكل عنصر $(i, j)$ في $B$:
  1. درجة مقدار التدرج ($\hat{S}$): تُقدر مقدار متوسط تدرج المجتمع ($|\mathbb{E}[g_{ij}]|$). هذا يختار العناصر ذات التدرجات المتسقة اتجاهياً عبر الأمثلة.
     $$\hat{S}_{ij} = \left| \frac{1}{N} \sum_{k=1}^N g_{k,ij} \right|$$
  2. درجة فيشر القطرية ($\hat{F}$): تُقدر قطر معلومات فيشر التجريبية ($\mathbb{E}[g_{ij}^2]$). هذا يختار العناصر التي تكون الخسارة أكثر حساسية للاضطرابات فيها، مما يلتقط كلاً من المتوسط والتباين.
     $$\hat{F}_{ij} = \frac{1}{N} \sum_{k=1}^N g_{k,ij}^2$$
• الاختيار: يتم اختيار أعلى $k$ من العناصر عالمياً عبر جميع الطبقات بناءً على هذه الدرجات لتشكيل "دائرة" (circuit).

2.2 التحليل النظري لبنية التدرج

تفترض الورقة أن فعالية وضع المعلمات تعتمد على بنية التدرج (gradient structure) لنظام التدريب:

• الضبط الدقيق الخاضع للإشراف (SFT): التدرجات ذات رتبة منخفضة، مستقرة اتجاهياً، ومتوافقة للغاية عبر الخطوات. وبناءً على ذلك، فإن أي مجموعة فرعية عشوائية من المعلمات ستراكم تحديثات متماسكة، مما يجعل وضع المعلمات أقل أهمية.
• التعلم التعزيزي (GRPO): التدرجات ذات رتبة عالية، قريبة من التعامد عبر الخطوات، وتظهر تبايناً عالياً. في هذا النظام، تميل التحديثات للمعلمات العشوائية إلى الإلغاء (سير عشوائي/random walk)، بينما المعلمات ذات الإشارات المتسقة والكبيرة فقط هي التي تراكم إزاحة ذات معنى.

2.3 الإعداد التجريبي

• النماذج: Qwen2.5 (1.5B, 3B, 7B)، Llama-3.2 (3B)، و Llama-3.1 (8B).
• المهام:
  • SFT: اتباع التعليمات (Alpaca, Bespoke-Stratos) والرؤية واللغة (MathVista).
  • RL: تحسين السياسة النسبي للمجموعات (GRPO) على مجموعات بيانات الاستداد الرياضي (GSM8K, MATH-500).
• المقارنات المرجعية (Baselines): الوضع العشوائي، LoRA الكامل، والوضع المدروس المقترح ($\hat{S}$ و $\hat{F}$).

3. النتائج الرئيسية

3.1 الاعتماد على النظام (Regime Dependence)

• تحت نظام SFT: يحقق الوضع العشوائي والوضع المدروس أداءً متقارباً. الفجوة ضئيلة (مثلاً: <1% في اختبارات اتباع التعليمات)، مما يؤكد أن تدرجات SFT موزعة بما يكفي لجعل المجموعات الفرعية التعسفية تلتقط إشارة مفيدة.
• تحت نظام GRPO (النماذج الأساسية): يفشل الوضع العشوائي تماماً، حيث يعمل عند مستوى النموذج الأساسي أو بالقرب منه (مثلاً: ~9.5% دقة على GSM8K لنماذج 1.5B مقابل ~64% لـ Full LoRA). في المقابل، يستعيد الوضع المدروس ($\hat{S}$ و $\hat{F}$) دقة LoRA القياسية، وغالباً ما يضاهيها أو يتفوق عليها باستخدام أقل من 0.1% من معلمات المحول.
• تحت نظام GRPO (النماذج الموجهة/Instruct): بينما يؤدي الوضع العشوائي أداءً أفضل مما هو عليه في النماذج الأساسية (بسبب وجود إشارات مكافأة مسبقة)، إلا أن الوضع المدروس لا يزال يوفر ميزة ثابتة، خاصة في التعميم خارج التوزيع (OOD).

3.2 الكفاءة والاستقرار

• التكلفة: يتطلب اكتشاف الدائرة (circuit discovery) $N=50$ فقط من عمليات التمرير الأمامي والخلفي، وهو ما يستغرق أقل من 10 ثوانٍ على وحدة معالجة رسوميات واحدة (أقل من 0.5% من تكلفة تدريب SFT الكامل).
• الاستقرار: الدوائر المختارة مستقرة للغاية عبر بذور العشوائية (random seeds) المختلفة ومجموعات البيانات الفرعية. تظهر أعلى 10 آلاف عنصر تداخلاً بنسبة >95% مع الدوائر المرجعية باستخدام عينات صغيرة.
• التعميم: الدوائر المكتشفة على مجموعة بيانات رياضية واحدة (مثل MATH) تنتقل بفعالية إلى مجموعات أخرى (مثل GSM8K, AMC, AIME)، وغالباً ما تتفوق على Full LoRA في حالات التعميم خارج التوزيع (OOD). يشير هذا إلى أن الطريقة تحدد شبكة فرعية مستقرة وعامة للمهام بدلاً من مجرد آثار مرتبطة بمجموعة بيانات محددة.

3.3 تشريح الدائرة (Circuit Anatomy)

يكشف تحليل المعلمات المختارة عن تركيز غير عشوائي:

• الوحدات (Modules): تتركز المعلمات المختارة بكثافة على إسقاطات كتابة مسار المتبقي (residual-stream writing projections) وهي ($V$, $O$, و $Down$).
  • $V$ (القيمة) و $K$ (المفتاح) يعملان كـ "قراء انتباه" (attention readers)، حيث يتوافقان مع المتجهات المفردة المهيمنة لوزن النموذج المدرب مسبقاً.
  • $O$ (المخرج) و $Down$ يعملان كـ "كتاب متبقي" (residual writers)، حيث ينتجان تحديثات منخفضة الرتبة ومركزة طيفياً.
• الطبقات: تتركز الدوائر في النماذج الأساسية في الطبقات المبكرة (0–4)، حيث تستوعب 70-98% من الميزانية.
• التحقق من الاستبعاد (Knockout Validation): يؤدي تصفير المعلمات الأعلى تصنيفاً في المحول المدرب إلى تدهور الأداء بشكل أسرع بكثير من الاستبعاد العشوائي، مما يؤكد سببياً أن هذه المعلمات المحددة هي التي تتوسط تأثير المحول.

4. المساهمات الرئيسية

1. صياغة وضع المعلمات: تصيغ الورقة فكرة فصل آثار عدد المعلمات عن هوية المعلمات، وتوضح أن وضع المعلمات حاسم في أنظمة التعلم التعزيزي (RL) ولكنه أقل أهمية في SFT.
2. إجراء اختيار خفيف الوزن: تقترح طريقة تسجيل قائمة على التدرج ($\hat{S}$ و $\hat{F}$) تحدد مجموعات فرعية فعالة في ثوانٍ بتكلفة ضئيلة جداً.
3. التحقق التجريبي: تظهر أن الوضع المدروس يستعيد أداء Full LoRA تحت نظام GRPO على النماذج الأساسية مع ندرة شديدة (مثلاً: 10 آلاف معلمة من أصل 20 مليون معلمة في المحول)، بينما يفشل الوضع العشوائي.
4. الرؤية الآلية: تقدم دليلاً على أن فشل الوضع العشوائي في RL يعود إلى ضجيج التدرج والتعامد، مما يمنع التراكم المتماسك في المجموعات الفرعية العشوائية، بينما يستهدف الوضع المدروس الإشارة المتسقة والمنتشرة.

5. الأهمية والادعاءات

تدعي الورقة أن افتراض "كم العدد" في التكيف عالي الكفاءة في المعلمات (PEFT) غير كافٍ؛ فـ "أي" المعلمات التي يتم تدريبها هو العامل المحدد في أنظمة التدريب عالية التباين مثل التعلم التعزيزي (RL).

• بالنسبة لـ SFT: تشير النتائج إلى أنه بينما يعد الوضع العشوائي خطاً مرجعياً معقولاً، فإن الوضع المدروس يقدم مكاسب هامشية وفوائد تنظيمية (regularization) محتملة في سيناريوهات الميزانية القصوى.
• بالنسبة لـ RL: يثبت العمل أن التكيف المتفرق الناجح في RL يتطلب اختياراً مدروساً للمعلمات. الوضع العشوائي غير قادر بنيوياً على التعلم في هذا النظام لأن إشارة التدرج ضوضائية وموزعة جداً بحيث لا تستطيع المجموعات الفرعية العشوائية مراكمة تحديثات متماسكة.
• الأثر العملي: تمكن الطريقة المقترحة من تدريب محولات فعالة باستخدام أقل من 0.05% من معلمات المحول، مما يقلل بشكل كبير من متطلبات الذاكرة والحوسبة لتدريب RL دون التضحية بالأداء.

يخلص المؤلفون إلى أن نهجهم يحدد "دائرة" من المعلمات التي تعد حيوية وظيفياً للتعلم، وتعمل كمنظم ضمني يحافظ على قدرات التعميم التي غالباً ما تُفقد في المحولات الكثيفة.