MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning

ملخص تقني: MATRYOSHKALORA

بيان المشكلة
مع توسع نماذج التعلم العميق لتصل إلى مليارات المعلمات، تظل التكلفة الحسابية لضبط المعلمات (fine-tuning) عائقاً كبيراً أمام النشر. وبينما أصبح تعديل الرتبة المنخفضة (LoRA) هو المعيار للضبط الدقيق الفعال للمعلمات (PEFT)، فإنه يفرض قيداً هيكلياً: يجب أن تكون الرتبة $r$ محددة مسبقاً. إن إيجاد التوازن الأمثل بين الكفاءة والأداء يتطلب حالياً عمليات بحث شبكية (grid searches) شاملة عبر جولات تدريب متعددة، كل منها برتبة ثابتة مختلفة.

تحاول الحلول الحالية التكيفية مع الرتبة، مثل DyLoRA، التخفيف من ذلك عن طريق أخذ عينات من الرتب أثناء التدريب من توزيع محدد مسبقاً. ومع ذلك، يرى المؤلفون أن هذه الأساليب غالباً ما تسفر عن نتائج دون المستوى الأمثل عند الرتب العالية. وتحديداً، يقيد DyLoRA عملية التعلم في رتبة واحدة $k$ يتم أخذ عينة منها عشوائياً لكل تمريرة أمامية (forward pass)، مما يعني أن الرتب $r > k$ لا تتلقى أي إشارات تدرج (gradient signals). هذا النقص في إشارات التدرج المتسقة عبر الهيكل الكامل للرتب يجعل هذه الأساليب غير فعالة من حيث البيانات، ويفشل في تعلم ما يسميه المؤلفون "الميزات ذات الرتبة المنخفضة الهرمية".

المنهجية
تقترح الورقة البحثية MATRYOSHKALORA، وهو إطار عمل عام للتدريب مستوحى من "تعلم تمثيل ماتريوشكا" (Matryoshka Representation Learning). الابتكار الجوهري هو إدراج مصفوفة قطرية $P$ مصممة بعناية وثابتة بين محولات LoRA الحالية $A$ و $B$.

• الآلية: بدلاً من استخدام شريحة واحدة فقط من المحولات (كما في DyLoRA) أو استخدام المحولات الكاملة (كما في LoRA القياسي)، يستخدم MATRYOSHKALORA جميع الشرائح الممكنة $A_r$ و $B_r$ (حيث $r \in \{1, 2, 4, ..., R\}$) ضمن تمريرة أمامية واحدة. يتم صياغة التمريرة الأمامية كالتالي:
  $$Y = x \left( W_0 + \sum_{r \in S} s_r A_r B_r \right)$$
  لتنفيذ ذلك بكفاءة دون تخزين أقنعة بولية (boolean masks) أو المرور عبر الرتب، اشتق المؤلفون صيغة مبسطة باستخدام مصفوفة قطرية $P$ (ممثلة كمتجه):
  $$Y = x (W_0 + (A * P)B)$$
  حيث يرمز $*$ إلى الضرب العنصري لصفوف المصفوفة $A$ في المتجه $P$. يتم حساب المتجه $P$ مسبقاً بناءً على مجموعة الرتب التدريبية $S$ وعوامل القياس $s_r$، مما يضمن احتواء التمثيلات منخفضة الأبعاد كبادئات (prefixes) داخل التمثيلات أعلى أبعاداً.

• تدفق التدرج: يضمن هذا التعديل أن جميع الرتب الفرعية تدمج معلومات التدرج المتاحة بكفاءة. وخلافاً لـ DyLoRA، حيث تتلقى الرتبة التي تم أخذ العينة منها فقط تحديثات، يقوم MATRYOSHKALORA بتحديث هيكل المحول بالكامل باستخدام التدرجات المحسوبة من مجموع مساهمات جميع الرتب.

• التعميم: تم تصميم إطار العمل ليكون عاماً. فمن خلال التلاعب بالمتجه $P$، يمكن للطريقة استعادة LoRA القياسي (حيث $P$ متجه ثابت) أو DyLoRA (حيث $P$ متجه متفرق يقابل رتبة تم أخذ عينة منها)، مما يوحد هذه الأساليب تحت معلمة مشتركة.

• مقياس التقييم: قدم المؤلفون مقياس المساحة تحت منحنى دقة الرتبة (AURAC)، وهو مقياس يقيم أداء المحول عبر مجموعة من الرتب. يستخدم AURAC قاعدة شبه المنحرف لتلخيص المقايضة بين الرتبة والأداء، مع إعطاء وزن أكبر للرتب الأكبر ليعكس التوقع بأن الرتب الأكبر يجب أن تحقق عموماً أداءً أقوى.

المساهمات الرئيسية

1. إطار العمل: إطار عمل عام مستوحى من ماتريوشكا لتدريب محولات LoRA حيث تظل البادئات منخفضة الرتب دقيقة وقابلة للاستخدام بشكل مستقل في وقت الاستدلال.
2. التبسيط: اشتقاق يوضح أن تعلم التمثيلات ذات الرتبة المنخفضة الهرمية يؤدي طبيعياً إلى وزن قطري بسيط بين محولات LoRA القياسية، مما يحافظ على قرب التنفيذ من LoRA القياسي.
3. MATRYOSHKALORA: حالة ملموسة من هذا الإطار تتعلم بادئات منخفضة الرتب متداخلة ودقيقة عبر المصفوفة القطرية $P$، مما يسمح بالتقييم أو النشر عند رتب مختلفة من سجل واحد (checkpoint) دون إعادة تدريب.
4. المقياس: اقتراح AURAC لتقييم المحولات ذات الرتبة المنخفضة الهرمية بشكل متسق.

النتائج التجريبية
قيم المؤلفون MATRYOSHKALORA على نماذج Llama-3.2-1B-Instruct و Llama-3.1-8B-Instruct باستخدام مجموعات بيانات GSM-8k و OpenPlatypus و ARC-C و HellaSwag.

• الأداء: تفوق MATRYOSHKALORA باستمرار على كل من LoRA و DyLoRA عبر كامل طيف الرتب.
  • في GSM-8k مع Llama-3.2-1B، حقق MATRYOSHKALORA دقة تصل إلى 39% عند الرتبة 16 و 38% عند الرتبة 32، متفوقاً على أفضل نماذج LoRA (35%) و DyLoRA (35.5%).
  • في GSM-8k مع Llama-3.1-8B (3-shot)، وصلت الطريقة إلى 78.6% دقة عند الرتبة 128، وهو تحسن بنسبة تزيد عن 4% مقارنة بالنماذج المرجعية والنموذج المدرب مسبقاً.
  • في HellaSwag، أظهر MATRYOSHKALORA مكاسب ثابتة مع زيادة الرتبة، حيث بلغت ذروتها 62.8% للرتبة 256، بزيادة قدرها >3% عن النماذج المرجعية.
• AURAC: حققت الطريقة درجات AURAC أعلى بكثير (على سبيل المثال، 38.4% مقابل ~35% للنماذج المرجعية في GSM-8k 1B)، مما يشير إلى مكاسب أكثر اتساقاً عبر جميع الرتب بدلاً من مجرد الوصول إلى ذروة الأداء عند رتبة معينة.
• الكفاءة: تضيف الطريقة حِملاً حسابياً ضئيلاً، حيث تتطلب فقط ضرب أعمدة المحول في المتجه $P$، مما ينتج عنه تكاليف ذاكرة ووقت تشغيل مطابقة لـ LoRA و DyLoRA.
• دراسة الاستبعاد للقياس (Scaling Ablation): كشفت التجارب على معاملات القياس ($s_k \in \{1, 1/k, 1/\sqrt{k}\}$) أن $s_k=1$ يسمح بالتعلم الفعال مع معدلات تعلم أصغر مقارنة بعوامل القياس الأخرى، التي تطلبت معدلات تعلم أكبر بكثير لتحقيق دقة مماثلة.

الأهمية والادعاءات
تزعم الورقة أن MATRYOSHKALORA تنجح في تعلم تمثيلات هرمية منخفضة الرتب أكثر دقة من أساليب الرتبة التكيفية السابقة. تكمن أهمية هذا العمل في ثلاث مزايا رئيسية:

1. تقليل التكلفة: يلغي الحاجة إلى جولات تدريب متعددة للبحث الشبكي عن رتب مختلفة.
2. النشر المرن: يتيح نشر رتب مستهدفة على أجهزة مختلفة بناءً على القدرة الحسابية، مما يوفر محولات عالية الأداء عند كل رتبة $r$.
3. التكيف الديناميكي: يدعم اختيار الرتبة الديناميكي تحت أحمال العنقود المتغيرة لخدمة الطلبات بنفس المعدل مع حد أدنى من انخفاض الدقة.

يخلص المؤلفون إلى أن طريقتهم تحقق مقايضات أفضل بين الدقة والأداء عبر الرتب وتوفر إطار عمل موحداً لـ LoRA و DyLoRA والمحولات بأسلوب ماتريوشكا. كما يقرون بالقيود، مشيرين إلى أن عملية التقييم تتطلب العديد من تقييمات النموذج لكل رتبة، مما يزيد من وقت التشغيل لتقييم الأداء، وأنهم لم يجربوا بعد حساسية الرتبة لكل طبقة (تعيين رتب مختلفة لطبقات مختلفة).