Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation

ملخص تقني: كفاءة المعلمات لا تعني كفاءة الذاكرة

1. المشكلة: "جدار التنشيط" (The Activation Wall)

تتحدى هذه الورقة البحثية افتراضاً جوهرياً في مجتمع أبحاث النماذج اللغوية الكبيرة (LLMs): وهو أن الضبط الدقيق الفعال للمعلمات (PEFT) — الذي يركز على تقليل عدد الأوزان القابلة للتدريب — هو مرادف لـ كفاءة الذاكرة.

حدد المؤلفون انفصالاً حرجاً؛ فبينما تقلل طرق مثل LoRA وIA3 بشكل كبير من عدد المعلمات القابلة للتدريب ($\theta_{trainable}$)، إلا أنها لا تعالج العائق الأساسي للتكيف على الأجهزة (on-device adaptation): وهو ذاكرة التنشيط الوسيطة ($M_{acts}$). في تقنيات PEFT القياسية، تظل البنية الحسابية مرتبطة بمستوى الرمز (token-level)، مما يعني أن التنشيطات تتوسع خطياً مع طول التسلسل ($S$)، وحجم الدفعة ($B$)، والبعد الخفي ($H$)، وفق معادلة $O(BSHL)$. وبناءً على ذلك، حتى النماذج ذات المعلمات الضئيلة جداً يمكن أن تتسبب في أخطاء "نفاد الذاكرة" (OOM) على الأجهزة الطرفية عند معالجة سياقات طويلة.

2. المنهجية: LARS (فضاء الرتبة الفرعية المنخفضة لتنشيط الذاكرة المنخفضة)

لفصل استهلاك الذاكرة عن طول التسلسل، يقترح المؤلفون LARS، وهو إطار عمل للتكيف ينقل التركيز من ندرة الأوزان إلى هندسة التنشيط. بدلاً من تطبيق قيود الرتبة المنخفضة على الأوزان (كما في LoRA)، يطبق LARS هذه القيود على الفضاء الفرعي للتنشيط.

تتكون سلسلة عمليات LARS من ثلاث مراحل أساسية:

• استخراج الميزات المجمعة (Pooled Feature Extraction): لكسر التبعية الخطية لـ $S$، يقوم LARS بضغط بُعد التسلسل $X \in \mathbb{R}^{B \times S \times H}$ إلى متجه سياق عالمي مكثف $x_{pool} \in \mathbb{R}^{B \times H}$. يقترح المؤلفون استراتيجيتين: التجميع الثابت المدفوع بالخوارزميات (التجميع المتوسط + الرمز النهائي) لتحقيق أقصى قدر من الكفاءة، والتجميع المتعلم الواعي بالسياق (انتباه خفيف الوزن) لدقة أعلى.
• تعديلات الفضاء الفرعي منخفض الرتبة: يتم إسقاط المتجه المجمع في فضاء فرعي منخفض الرتبة ($R \ll H$). ولمنع فقدان المعلومات الناتج عن انهيار التسلسل، يستخدم LARS ما يلي:
  • بوابة فضاء الميزات (Feature-Space Gating): بوابة مشروطة بالنموذج تستخدم مقاييس درجة حرارة قابلة للتعلم لتضخيم أو كبح إحداثيات الفضاء الفرعي.
  • خلط الرتب البينية (Inter-Rank Mixing): تحويل قابل للتعلم ($M_{mix}$) يسمح لأبعاد الفضاء الفرعي المختلفة بالتواصل، مما يحاكي التبعيات من الرتب العليا.
  • التحويل غير الخطي: عنق زجاجة غير خطي خفيف الوزن (مثل GeLU) داخل مظهر (manifold) الـ $R$ لالتقاط التحديثات المتبقية المعقدة.
• تكامل المتبقي (Residual Integration): يتم إسقاط التحديثات المتعلمة مرة أخرى إلى المظهر الأصلي ودمجها عبر اتصال متبقٍ بوابي (gated residual connection)، مما يضمن الاستقرار العددي ويمنع النسيان الكارثي.

3. المساهمات الرئيسية

• التحول المفاهيمي: إعادة تعريف كفاءة التكيف على الأجهزة كدالة لـ ذروة الذاكرة بدلاً من عدد المعلمات.
• الابتكار الهيكلي: تقديم طريقة تقلل تعقيد التنشيط من $O(BSRL)$ إلى $O(BRL)$، مما يؤدي فعلياً إلى "تسطيح" معدل نمو الذاكرة بالنسبة لطول التسلسل.
• تعدد استخدامات الأجهزة: إثبات مسار قابل للتوسع لتخصيص النماذج اللغوية الكبيرة على أجهزة متنوعة، من وحدات معالجة الرسومات عالية الأداء إلى المعالجات المركزية للمستهلكين وجهاز Raspberry Pi.

4. النتائج والأدلة التجريبية

قيم المؤلفون LARS مقابل LoRA وAdaLoRA وIA3 وطرق ضبط المطالبات (prompt-tuning) عبر مهام الاستنتاج، والفهم، والسياق الطويل.

• كفاءة الذاكرة: قلل LARS ذروة ذاكرة التدريب بمتوسط 33.54% على وحدات معالجة الرسومات (GPUs) و51.95% على المعالجات المركزية (CPUs) مقارنة بـ LoRA. والأهم من ذلك، يحدد LARS حدود "باريتو" (Pareto frontier) متفوقة، مما يسمح بضبط دقيق لتسلسلات أطول ضمن نفس قيود الأجهزة.
• الدقة: رغم الخفض الشديد في الذاكرة، حافظ LARS على دقة تنافسية مع أحدث طرق PEFT. وقد نجح متغير يسمى LARS-LP (باستخدام التجميع المتعلم) في سد فجوة الأداء في مهام الاستنتاج المعقدة.
• أداء السياق الطويل: في اختبارات استرجاع "الإبرة في كومة القش" (Needle-In-A-Haystack)، حافظ LARS على التكافؤ مع LoRA حتى 16 ألف رمز، مما يثبت أن تجميع التسلسل لا يسبب فقداً كارثياً للمعلومات.
• النشر على الأجهزة الطرفية: على جهاز Raspiberry Pi 5 (8GB)، حقق LARS بصمة ذاكرة تبلغ حوالي 3.01 جيجابايت، مما يثبت قابليته للتطبيق في البيئات شديدة محدودية الموارد.
• الإنتاجية (Throughput): بينما يمتلك LARS إنتاجية تدريب أقل قليلاً من LoRA عند التسلسلات القصيرة (بسبب عبء عملية التجميع)، إلا أنه مُحسّن للغاية لـ زمن انتقال الاستدلال (inference latency)، متفوقاً على معظم النماذج المرجعية.

5. الأهمية

تكمن أهمية هذا العمل في تقديمه حلاً عملياً لـ "سقف طول التسلسل" الذي يمنع التكيف المتطور للنماذج اللغوية الكبيرة على الهواتف المحمولة والأجهزة الطرفية. من خلال استهداف عنق زجاجة التنشيط بدلاً من عنق زجاجة المعلمات، يتيح LARS تدريباً محلياً، يحافظ على الخصوصية، ومخصصاً للنماذج اللغوية الكبيرة على أجهزة كانت تُعتبر سابقاً غير قادرة على القيام بمهام كهذه. إنه ينقل المجال نحو فهم أكثر واقعية للقيود العتادية في عصر النماذج ذات السياق الطويل.