Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation
تقدم الورقة البحثية إطار عمل LARS (الفضاء الفرعي للنشاط منخفض الذاكرة)، وهو تكيف مبتكر يحسن عملية الضبط الدقيق للنماذج اللغوية الكبيرة (LLM) على الأجهزة من خلال تقييد الفضاء الفرعي للنشاط بدلاً من مجرد معلمات النموذج، مما يفصل استهلاك الذاكرة عن طول التسلسل ويقلل بشكل كبير من بصمة الذاكرة مقارنة بطرق الضبط الدقيق الفعال (PEFT) التقليدية مثل LoRA.