Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation
تقدم هذه الورقة MoLF، وهو إطار عمل موحد للضبط الدقيق يقوم بتوجيه تحديثات التدرج ديناميكياً بين الضبط الدقيق الكامل والتكيف منخفض الرتبة على مستوى المحسن للتغلب على القيود الهيكلية للنهجات الثابتة، محققاً أداءً متفوقاً أو مكافئاً عبر مهام وأحجام نماذج متنوعة مع توفير نسخة فعالة من حيث استهلاك الذاكرة.