🤖 machine learning
SpectralLoRA: Is Low-Frequency Structure Sufficient for LoRA Adaptation? A Spectral Analysis of Weight Updates
यह शोध पत्र स्पेक्ट्रल विश्लेषण के माध्यम से यह प्रदर्शित करता है कि LoRA वेट अपडेट्स निम्न-आवृत्ति (low-frequency) घटकों द्वारा संचालित होते हैं, जो यह प्रकट करता है कि केवल इन आवृत्तियों के एक छोटे अंश को बनाए रखने से प्रदर्शन में न्यूनतम हानि के साथ भंडारण में महत्वपूर्ण कमी आती है और यह सुझाव देता है कि उच्च-आवृत्ति घटक अक्सर अनुकूलन शोर (adaptation noise) के रूप में कार्य करते हैं।