Spectral Surgery: Training-Free Refinement of LoRA via Gradient-Guided Singular Value Reweighting
O artigo propõe a "Spectral Surgery", um método pós-treinamento livre de treinamento que aprimora adaptadores LoRA existentes ao decompor suas atualizações via SVD e reponderar seus valores singulares com base na sensibilidade dos gradientes, resultando em ganhos consistentes de desempenho em diversas tarefas sem necessidade de retreinamento.