Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix
이 논문은 제로 초기화된 LoRA에서 이전에 간과되었던 파라미터 풀 혼란(parameter-pool confound)이 그래디언트 기여 마스크(gradient attribution mask)를 밀도 매칭된 랜덤 마스크보다 손실 기반 망각을 줄이는 데 있어 성능이 떨어지게 만든다는 점을 밝히며, 이는 후자가 B 행렬에만 국한된 그래디언트 기반 선택에 비해 A와 B 행렬 모두에서 선택할 수 있는 능력을 통해 안정성-가소성 이점을 제공하기 때문이다.