GAST: Gradient-aligned Sparse Tuning of Large Language Models with Data-layer Selection
이 논문은 기존 PEFT 방법들이 간과한 데이터와 레이어 간의 상호작용을 고려하여, 각 레이어별로 가장 영향력 있는 데이터 포인트를 적응적으로 선택하는 통합 최적화 전략인 GAST(Gradient-aligned Sparse Tuning) 를 제안하고 이를 통해 기존 베이스라인보다 우수한 성능을 입증했습니다.