Rank-Gated and Sparse Low-Rank Adaptation for Efficient Fine-Tuning of Vision--Language Models
이 논문은 메모리 효율성을 위한 사후 학습 프루닝(post-training pruning)을 가능하게 하고자 LoRA 랭크 성분에 학습 가능한 중요도 가중치를 할당하는 방법인 Rank-Gated LoRA (RG-LoRA)를 소개하지만, Qwen3-VL-8B에 대한 초기 실험 결과 명시적인 희소성 정규화(sparsity regularization) 없이는 게이트가 유의미한 희소성을 학습하지 못하여 제안된 학습-프룬-평가(train-prune-evaluate) 메커니즘을 검증했음에도 불구하고 지연 시간이나 VRAM 이득이 미미한 것으로 나타났다.