Rank-Gated and Sparse Low-Rank Adaptation for Efficient Fine-Tuning of Vision--Language Models
Este artículo presenta Rank-Gated LoRA (RG-LoRA), un método que asigna pesos de importancia aprendibles a los componentes de rango de LoRA para permitir la poda post-entrenamiento en favor de la eficiencia de memoria, pero los experimentos iniciales en Qwen3-VL-8B muestran que sin una regularización de dispersión explícita, las compuertas no logran aprender una dispersión significativa, lo que resulta en ganancias insignificantes de latencia o VRAM a pesar de validar el mecanismo propuesto de entrenar-podar-evaluar.