MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models
El artículo presenta MASQuant, un nuevo marco de cuantización post-entrenamiento que aborda el desajuste de suavizado y la invariancia computacional entre modalidades mediante factores de suavizado específicos por modalidad y una compensación cruzada basada en SVD, logrando un rendimiento estable y competitivo en modelos de lenguaje grandes multimodales.