MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models
Dit paper introduceert MASQuant, een nieuw post-training kwantisatiekader voor multimodale grote taalmodellen dat modale specifieke gladmakingsfactoren en cross-modale compensatie via SVD-witmaking combineert om de uitdagingen van modale onbalans en computationele invariance effectief aan te pakken.