Where Reasoning Breaks Under Compression: A Layer-Localized Quantization Autopsy with Three Foundation-Model Case Studies
Cet article démontre que les capacités de raisonnement des modèles de fondation présentent des schémas de fragilité spécifiques aux couches qui varient selon les architectures, révélant que si une quantification uniforme suffit à des largeurs de bits plus élevées, une stratégie de précision mixte guidée par des cartes de fragilité localisées par couche permet une compression significative en dessous de quatre bits sans sacrifier la performance.