Memory load amplifies quantization noise in transformers
Este artículo demuestra que a medida que los transformadores se acercan a su capacidad de memoria, la degradación causada por la cuantificación de pesos se amplifica porque la reducción de los márgenes para los hechos almacenados coincide con un aumento del ruido de cuantificación impulsado principalmente por las ganancias de las capas descendentes de la red.