Analyzing the Training Dynamics of Image Restoration Transformers: A Revisit to Layer Normalization
Este trabajo identifica que la normalización de capa convencional perjudica el entrenamiento de los transformadores para la restauración de imágenes al causar divergencia de magnitudes y colapso de entropía, y propone una nueva normalización adaptativa (i-LN) que corrige estas desalineaciones para mejorar tanto la dinámica de entrenamiento como el rendimiento final.