Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

该论文提出了一种名为“批量归一化”(Batch Normalization)的方法,通过在每个训练小批量中对层输入进行归一化以解决内部协变量偏移问题,从而显著加速深度神经网络训练、允许使用更高学习率并减少初始化敏感性,最终在 ImageNet 分类任务上取得了超越人类水平的准确率。

Sergey Ioffe, Christian Szegedy2015-02-11🤖 cs.LG