Suspicious Alignment of SGD: A Fine-Grained Step Size Condition Analysis
Cet article fournit une analyse fine du phénomène d'« alignement suspect » dans la descente de gradient stochastique (SGD) dans le cadre d'une optimisation mal conditionnée, révélant comment des conditions spécifiques sur le pas d'apprentissage provoquent un alignement des mises à jour du gradient avec un sous-espace dominant qui, paradoxalement, ne réduit pas la perte, tandis que les mises à jour du sous-espace de masse restent efficaces.