Learnability Window in Gated Recurrent Neural Networks
Este trabajo establece una teoría estadística que cuantifica el horizonte temporal máximo de aprendizaje en redes neuronales recurrentes, demostrando que la geometría de decaimiento del envolvente de la tasa de aprendizaje efectiva y la naturaleza de la ruido de gradiente determinan si el horizonte de aprendibilidad crece logarítmica, polinomial o exponencialmente con el tamaño de la muestra.