Why Do Neural Networks Forget: A Study of Collapse in Continual Learning
Este estudo investiga a forte correlação entre o esquecimento catastrófico e o colapso estrutural em aprendizado contínuo, demonstrando através da análise do rank efetivo (eRank) em diversas arquiteturas e estratégias que a perda de capacidade de expansão do espaço de características força a sobrescrita de representações existentes, afetando diretamente a retenção de tarefas anteriores.