Why Do Neural Networks Forget: A Study of Collapse in Continual Learning
Deze studie onderzoekt de sterke correlatie tussen catastrofisch vergeten en structurele ineenstorting in continu leren door het meten van de effectieve rang (eRank) van gewichten en activaties, en toont aan dat verschillende trainingsstrategieën modellen op uiteenlopende manieren helpen hun capaciteit en prestaties te behouden.