Why Do Neural Networks Forget: A Study of Collapse in Continual Learning
Diese Studie untersucht die starke Korrelation zwischen katastrophalem Vergessen und strukturellem Kollaps in neuronalen Netzen durch die Analyse des effektiven Rangs (eRank) und zeigt, dass verschiedene continual-learning-Strategien die Kapazität und Leistung der Modelle unterschiedlich effektiv erhalten.