Why Do Neural Networks Forget: A Study of Collapse in Continual Learning
Questo studio indaga la correlazione tra l'oblio catastrofico e il collasso strutturale nelle reti neurali, dimostrando attraverso diverse architetture e strategie di apprendimento continuo che la perdita di plasticità, misurata tramite il rango effettivo (eRank), è strettamente legata alla difficoltà di apprendere nuovi compiti senza dimenticare quelli precedenti.