Task-Restricted Symmetries in Recurrent Weight Space
Questo articolo investiga la ridondanza funzionale nelle reti neurali ricorrenti con un singolo strato di tanh utilizzando coordinate di Schur reali ordinate per identificare simmetrie approssimate specifiche per il compito, dove possono essere eseguite ablazioni strutturate di accoppiamenti non normali senza interrompere il comportamento input-output, rivelando che tali invarianze variano tra i compiti e le soluzioni piuttosto che rappresentare simmetrie universali dello spazio dei pesi.