Task-Restricted Symmetries in Recurrent Weight Space

Resumo Técnico: Simetrias Restritas à Tarefa no Espaço de Pesos Recorrentes

Enunciado do Problema
Redes neurais recorrentes (RNNs) exibem uma redundância funcional substancial em seus espaços de pesos. É possível alterar uma matriz recorrente significativamente sem alterar o fluxo de entrada-saída (rollout) em uma distribuição de tarefa específica, enquanto mudanças de magnitude semelhante em outras direções podem destruir o comportamento. Embora simetrias exatas de espaço de pesos (transformações que preservam a função exatamente) sejam bem estudadas, o artigo investiga invariâncias funcionais aproximadas: mudanças estruturadas que preservam o comportamento da tarefa apenas aproximadamente e apenas na distribuição da tarefa. Os autores argumentam que as coordenadas puras de pesos recorrentes dificultam a comparação de estruturas não normais entre diferentes execuções de treinamento, dificultando a identificação dessas simetrias aproximadas.

Metodologia
O estudo foca em RNNs de uma camada com ativação $\tanh$ definidas pelas equações:
$$h_t = \tanh(W_{xh}x_t + W_{hh}h_{t-1}), \quad \hat{y}_t = W_{hy}h_t$$
onde os vieses (biases) são definidos como zero. A contribuição metodológica central é o uso de Coordenadas de Schur Reais Ordenadas para analisar a matriz recorrente $W = W_{hh}$.

1. Decomposição de Schur: A matriz $W$ é decomposta como $W = QTQ^\top$, onde $Q$ é ortogonal e $T$ é quase-superior triangular real.
2. Separação de Blocos: $T$ é dividido em $B$ (blocos espectrais de bloco-diagonal) e $N$ (acoplamentos não normais estritamente bloco-superiores).
3. Particionamento Ordenado: Os blocos são ordenados por módulo de autovalor não crescente. Um limiar $\alpha$ (definido como 0,9) separa os blocos espectrais líderes ($R$) do complemento ($C$). Isso particiona a matriz de acoplamento não normal $N$ em:
   • $T_{RR}$: Acoplamentos dentro do setor líder.
   • $T_{C \to R}$: Acoplamentos do setor complemento para o setor líder.
   • $T_{CC}$: Acoplamentos dentro do setor complemento.
4. Ablação Estruturada: Os autores realizam intervenções de "codificador fixo/decodificador fixo". Eles zeram blocos específicos de $N$ (por exemplo, definindo $T_{CC} = 0$), reconstroem a matriz $\tilde{W}_{hh}(S) = Q \tilde{T}(S) Q^\top$ e avaliam o desempenho da rede sem reajustar os pesos de entrada ou de leitura (readout).
5. Métricas:
   • $\Delta FVU$: A mudança na Fração de Variância Não Explicada (erro de teste) para medir a degradação bruta de desempenho.
   • $S_{\Delta T}$: Sensibilidade normalizada, medindo o aumento do erro por unidade de massa de Schur removida (norma de Frobenius).

Principais Contribuições

• Base Diagnóstica: O artigo estabele o uso das coordenadas de Schur ordenadas como uma base ortogonal e reproduzível para comparar e perturbar a dinâmica recorrente, superando os problemas de má condição das coordenadas de autovalores diretas em matrizes não normais.
• Invariâncias Restritas à Tarefa: Demonstra que as invariâncias funcionais aproximadas não são simetrias universais do espaço de pesos, mas são "restritas à tarefa". O conjunto de acoplamentos removíveis depende fortemente da tarefa específica e da solução treinada específica.
• Ablação Mecanística: O arcabouço permite testes causais de quais acoplamentos não normais são necessários para computações específicas (ex: replicação autônoma vs. integração) versus quais são redundantes.

Resultados
O estudo avalia o método através de diversas tarefas:

1. Tarefa de Cópia de Comprimento Fixo (Fixed-Length Copy):

   • Em uma solução treinada "ortogonal densa" ($N_h=72$), remover o bloco $T_{CC}$ (acoplamentos dentro do setor complemento) resultou em uma precisão de replicação autônoma quase idêntica (1,00) em comparação ao modelo completo.
   • No entanto, remover $T_{C \to R}$ ou $T_{RR}$ causou quedas significativas de desempenho, movendo o modelo para classes funcionais de menor precisão.
   • Em uma solução "Transformada de Cayley", os blocos complemento eram negligenciáveis e as ablações tiveram pouco efeito.
   • Conclusão: $T_{CC}$ atua como um estabilizador aproximado na solução ortogonal densa, mas não é uma invariante universal.

2. Tarefas de Estilo Neurocientífico (Flip-flop, Geração de Senoide, Integração Dependente de Contexto):

   • Flip-flop: Zerar $T_{C \to R}$ causou o maior aumento de erro ($\sim 0,09$), enquanto $T_{RR}$ quase não teve efeito.
   • Geração de Senoide: Tanto a remoção de $T_{CC}$ quanto de $T_{C \to R}$ causaram grandes erros, com $T_{C \to R}$ apresentando a maior sensibilidade normalizada.
   • Integração Dependente de Contexto: A remoção de $T_{CC}$ dominou o aumento do erro, consistente com a necessidade de recorrência dentro do complemento para acumulação lenta.
   • Conclusão: O "perfil de ablação de preservação de perda" varia significativamente entre as tarefas. Nenhum acoplamento de Schur é uniformemente seguro para remover.

Significância e Alegações
O artigo alega que as ablações de coordenadas de Schur fornecem uma ferramenta diagnóstica prática para identificar quais perturbações estruturadas preservam uma solução recorrente treinada e quais interrompem sua computação.

• Não São Simetrias Universais: Os autores afirmam explicitamente que as invariâncias aproximadas identificadas não são "simetrias universais do espaço de pesos recorrentes". Em vez disso, são candidatas a invariâncias específicas da distribuição de rollout de uma determinada tarefa e solução.
• Necessidade Contextual: Os resultados refutam a ideia de que componentes não normais podem ser geralmente ignorados. Em vez disso, identificam quais acoplamentos específicos uma solução particular pode perder enquanto preserva seu mapa de entrada-saída, e quais carregam função específica da tarefa.
• Limitações: Os autores são modestos quanto ao escopo, observando que os experimentos são limitados a RNNs $\tanh$ de uma camada simples, tarefas de baixa dimensão e faixas de largura estreitas. Eles não alegam que esses achados se generalizam para LSTMs, GRUs ou modelos de sequência de grande escala. Eles também reconhecem que a preservação do desempenho pode, às vezes, ser devida ao fato de a ablação evitar o subespaço do estado oculto alinhado com o readout, em vez de o acoplamento removido não ter papel computacional.