Task-Restricted Symmetries in Recurrent Weight Space

Resumen Técnico: Simetrías Restringidas por Tarea en el Espacio de Pesos Recurrentes

Planteamiento del Problema
Las redes neuronales recurrentes (RNN) exhiben una redundancia funcional sustancial dentro de sus espacios de pesos. Es posible alterar significamente una matriz recurrente sin cambiar el despliegue (rollout) de entrada-salida en una distribución de tareas específica, mientras que cambios de magnitud similar en otras direcciones pueden destruir el comportamiento. Si bien las simetrías exactas del espacio de pesos (transformaciones que preservan la función exactamente) están bien estudiadas, el artículo investiga las invarianzas funcionales aproximadas: cambios estructurados que preservan el comportamiento de la tarea solo aproximadamente y solo en la distribución de la tarea. Los autores argumentan que las coordenadas recurrentes puras dificultan la comparación de estructuras no normales entre diferentes ejecuciones de entrenamiento, lo que obstaculiza la identificación de estas simetrías aproximadas.

Metodología
El estudio se centra en RNN de una sola capa con activación $\tanh$ definidas por las ecuaciones:
$$h_t = \tanh(W_{xh}x_t + W_{hh}h_{t-1}), \quad \hat{y}_t = W_{hy}h_t$$
donde los sesgos (biases) se establecen en cero. La contribución metodológica central es el uso de Coordenadas de Schur Ordenadas para analizar la matriz recurrente $W = W_{hh}$.

1. Descomposición de Schur: La matriz $W$ se descompone como $W = QTQ^\top$, donde $Q$ es ortogonal y $T$ es cuasi-superior real.
2. Separación de Bloques: $T$ se divide en $B$ (bloques espectrales de bloque diagonal) y $N$ (acoplamientos no normales estrictamente bloque-superiores).
3. Partición Ordenada: Los bloques se ordenan por el módulo no creciente de los autovalores. Un umbral $\alpha$ (establecido en 0.9) separa los bloques espectrales líderes ($R$) del complemento ($C$). Esto particiona la matriz de acoplamiento no normal $N$ en:
   • $T_{RR}$: Acoplamientos dentro del sector líder.
   • $T_{C \to R}$: Acoplamientos desde el sector del complemento hacia el sector líder.
   • $T_{CC}$: Acoplamientos dentro del sector del complemento.
4. Ablación Estructurada: Los autores realizan intervenciones de "codificador fijo/decodificador fijo". Anulan bloques específicos de $N$ (por ejemplo, estableciendo $T_{CC} = 0$), reconstruyen la matriz $\tilde{W}_{hh}(S) = Q \tilde{T}(S) Q^\top$, y evalúan el rendimiento de la red sin reajustar los pesos de entrada o de lectura (readout).
5. Métricas:
   • $\Delta FVU$: El cambio en la Fracción de Varianza No Explicada (error de prueba fuera de muestra) para medir la degradación bruta del rendimiento.
   • $S_{\Delta T}$: Sensibilidad normalizada, que mide el aumento del error por unidad de masa de Schur eliminada (norma de Frobenius).

Contribuciones Clave

• Base Diagnóstica: El artículo establece las coordenadas de Schur ordenadas como una base reproducible y ortogonal para comparar y perturbar la dinámica recurrente, superando los problemas de mal condicionamiento de las coordenadas de autovalores directas en matrices no normales.
• Invarianzas Restringidas por Tarea: Demuestra que las invarianzas funcionales aproximadas no son simetrías universales del espacio de pesos, sino que están "restringidas por la tarea". El conjunto de acoplamientos eliminables depende fuertemente de la tarea específica y de la solución entrenada específica.
• Ablación Mecanística: El marco permite realizar pruebas causales sobre qué acoplamientos no normales son necesarios para computaciones específicas (como el replay autónomo vs. la integración) frente a cuáles son redundantes.

Resultados
El estudio evalúa el método a través de varias tareas:

1. Tarea de Copia de Longitud Fija (Fixed-Length Copy Task):

   • En una solución entrenada "ortogonal densa" ($N_h=72$), eliminar el bloque $T_{CC}$ (acoplamientos dentro del sector del complemento) resultó en una precisión de replay autónomo casi idéntica (1.00) en comparación con el modelo completo.
   • Sin embargo, eliminar $T_{C \to R}$ o $T_{RR}$ causó caídas significativas en el rendimiento, moviendo el modelo a clases funcionales de menor precisión.
   • En una solución de "transformada de Cayley", los bloques del complemento eran insignificantes y las ablaciones tuvieron poco efecto.
   • Conclusión: $T_{CC}$ actúa como un estabilizador aproximado en la solución ortogonal densa, pero no es una invariante universal.

2. Tareas de Estilo Neurocientífico (Flip-flop, Generación de Seno, Integración Dependiente de Contexto):

   • Flip-flop: El cero de $T_{C \to R}$ causó el mayor aumento de error ($\sim 0.09$), mientras que $T_{RR}$ casi no tuvo efecto.
   • Generación de Seno: Tanto la eliminación de $T_{CC}$ como de $T_{C \to R}$ causaron errores grandes, mostrando $T_{C \to R}$ la mayor sensibilidad normalizada.
   • Integración Dependiente de Contexto: La eliminación de $T_{CC}$ dominó el aumento del error, consistente con la necesidad de recurrencia dentro del complemento para la acumulación lenta.
   • Conclusión: El "perfil de ablación que preserva la pérdida" varía significamente entre tareas. Ningún acoplamiento de Schur es uniformemente seguro de eliminar.

Significado y Reivindicaciones
El artículo afirma que las ablaciones de coordenadas de Schur proporcionan una herramienta diagnóstica práctica para identificar qué perturbaciones estructuradas preservan una solución recurrente entrenada y cuáles interrumpen su computación.

• No son Simetrías Universales: Los autores declaran explícitamente que las invarianzas aproximadas identificadas no son "simetrías universales del espacio de pesos recurrentes". En su lugar, son candidatas a invarianzas específicas de la distribución de despliegue de una tarea y solución dadas.
• Necesidad Contextual: Los resultados refutan la idea de que los componentes no normales pueden ignorarse generalmente. En su lugar, identifican qué acoplamientos específicos puede perder una solución particular mientras preserva su mapa de entrada-salida, y cuáles portan la función específica de la tarea.
• Limitaciones: Los autores son modestos sobre el alcance, señalando que los experimentos se limitan a RNN de una sola capa con $\tanh$ vanilla, tareas de baja dimensión y rangos de anchura estrechos. No pretenden que estos hallazgos se generalicen a LSTM, GRU o modelos de secuencia a gran escala. También reconocen que la preservación del rendimiento podría deberse a que la ablación evita el subespacio del estado oculto alineado con el readout, en lugar de que el acoplamiento eliminado carezca de un rol computacional.