Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

Resumen Técnico: Medición de Direcciones Muertas fuera del Alineamiento Canónico

Planteamiento del Problema
La teoría del aprendizaje singular caracteriza las redes neuronales entrenadas mediante la triple de Watanabe: el coeficiente de aprendizaje ($\lambda$), la multiplicidad ($m$) y la fluctuación singular ($\nu$). Estos invariantes gobiernan la energía libre bayesiana y el error de generalización. Sin embargo, medir estos valores en redes reales es costoso y suele depender del muestreo estocástico de la posterior (p. ej., SGLD), lo que produce un único escalar global sin localizar la estructura en coordenadas específicas de la red. Además, los métodos deterministas previos para leer el "orden" ($k$) de las singularidades requerían dos precondiciones restrictivas: alineamiento canónico (la dirección muerta debe alinearse con los ejes de coordenadas en cada capa) y descenso (la lectura debe ocurrir a lo largo de una trayectoria de entrenamiento que se aproxime a la singularidad). Las redes reales entrenadas a menudo violan estas condiciones, dejando las direcciones muertas rotadas fuera de los ejes o formando estructuras difusas que los escaneos estándar por coordenada no logran detectar.

Metodología
El artículo propone un pipeline de medición libre de descenso y libre de alineamiento que opera en un único punto de control (checkpoint) congelado. El método consta de dos etapas: Detección y Lectura.

1. Detección (Adaptable a la Arquitectura):

   • El detector localiza la "dirección muerta" ($u$) identificando el casi-núcleo del objeto de segundo momento natural de la capa.
   • Para capas genéricas, utiliza el par de factores de K-FAC (aproximación de curvatura factorizada por Kronecker) ($A \otimes G$), explotando la dualidad A-G: si la covarianza de entrada ($A$) no logra aislar la dirección, la covarianza del gradiente de salida ($G$) tiene éxito, y viceversa.
   • Para capas convolucionales, utiliza una covarianza de parches espaciales; para LayerNorm, utiliza el núcleo de forma cerrada de la escala de normalización.
   • Crucialmente, el método construye el modo conjunto a partir de estos factores en lugar de buscar en el espectro de Fisher, evitando el "suelo de calibre" (direcciones de simetría planas) y el muestreo de espacios nulos que yacen por debajo del modo que porta el orden.

2. Lectura (Escaneo Libre de Descenso):

   • Una vez nominada una dirección $u$, el método realiza un escaneo sintético: $\theta(t) = \theta_0 + tu$, donde $\theta_0$ es el punto de control congelado.
   • Mide la Fisher direccional $F(\theta(t))$ a lo largo de este escaneo.
   • El orden $k$ se recupera a partir de la tasa de crecimiento de la Fisher: $u^\top F(\theta(t)) u = \Theta(t^{2(k-1)})$.
   • Un selector de ventana de pureza emparejada aisla el régimen asintótico ($t \to 0$) maximizando la calidad del ajuste ($r^2 > 0.95$), asegurando que el exponente recuperado no esté contaminado por componentes de menor orden o ruido de calibre (gauge noise).
   • El método clasifica las direcciones según su magnitud y pendiente: una pendiente finita indica una singularidad genuina (p. ej., muerte de nodos, singularidad de profundidad), mientras que una magnitud plana en el "suelo" indica una simetría de calibre (p. ej., núcleo de LayerNorm, rotación).

Contribuciones Clave

1. Recuperación de Orden Libre de Alineamiento: El método recupera el orden por dirección $k$ (y, por tanto, el coeficiente de aprendizaje local $\lambda_{dir} = 1/(2k)$) sin requerir que la dirección muerta se alinee con los ejes de coordenadas. Recupera con éxito muertes de nodos rotadas en redes profundas donde los escaneos estándar fallan.
2. Taxonomía de la Estructura Muerta: El artículo clasifica las direcciones muertas en singularidades genuinas (orden finito determinado por el orden analítico de la activación o la profundidad de la red) y calibres planos (orden infinito, que contribuyen a la multiplicidad pero no a la complejidad). Introduce un criterio basado en la magnitud para distinguir órbitas de calibre curvas (que imitan órdenes finitos en su pendiente) de las singularidades reales.
3. Descomposición Determinista: A diferencia de los muestreadores posteriores que devuelven un único $\lambda$ global, este método descompone la complejidad en órdenes por dirección y la dimensión del subespacio muerto (el recuento de direcciones bajo el orden dominante).
4. Geometría Dependiente del Optimizador: El estudio demuestra que, si bien el orden está fijado por la arquitectura (función de activación o profundidad), la base y la nitidez de la estructura muerta están determinadas por el optimizador. Los optimizadores ortogonales producen estructuras limpias y legibles, mientras que los optimizadores estándar pueden dejar estructuras demasiado difusas o rotadas para ser leídas por métodos canónicos.
5. Mapeo de la Triple de Watanabe:
   • Orden ($k$): Determina la fluctuación singular universal $\nu(k)$.
   • Multiplicidad ($m$): Recuperada de la dimensión del subespacio muerto bajo un supuesto de cruce normal.
   • Fluctuación ($\nu$): El artículo muestra que, aunque el orden fija el $\nu$ teórico, el $\nu$ realizado de una red entrenada se ve suprimido por debajo de este valor universal porque la estructura "viva" absorbe la fluctuación de los datos destinada a la dirección muerta.

Resultados

• Validación en Celdas Construidas: El método recupera los órdenes predichos exactamente ($k=2$ para muertes de nodos con GELU/ReLU, $k=3$ para squared-ReLU, $k=L$ para redes lineales de profundidad $L$) con $r^2 \approx 1.000$.
• Redes Reales:
  • ViT desde cero: Recupera con éxito el orden predicho por la activación ($k \approx 2$ o $3$) para muertes de nodos rotadas en bloques MLP, mientras que los escaneos por coordenada devuelven valores desviados.
  • DINOv2 Ajustado (Fine-Tuned): No identifica muertes de nodos, sino que clasifica la estructura muerta como calibres arquitectónicos (núcleo de LayerNorm, rotación QK de atención), confirmando la capacidad del método para distinguir entre singularidades aprendidas y simetrías.
  • Comparación de Optimizadores: El Muon vanilla suele dejar las estructuras muertas demasiado difusas para ser leídas, mientras que los ortogonalizadores de polos escalados producen estructuras limpias, alineadas con los ejes o rotadas, que el método lee con precisión.
• Coeficiente Global: En modelos analíticos donde la estructura singular es enumerable, los órdenes por dirección ensamblados coinciden con el $\lambda$ global de forma cerrada hasta la precisión de la máquina.

Significancia y Reivindicaciones
El artículo afirma convertir la recuperación del orden en una lectura determinista y general para la arquitectura que elimina las precondiciones de alineamiento canónico y descenso de trabajos previos. Proporciona una alternativa "barata" (un solo paso de forward/backward) al costoso muestreo posterior para descomponer el coeficiente de aprendizaje.

Los autores enfatizan la modestia respecto al alcance:

• La lectura es condicional a que un detector logre nominar la dirección; no encuentra estructura en direcciones aleatorias.
• Caracteriza la estructura dejada por el optimizador; si un optimizador deja una solución difusa (p. ej., Muon vanilla en Transformers profundos), no hay un orden limpio que recuperar.
• Aunque recupera el orden y el coeficiente local exactamente, la fluctuación singular realizada en redes entrenadas se ve suprimida por la absorción de la estructura viva, lo que significa que el $\nu(k)$ universal es un límite superior, no el valor realizado exacto.
• El método actualmente maneja estructuras "enumerables"; para variedades determinantes complejas (p. ej., redes lineales profundas de matrices anchas), el ensamblaje global puede seguir requiriendo muestreo posterior o resolución algebraica avanzada.

En resumen, el artículo establece un marco práctico para "leer" la geometría singular de redes entrenadas en un punto de control congelado, ofreciendo un mapa detallado por dirección de la complejidad que complementa los métodos de muestreo global.