Resumen Técnico: Firmas de Direcciones Muertas (DDS)

Planteamiento del Problema

La Teoría del Aprendizaje Singular (SLT) caracteriza la complejidad de las redes profundas sobreparametrizadas a través de la geometría local de sus singularidades de pérdida. El invariante principal en este marco es el Umbral de Logaritmo Real (RLCT, denotado como $\lambda$), que mide la complejidad efectiva de un modelo cerca de un mínimo singular. En la práctica, el Coeficiente de Aprendizaje Local (LLC) ha emergido como el estimador canónico para $\lambda$. Sin embargo, la estimación de LLC es computacionalmente prohibitiva, requiriendo de $10^4$ a $10^6$ pasadas de ida y vuelta (forward-backward) por cada checkpoint mediante el muestreo por Dinámica de Langevin de Gradiente Estocástico (SGLD) para integrar sobre el posterior local. Este costo hace que el LLC sea poco práctico para modelos a gran escala (por ejemplo, LLMs) o para el monitoreo de alta frecuencia durante el entrenamiento.

El artículo aborda la necesidad de una alternativa "barata" para leer la estructura singular sin la sobrecarga de la integración del posterior. Específicamente, busca un método para detectar y cuantificar "direcciones muertas" —direcciones de parámetros a lo largo de las cuales el paisaje de pérdida es plano (singular)— utilizando lecturas espectrales de forma cerrada de las activaciones y gradientes de la red.

Metodología: Firmas de Direcciones Muertas (DDS)

Los autores introducen las Firmas de Direcciones Muertas (DDS), una familia de observables espectrales de forma cerrada derivadas de un marco teórico (Shirodkar, 2026) que vincula la tasa de decaimiento de la información de Fisher a lo largo de las direcciones muertas con el RLCT.

Fundamento Teórico

El marco postula que, en un mínimo singular, la matriz de información de Fisher $F(\theta)$ pierde rango a lo largo de direcciones muertas específicas $u$. Si la divergencia de Kullback-Leibler (KL) decae como $K(\theta_0 + tu) \sim t^{2k}$ (donde $k$ es el orden de KL), la información de Fisher direccional decae como $\Theta(t^{2(k-1)})$. La regla de selección conecta este exponente de decaimiento con la contribución direccional del RLCT ($1/2k$).

El marco establece una correlación estructural entre el espectro de activación y el espectro de Fisher-Gram en cualquier mínimo singular. Para una red de $L$ capas con información de Fisher decomponible en KFAC $F_\ell \approx A_\ell \otimes G_\ell$:

1. Lado de Fisher: El menor autovalor positivo de la matriz de Fisher-Gram de gradiente por muestra, $\lambda^+_{\min}(G_\ell)$, decae como $\Theta(t^{2(L-\ell)})$.
2. Lado de Activación: El cuadrado del menor valor singular de la matriz de activación, $\sigma^2_{\min}(X_\ell)$, decae como $\Theta(t^{2\ell})$.
3. Correlación: Estas dos cantidades son comonotónicas, lo que implica una correlación de rango de Spearman que se aproxima a $+1$ en el límite asintótico.

Los Tres Observables DDS

DDS reemplaza la cadena del posterior de SGLD por tres lecturas baratas de forma cerrada en una capa elegida $\ell$:

1. Observable de Tasa ($\lambda^+_{\min}(G_\ell)$): El menor autovalor estrictamente positivo de la matriz de Fisher-Gram. Detecta la presencia de direcciones muertas y las localiza en capas específicas (por ejemplo, cuellos de botella).
2. Observable de Volumen ($\log \det^+(G_\ell)$): El log-volumen del espectro de Fisher activo (suma de los logaritmos de los autovalores positivos). Este observable es sensible al número de direcciones muertas (déficit de rango $r$).
3. Observable Dual ($\sigma_{\min}(X_\ell)$): El menor valor singular de la matriz de activación. Proporciona un proxy de activación para la tasa del lado de Fisher, computable mediante una sola pasada hacia adelante (forward pass) y SVD.

Contribuciones Clave

1. Detección y Conteo de Déficit de Rango:

   • Detección: $\lambda^+_{\min}(G_\ell)$ colapsa por órdenes de magnitud (por ejemplo, $\sim 246\times$) en el instante en que aparece una dirección muerta, permitiendo la detección desde una sola pasada hacia atrás (backward pass).
   • Conteo: El artículo introduce una identidad de volumen multiplicativa de rango. Mientras que los monitores de un solo autovalor son "ciegos al rango", la pendiente de $\log \det^+(G_\ell)$ escala linealmente con el déficit de rango $r$. Específicamente, la razón de la pendiente respecto a una línea base de rango-1 es igual a $r$ (por ejemplo, pendientes de 2.0, 3.1, 4.0 para $r=2, 3, 4$). Esto permite que DDS cuente las direcciones muertas, una capacidad que los monitores de un solo autovalor carecen.

2. Validación contra RLCT de Forma Cerrada:

   • En el ancla de regresión de rango reducido de Aoyagi (2005) (donde el $\lambda$ analítico es conocido), los observables DDS rastrean el ranking del $\lambda$ analítico con alta correlación ($|\rho| \in [0.95, 0.98]$).
   • Los autores demuestran que, mientras que el rastreo de rango trans-celular es una "puerta de control de sanidad" (incluso los proxies de capacidad ingenuos pasan esta prueba), la identidad de volumen multiplicativa de rango sirve como una prueba discriminante que los proxies ingenuos no pueden reproducir.

3. Extensión a Transformers No Lineales:

   • En un barrido de ancho de Transformer de adición modular de Nanda, los observables DDS separan los anchos del modelo ($d_{\text{model}}$) a través de 18 órdenes de magnitud con coherencia de signo ($|\rho| \in [0.62, 0.96]$).
   • En contraste, el LLC calibrado en el mismo protocolo de presupuesto es "plano en rango" (incapaz de distinguir anchos), e incluso un aumento de 9 veces en el presupuesto de SGLD no logra resolver los anchos.

4. Eficiencia de Costo:

   • Los observables DDS son órdenes de magnitud más baratos que el LLC. $\sigma_{\min}(X_\ell)$ requiere una pasada hacia adelante y un SVD ($O(Nh^2)$). $\lambda^+_{\min}(G_\ell)$ y $\log \det^+(G_\ell)$ requieren una pasada hacia atrás y la descomposición en autovalores ($O(h^3)$).
   • En modelos pequeños, DDS es $\sim 300\times$ más barato que el LLC calibrado; en anchos de LLM, la correlación estructural permite recuperar el ordenamiento del lado de Fisher mediante el barato $\sigma_{\min}$ del lado de la activación, evitando la costosa descomposición de autovalores de Fisher de $O(h^3)$.

Resultados

• Ancla de Forma Cerrada: En 14 celdas del ancla de Aoyagi 2005, el LLC calibrado recupera el $\lambda$ analítico con un 99% de media. Los observables DDS rastrean el ranking de $\lambda$ con $|\rho| \ge 0.95$.
• Identidad de Volumen: A través de 7 configuraciones de puente ruidoso, la razón de la pendiente de $\log \det^+(G)$ rastrea el déficit de rango $r$ con medias de 2.0, 3.1 y 4.0 para $r=2, 3, 4$ (predicho 2, 3, 4).
• Barrido de Ancho de Transformer: Los observables DDS muestran un descenso monotónico con el aumento de $d_{\text{model}}$ (abarcando 5–15 órdenes de magnitud), mientras que el LLC permanece plano.
• Correlación Estructural: La identidad estática $\lambda^+_{\min}(G_\ell) \propto \sigma^2_{\min}(X_\ell)$ se mantiene en diversos bancos de pruebas (puentes canónicos, Barak sparse parity, Nanda modular addition) con correlaciones $\rho \ge +0.75$, incluso en regímenes donde los ajustes de tasa de trayectoria fallan (por ejemplo, AdamW+CE).
• Dinámicas de Grokking: En Barak sparse parity, los observables DDS detectan el descenso geomético hacia el mínimo singular (cayendo $\sim 10$ órdenes de magnitud) durante la fase de "limpieza" (cleanup), mientras que el LLC se estanca.

Significado y Alcance

El artículo afirma que DDS proporciona la primera medida direccional y local de parámetros de la complejidad singular que es computacionalmente factible a escala.

• Complementariedad: DDS se presenta como complementario al LLC. Mientras que el LLC integra sobre el posterior para proporcionar resúmenes bayesianos (por ejemplo, WAIC, fluctuaciones singulares, mesetas de desarrollo), DDS ofrece una lectura "direccional y local de la capa" de la estructura singular en forma cerrada.
• Limitaciones: Los autores son modestos respecto al alcance. DDS se valida en modelos singulares paramétricos con RLCT de forma cerrada y un barrido de ancho de transformer no lineal. Las predicciones de tasa de trayectoria (por ejemplo, exponentes específicos de ley de potencia) requieren un "alineamiento canónico" (típicamente SGD sobre métricas G-invariantes) y pueden fallar bajo optimizadores de la clase Adam debido a la falta de equivariancia. Sin embargo, la correlación estructural estática se mantiene incluso bajo AdamW+CE.
• Trabajo Futuro: El artículo identifica como trabajo empírico abierto la extensión de estas lecturas a arquitecturas de transformer más amplias, cadenas de solo atención y otras tareas algorítmicas. También sugiere que las mismas lecturas de direcciones muertas podrían eventualmente extenderse al resto de la tríada de Watanabe (multiplicidad $m$, fluctuación $\nu$) y al WAIC sin necesidad de SGLD.

En resumen, DDS intercambia la lectura del posterior integrado del LLC por lecturas espectrales de forma cerrada y baratas, permitiendo la detección y el conteo de direcciones muertas a una fracción del costo computacional, haciendo que el análisis de la complejidad singular sea tratable para modelos más grandes y para el monitoreo de alta frecuencia.