Resumen Técnico: Repulsión de Características y Bloqueo Espectral

Enunciado del Problema

El "grokking"—el fenómeno en el que las redes neuronales transitan abruptamente de la memorización a la generalización mucho después de que la pérdida de entrenamiento se ha estabilizado—ha sido explicado a través de diversas perspectivas, incluyendo la interpretabilidad mecánica y la regularización implícita. Tian [2025] proporcionó un marco principista que descompone la dinámica del grokking en redes de dos capas en tres etapas, culminando en una etapa de "aprendizaje interactivo de características" (Etapa III). Dentro de esta etapa, el Teorema 6 de Tian postula un "teorema de repulsión": las características ocultas similares se repelen entre sí debido a la estructura fuera de la diagonal de la matriz $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$.

Sin embargo, el marco de Tian dejó dos preguntas empíricas sin responder:

1. Momento: ¿En qué punto específico del entrenamiento este mecanismo de repulsión se vuelve observable empíricamente?
2. Observabilidad: ¿Se manifiesta este mecanismo como una firma medible en línea en cantidades que los practicantes puedan calcular sin diagnósticos fuera de línea costosos?

Este artículo aborda estas preguntas probando el Teorema 6 y un observable espectral candidato en la configuración exacta de suma modular de Tian.

Metodología

El estudio replica la configuración de suma modular de Tian [2025] ($M=71$ clases, $K=2048$ unidades ocultas, fracción de entrenamiento $p \approx 0.40$) utilizando optimización Adam con decaimiento de peso $\eta$. Los autores emplean dos pruebas complementarias a través de múltiples semillas aleatorias:

1. Verificación Directa del Teorema 6:

   • Los autores calculan $B$ exactamente utilizando la identidad de Woodbury para reducir la complejidad computacional.
   • En puntos de control deterministas, identifican los 200 pares de características más similares basándose en la similitud del coseno.
   • Verifican la regla de signo: $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$, donde $P$ es una matriz de proyección que excluye las columnas $j$ y $\ell$.
   • Esta verificación se realiza a través de diferentes funciones de activación ($\sigma(x)=x^2$ y $\sigma(x)=\text{ReLU}$).

2. Detección de Firma Espectral:

   • Los autores monitorean la matriz Gram de actualizaciones de parámetros ($\Delta W$) en una ventana deslizante.
   • Rastrean la relación de brecha de autovalores $\sigma_2/\sigma_3$ (la relación entre el segundo y el tercer autovalor).
   • Un detector basado en la pendiente identifica el momento de "bloqueo" cuando esta relación entra en un aumento sostenido, hipotetizando que la repulsión consolida características redundantes en una estructura de rango bajo (específicamente rango-2).
   • Se realizan análisis de sensibilidad sobre el tamaño de la ventana ($W$) y el decaimiento de peso ($\eta$).

Resultados Clave

1. Verificación del Teorema 6 (General a la Activación)

La regla de signo del Teorema 6 se cumple empíricamente a través de diferentes funciones de activación, confirmando que el mecanismo es general a la activación.

• $\sigma(x) = x^2$: La coincidencia de signos empírica para los 200 pares más similares aumenta de 0.865 en la época 50 a una saturación ajustada de 0.985 para la época 300. La saturación ($\ge 0.95$) ocurre consistentemente en la época 175 a través de las semillas.
• $\sigma(x) = \text{ReLU}$: La regla de signo también se cumple, saturando incluso más rápido (1.000 para la época 500).
• Conclusión: El mecanismo de repulsión, gobernado por la estructura de $\tilde{F}^\top \tilde{F}$, opera independientemente de si la activación es una función de potencia o ReLU.

2. Bloqueo Espectral (Específico a la Activación)

Aunque el mecanismo es general, la firma espectral de las actualizaciones de parámetros es específica a la activación.

• $\sigma(x) = x^2$ (Memorización Focalizada): El detector basado en la pendiente se activa en 15/15 semillas de grokking en la época 174. Existe una separación masiva de magnitud ($229\times$) en la relación tardía $\sigma_2/\sigma_3$ entre semillas de grokking (mediana $\approx 300$) y semillas de control ($\eta=0$, mediana $\approx 1.31$). El espectro colapsa a rango-2, indicando que las características se consolidan en dos direcciones persistentes.
• $\sigma(x) = \text{ReLU}$ (Memorización Difusa): El detector no se activa en 0/15 semillas de grokking. La separación de magnitud colapsa a $1.4\times$, y el espectro permanece dominado por rango-1 ($\sigma_1 \gg \sigma_2 \approx \sigma_3$).
• Conclusión: La firma de bloqueo de rango-2 solo emerge en el régimen de "memorización focalizada" (activaciones de potencia) donde las características colapsan en picos agudos. En el régimen de "memorización difusa" (ReLU), las características permanecen distribuidas, lo que impide la formación de una firma espectral de rango-2 distinta.

3. Controles Metodológicos y Escalamiento

• Sensibilidad al Tamaño de la Ventana: El detector requiere un tamaño de ventana $W \in \{20, 30\}$. Ventanas más pequeñas ($W \le 10$) producen falsos positivos en condiciones de control.
• Escalamiento de $\eta$: Una ejecución extendida en $\eta = 10^{-5}$ confirma la predicción de escalamiento $1/\eta$ de Tian para el tiempo de grokking (grokking en la época 1527). Sin embargo, la magnitud del bloqueo ($\sigma_2/\sigma_3$) se reduce significativamente ($\approx 25$ vs $\approx 300$), lo que sugiere que la estructura de rango-2 está incompletamente desarrollada a esta escala de tiempo lenta.
• Detector de Métrica de Nivel ($\rho_{tian}$): Una métrica más simple basada en la estructura fuera de la diagonal de la Gram de activación predice el inicio del grokking con tiempo de adelanto positivo para $\sigma=x^2$, pero falla al generalizarse a ReLU o a configuraciones $(M, p)$ diferentes, marcando el inicio de la dinámica de características en lugar del grokking exitoso.

Significado y Afirmaciones

El artículo traza una distinción crítica entre estructura y mecanismo:

1. El Mecanismo (General): El Teorema 6 de Tian gobierna la estructura de signo fuera de la diagonal de $B$ a través de las propiedades de la Gram de características $\tilde{F}^\top \tilde{F}$. Este mecanismo es robusto e independiente de la función de activación específica $\sigma$.
2. La Firma (Específica): La firma espectral observable en las actualizaciones de parámetros depende de cómo la repulsión se traduce en actualizaciones de pesos, lo cual está mediado por la derivada $\sigma'$.
   • Las activaciones de potencia ($\sigma=x^2$) producen características focalizadas que se consolidan en dos direcciones, generando un bloqueo espectral de rango-2.
   • ReLU produce características difusas que permanecen dominadas por rango-1, careciendo de la firma de bloqueo espectral a pesar de la presencia del mecanismo de repulsión subyacente.

Los autores conectan esta disociación empírica con el Teorema 5 de Tian, que distingue formalmente entre los regímenes de memorización focalizada y difusa. El artículo concluye que, aunque el mecanismo de repulsión es universal en la Etapa III, el enfoque espectral para diagnósticos de grokking depende de la activación. Los practicantes no pueden asumir que una única métrica espectral (como $\sigma_2/\sigma_3$) detectará el grokking a través de todas las funciones de activación; la elección del diagnóstico debe alinearse con el régimen de memorización específico inducido por la función de activación.