Resumen Técnico: Detección de Sobreajuste en Redes Neuronales durante el Grokking de Largo Alcance utilizando Teoría de Matrices Aleatorias

Declaración del Problema

Entrenar redes neuronales profundas (NN) sin sobreajuste es un desafío, y detectar el sobreajuste es igualmente difícil, particularmente cuando no se tiene acceso a los datos de entrenamiento, datos de prueba, estados del optimizador o historiales de entrenamiento. Este es un problema crítico para los modelos base de pesos abiertos, donde los usuarios pueden poseer los pesos y las tarjetas del modelo, pero carecen del contexto para determinar si un punto de control está entrenado de manera robusta o se ha sobreajustado a correlaciones específicas de los datos.

El artículo se centra en el fenómeno del grokking, donde la precisión de entrenamiento de un modelo alcanza casi la perfección mientras que la precisión de prueba permanece cerca del azar durante un período prolongado antes de mejorar abruptamente. Mientras que investigaciones anteriores se han centrado en la transición de la memorización a la generalización, este trabajo investiga el régimen de largo alcance posterior al grokking. En esta fase, denominada "anti-grokking", un modelo que ha generalizado con éxito puede perder su rendimiento en datos no vistos y revertir al sobreajuste de sus datos de entrenamiento, a pesar de mantener una precisión de entrenamiento casi perfecta. Distinguir esta fase dañina de "anti-grokking" de la fase inicial "pre-grokking" (donde el modelo aún no ha encontrado una solución generalizadora) es difícil utilizando únicamente las curvas estándar de precisión de entrenamiento/prueba, ya que ambos regímenes exhiben alta precisión de entrenamiento y baja precisión de prueba.

Metodología

Los autores proponen un método diagnóstico novedoso basado en la Teoría de Matrices Aleatorias (RMT) que opera exclusivamente sobre las matrices de pesos del modelo sin requerir acceso a los datos.

Concepto Central: Trampas de Correlación

El método se basa en el principio de auto-promediado. En un modelo bien entrenado y generalizador, las matrices de pesos deberían exhibir propiedades estadísticas consistentes con matrices aleatorias cuando su estructura interna se aleatoriza.

1. Aleatorización: Para cada matriz de pesos de capa $W$, las entradas se mezclan elemento a elemento para crear una matriz aleatorizada $W_{rand}$.
2. Análisis Espectral: Se calcula la distribución espectral empírica (ESD) de la matriz de covarianza $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$.
3. Línea Base Marchenko-Pastur (MP): La ESD se ajusta a la distribución Marchenko-Pastur, que sirve como línea base teórica para una matriz aleatoria sin correlaciones y de auto-promediado.
4. Detección de Trampas: Los autores identifican Trampas de Correlación como valores propios atípicos ($\lambda_{trap}$) que se sitúan significativamente más allá del borde derecho de la distribución MP ajustada (teniendo en cuenta las fluctuaciones Tracy-Widom).
   • Definición: Una Trampa de Correlación es un valor propio $\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$.
   • Significado: Estos valores atípicos indican una violación del auto-promediado, sugiriendo la presencia de correlaciones estructuradas y no aleatorias dentro de la capa que persisten incluso después de la mezcla entrada por entrada.

Distinguir Trampas Dañinas vs. Benignas

Dado que la presencia de trampas indica falta de auto-promediado pero no prueba inherentemente un sobreajuste dañino, los autores introducen una prueba de ablación diagnóstica sin datos basada en la Divergencia Jensen-Shannon (JSD):

• Procedimiento: Una trampa específica (vector propio) se reemplaza con un vector aleatorio. Luego, el modelo se ejecuta en entradas de prueba (tokens aleatorios para transformadores, entradas gaussianas para MLP).
• Métrica: Se calcula la JSD entre los logits de salida del modelo original y el modelo abladado.
• Clasificación:
  • Trampa Dañina: Eliminar la trampa cambia significativamente la distribución de salida del modelo (alta JSD) y altera la precisión de prueba.
  • Trampa Benigna: Eliminar la trampa tiene un efecto negligible en las salidas y la precisión.

Contribuciones Clave

1. Definición de Trampas de Correlación: Los autores definen las Trampas de Correlación como valores propios atípicos en matrices de pesos de capa mezcladas que violan la línea base Marchenko-Pastur, sirviendo como una firma de estructura no auto-promediada.
2. Identificación del Anti-Grokking: El artículo caracteriza el "anti-grokking" como una fase distinta que sigue a la generalización exitosa, donde la precisión de prueba se degrada mientras la precisión de entrenamiento se mantiene alta. Esta fase es estructuralmente distinta del pre-grokking.
3. Trampas de Correlación como Diagnóstico: El estudio demuestra que las Trampas de Correlación están ausentes durante el pre-grokking y el grokking, pero emergen y aumentan en número y escala específicamente durante el inicio del anti-grokking.
4. Vínculo Mecanístico con el Sobreajuste: Los autores vinculan estas trampas a la localización (donde la varianza se concentra en un pequeño conjunto de coordenadas) y a la condensación espectral (donde un único modo dominante transporta una varianza macroscópica), ambos de los cuales impiden que el error de generalización se concentre.
5. Validación Empírica: El método se valida en tres arquitecturas y tareas distintas:
   • Un MLP de 3 capas en MNIST.
   • Un pequeño Transformador en una tarea de Adición Modular (MA).
   • Un Transformador estilo GPT2 en una tarea de composición sintética.
6. Aplicación a Modelos Base: El diagnóstico se aplicó a puntos de control de pesos abiertos de gpt-oss-20b y gpt-oss-120b de OpenAI, revelando la presencia de Trampas de Correlación, lo que sugiere un posible sobreajuste en modelos de escala fronteriza.

Resultados

• Separación de Fases: En las tres pruebas (MLP, MA, GPT2), el número de Trampas de Correlación permanece efectivamente cero durante el pre-grokking y el grokking. Un aumento agudo en la cantidad de trampas se correlaciona precisamente con el descenso de la precisión de prueba durante la fase de anti-grokking.
• Control de Decaimiento de Pesos: Los experimentos con decaimiento de pesos (WD=0.01) mostraron que, aunque el anti-grokking aún ocurre, el crecimiento de las Trampas de Correlación y la severidad de la degradación de la precisión de prueba se suprimen significativamente en comparación con la configuración sin decaimiento de pesos (WD=0).
• Robustez ante Perturbaciones: Los estudios de perturbación confirmaron que las cantidades de trampas no son meramente un proxy para la escala global (norma) de los pesos. Incluso cuando las normas globales de los pesos se alteraron, las trampas permanecieron ausentes en el pre-grokking/grokking y aparecieron solo en el anti-grokking.
• Perspectiva Mecanística (MLP): En el estudio de caso del MLP, se encontró que las direcciones de trampas localizadas evolucionan hacia estructuras "tipo prototipo" en el espacio de píxeles. Estas estructuras hicieron que el modelo dependiera de la magnitud global de la entrada (por ejemplo, $\|x\|^2$) en lugar de los patrones semánticos de dígitos, lo que llevó a un comportamiento frágil en entradas mezcladas o gaussianas mientras mantenía una precisión de entrenamiento perfecta.
• Ablación JSD: El diagnóstico JSD distinguió con éxito entre trampas que, al eliminarse, degradaron el rendimiento del modelo (dañinas) y aquellas que tuvieron poco efecto (benignas).

Significado y Afirmaciones

El artículo afirma que las Trampas de Correlación proporcionan un diagnóstico práctico, basado solo en pesos para detectar firmas de sobreajuste potencialmente dañino en modelos entrenados sin acceso a datos de entrenamiento o prueba.

• Distinción Estructural: El significado principal es la capacidad de distinguir estructuralmente entre un modelo que aún no ha aprendido (pre-grokking) y un modelo que ha aprendido y luego ha desaprendido/generalizado mal (anti-grokking). Ambos estados se ven idénticos mediante métricas de precisión, pero difieren fundamentalmente en sus espectros de pesos.
• Filtrado de Modelos Base: La detección de Trampas de Correlación en grandes LLM de pesos abiertos sugiere que los modelos de escala base pueden sobreajustar inadvertidamente sus datos de entrenamiento de maneras que son detectables mediante análisis espectral.
• Utilidad Regulatoria y Práctica: Los autores sugieren que este método podría servir como una herramienta imparcial para organismos reguladores o usuarios para evaluar la seguridad y robustez del modelo, particularmente cuando los datos propietarios no están disponibles.
• Limitaciones: Los autores notan modestamente que su evidencia proviene de configuraciones controladas de grokking de largo alcance. No afirman que todo el sobreajuste produzca Trampas de Correlación, ni afirman que la presencia de trampas en modelos fronterizos pruebe definitivamente un comportamiento dañino sin una evaluación adicional basada en tareas. La cantidad de trampas es una señal de advertencia, no una puntuación de calidad universal.