Resumen Técnico: Inflación del Rango de Fisher: Una Firma Espectral de la Memorización bajo Ruido de Etiquetas

Planteamiento del Problema

Las redes neuronales profundas entrenadas con ruido de etiquetas exhiben una trayectoria de aprendizaje distintiva: primero aprenden patrones estructurados compartidos entre ejemplos limpios y, posteriormente, memorizan etiquetas corruptas que contradicen la distribución subyacente de los datos. Mientras que la investigación existente ha caracterizado extensamente cuándo ocurre la memorización utilizando métricas como la pérdida de entrenamiento/prueba, la dinámica de predicción o la geometría de la representación, existe una brecha en la comprensión de cómo los ejemplos corruptos remodelan la estructura espectral de los gradientes de entrenamiento durante esta transición. Específicamente, la visión geométrica global de cómo evoluciona la covarianza del gradiente a medida que la red cambia del aprendizaje de estructuras a la memorización permanece poco explorada.

Metodología

Los autores proponen un análisis espectral de la matriz de dispersión del gradiente de Fisher centrada derivada de los gradientes de la última capa de los ejemplos de entrenamiento por ejemplo.

Definiciones Principales

• Dispersión del Gradiente de Fisher Centrada ($S$): Sea $g_i$ el gradiente vectorizado de la última capa afín para el ejemplo $i$. Los autores definen el gradiente centrado como $\bar{g}_i = g_i - \mu$, donde $\mu$ es el gradiente medio. La matriz de dispersión es $S = \sum \bar{g}_i \bar{g}_i^\top$.
• Rango Efectivo: El artículo utiliza el rango efectivo de entropía, definido como $er(S) = \exp(H(S))$, donde $H(S)$ es la entropía espectral de los autovalores normalizados de $S$. Esta métrica cuantifica el número de direcciones efectivas en las cuales se distribuye la varianza del gradiente.
• Atribución Leave-One-Out (LOO): Para identificar qué ejemplos impulsan los cambios de rango, los autores definen $\Delta_i = er(S) - er(S_{-i})$, donde $S_{-i}$ es la matriz de dispersión calculada tras eliminar el ejemplo $i$ y recentrar. Un $\Delta_i$ positivo indica que el ejemplo contribuye a la inflación del rango.

Marco Teórico

Los autores desarrollan una teoría espectral para explicar tres observaciones empíricas:

1. Inflación del Rango: La corrupción de etiquetas aumenta el rango efectivo de la covarianza del gradiente.
2. Enriquecimiento Corrupto: Los ejemplos corruptos contribuyen más a la inflación del rango que los ejemplos limpios.
3. Debilitamiento de la Señal: La señal de atribución disminuye una vez que la memorización se ha completado.

La teoría postula que las etiquetas corruptas inyectan masa de covarianza en direcciones de autovectores de baja energía o previamente no utilizadas de la dispersión del gradiente de Fisher. Esto aumenta la entropía espectral, por lo tanto, infla el rango efectivo. Los autores derivan una fórmula de atribución LOO de primer orden que muestra que los ejemplos con gradientes alineados con las "direcciones de aumento de rango" (donde el coeficiente de sensibilidad espectral $\beta_k > 0$) contribuyen más a la inflación. Además, demuestran que una vez que el espectro del gradiente normalizado se estabiliza (post-memorización), las señales de atribución individuales desaparecen.

Configuración Experimental

El fenómeno se evalúa a través de:

• Datasets: CIFAR-10, CIFAR-100 (con corrupción de etiquetas simétrica sintética) y CIFAR-10N (con errores de anotación humana que ocurren naturalmente).
• Arquitecturas: SmallCNN, ResNet18 y Vision Transformers (ViT).
• Protocolo: El entrenamiento se monitorea para identificar la "época de pico de rango" (donde el rango efectivo se maximiza). En este punto de control, se computan las contribuciones LOO para analizar el enriquecimiento a nivel de muestra.

Contribuciones Clave

1. Identificación de la Inflación del Rante de Fisher: El artículo identifica una expansión transitoria del rango efectivo del gradiente de Fisher que ocurre específicamente durante la fase de memorización del entrenamiento bajo ruido de etiquetas, seguida de un colapso una vez que las etiquetas corruptas son ajustadas.
2. Explicación del Mecanismo Espectral: Los autores proporcionan una derivación teórica que muestra cómo las etiquetas corruptas inflan el rango efectivo al dispersar la masa espectral hacia direcciones de autovectores débiles o nuevos, aumentando la entropía espectral.
3. Atribución a Nivel de Muestra: Se deriva un marco de atribución LOO de primer orden, estableciendo las condiciones bajo las cuales los ejemplos corruptos exhiben mayores contribuciones de rango que los ejemplos limpios. La teoría explica que esta señal se debilita post-memorización debido a la estabilización del espectro normalizado.
4. Validación Empírica: El fenómeno se valida a través de múltiples arquitectes y datasets, incluyendo errores humanos naturales, demostrando que la Inflación del Rango de Fisher es una firma espectral robusta de la memorización y no un artefacto de la generación de ruido sintético.

Resultados Experimentales

• Trayectoria de Inflación-Colapso: En todos los entornos, el rango efectivo de Fisher exhibe una trayectoria consistente: aumenta durante el entrenamiento temprano, alcanza un pico durante la transición a la memorización y colapsa a medida que el entrenamiento continúa.
• Enriquecimiento de Ejemplos Corruptos: En el punto de control de máximo rango, los ejemplos corruptos están desproporcionadamente representados entre las muestras con mayor contribución al rango.
  • Ruido Sintético: En los 100 principales contribuyentes al rango, la fracción de etiquetas ruidosas oscila entre el 69.2% (ViT en CIFAR-10) y el 96.2% (SmallCNN en CIFAR-10).
  • Ruido Humano: En CIFAR-10N (errores humanos naturales), los ejemplos corruptos constituyen el 94.4% de los 100 principales contribuyentes, a pesar de ser solo ~40% del dataset.
• Dependencia de la Severidad: La magnitud del rango efectivo de Fisher en el pico aumenta monótonamente con la severidad de la corrupción. Bajo entrenamiento limpio, el rango máximo es ~28.9, ascendiendo a 97.1 con una corrupción del 60%.
• Temporalidad: En varios entornos, el inicio de la Inflación del Rango de Fisher precede a la degradación observable en las pruebas, lo que sugiere que captura el inicio de la memorización antes de que la falla de generalización sea evidente.
• Diferencias de Arquitectura: Aunque el fenómeno es universal, la fuerza de la señal de atribución varía. Los modelos convolucionales (SmallCNN, ResNet) muestran una fuerte alineación entre la atribución espectral de primer orden y las contribuciones LOO exactas (correlación de Spearman > 0.96), mientras que los Vision Transformers muestran una señal más débil, sugiriendo que los efectos de orden superior pueden ser más prominentes en los transformers.

Significado y Reivindicaciones

El artículo afirma establecer la Inflación del Rango de Fisher como una firma espectral distintiva de la memorización bajo ruido de etiquetas. Su importancia radica en:

• Conexión de la Dinámica con la Geometría: Vincula la dinámica del espectro del gradiente de Fisher de la última capa con el proceso específico de ajuste de etiquetas corruptas, ofreciendo una perspectiva geométrica que complementa los análisis basados en la pérdida.
• Distinción entre Dificultad y Corrupción: A través de un experimento de "control de dificultad limpia", los autores demuestran que la Inflación del Rango de Fisher es impulsada por la memorización de la corrupción de etiquetas y no simplemente por ejemplos limpios "difíciles" o raros (los cuales muestran contribuciones de rango insignificantes).
• Robustez al Origen del Ruido: La persistencia del fenómeno bajo errores de anotación humana que ocurren naturalmente (CIFAR-10N) sugiere que el mecanismo captura un aspecto fundamental de cómo las redes profundas procesan la supervisión inconsistente, en lugar de ser un artefacto de modelos específicos de ruido sintético.
• Limitaciones: Los autores señalan modestamente que la Inflación del Rango de Fisher es una firma espectral de la memorización, no necesariamente una regla de parada online universal o un detector de etiquetas ruidosas genérico con un rendimiento de separación global perfecto (los valores de AUROC son modestos, por ejemplo, ~0.6–0.8). Los resultados teóricos son declaraciones espectrales locales en puntos de control fijos, y la aproximación de atribución de primer orden es menos precisa para modelos de mayor capacidad como ViT y CIFAR-100.