🤖 machine learning

How the Hessian-Spectrum of Neural Networks Depends on Data

Este artículo deriva los autovalores de la matriz Hessiana para redes lineales con arquitecturas y conjuntos de datos arbitrarios, revelando que la agudeza de la solución en tareas de clasificación está determinada directamente por la proporción máxima de muestras en cualquier clase individual, al tiempo que demuestra que estos conocimientos teóricos siguen siendo robustos incluso al relajar supuestos simplificadores e introducir no linealidades.

Autores originales: Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

Publicado 2026-07-16

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jasraj Singh, Enea Monzio Compagnoni, Antonio Orvieto

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer gatos, perros y pájaros. No te limitas a darle una foto y decirle "aprende"; le entregas un paisaje masivo e invisible de colinas y valles. Cada vez que el robot se equivoca, se desliza por una pendiente hacia una mejor respuesta. Este paisaje se llama "paisaje de pérdida" (loss landscape), y el viaje del robot a través de él es la "optimización". Pero aquí está la parte difícil: el paisaje no es solo accidentado; es una cordillera salvaje y retorcida con acantilados, llanuras planas y picos afilados. Para entender cómo se mueve el robot, los científicos observan una herramienta matemática llamada matriz Hessiana. Piensa en la Hessiana como un mapa topográfico que te dice exactamente qué tan empinado es el terreno en cualquier punto. Si el suelo es muy empinado (afilado), el robot podría rebotar salvajemente; si es plano, el robot podría quedarse atascado o moverse demasiado lento. Comprender esta "inclinación" ayuda a los científicos a construir mejores robots que aprendan más rápido y cometan menos errores.

Un equipo de investigadores de la Universidad de Basilea y del Instituto ELLIS de Tubinga decidió profundizar en las matemáticas detrás de este mapa. Querían saber: ¿Cómo cambia la forma de los datos la inclinación del paisaje? Construyeron un modelo matemático de una "red neuronal" (un tipo de IA) y preguntaron: "Si alimentamos esta red con diferentes tipos de datos —algunos con muchas muestras, otros con características extrañas, otros con etiquetas desequilibradas— ¿cómo cambia la Hessiana?". No se limitaron a adivinar; derivaron fórmulas exactas para los "autovalores" (los números que indican la inclinación) de este mapa. ¿Su gran descubrimiento? La inclinación de la solución no depende solo de lo compleja que sea la red; está directamente ligada a la distribución de los datos. Específicamente, si una clase de datos (como "gatos") es mucho más común que otras, la solución se vuelve más "afilada". Encontraron que, aunque su matemática se basó en algunas suposiciones idealizadas (como nubes de datos perfectamente redondas), las reglas que descubrieron se mantuvieron sorprendentemente bien incluso cuando rompieron esas reglas y añadieron el desorden del mundo real, como las activaciones no lineales.

La forma del paisaje de aprendizaje

Para entender lo que estos investigadores encontraron, primero conozcamos a los protagonistas. Estudiaron una "red neuronal lineal", una versión simplificada de los cerebros de IA que usamos hoy. Imagina una línea de ensamblaje de una fábrica donde una materia prima (los datos de entrada) pasa por varias estaciones (capas) para convertirse en un producto terminado (la predicción). Los "pesos" son los ajustes de las máquinas en cada estación. El objetivo es ajustar estos ajustes para que el producto coincida perfectamente con el objetivo. Los investigadores utilizaron un "Error Cuadrático Medio" (MSE), que es solo una forma elegante de decir que midieron la distancia entre la suposición del robot y la respuesta real, la elevaron al cuadrado e intentaron que ese número fuera lo más pequeño posible.

Para ver cómo se mueve el robot, observaron la Hessiana, una gigantesca cuadrícula de números que describe la curvatura del paisaje de error. En lugar de calcular la Hessiana exacta y desordenada (que es computacionalmente pesosa), utilizaron un atajo ingenioso llamado aproximación de Gauss-Newton Generalizada (GGN). Piensa en esto como usar una foto satelital para estimar el terreno en lugar de recorrer cada centímetro de él a pie. A medida que el robot aprende y el error disminuye, esta foto satelital se vuelve increíblemente precisa.

Las reglas del juego

Los investigadores comenzaron configurando un mundo ideal y limpio para resolver las matemáticas. Supusieron que los datos eran "isotrópicos", lo que significa que las características estaban distribuidas de manera perfectamente uniforme en todas las direcciones, como una nube de puntos perfectamente redonda. También supuseron que las capas de la red eran "fuertemente equilibradas", lo que significa que los ajustes en una capa estaban perfectamente alineados con los de la siguiente, como una compañía de danza sincronizada.

Bajo estas condiciones perfectas, descubrieron un patrón hermoso. Para una red simple de dos capas, la inclinación del paisaje (los autovalores) está determinada por la suma de los cuadrados de las "fortalezas" (valores singulares) de los pesos en cada capa. Es como decir que la inclinación total de una montaña es la suma de la inclinación de sus dos pendientes principales. Descubrieron que el punto más afilado del paisaje es simplemente la suma de los cuadrados de los tamaños de los pesos en la primera y la segunda capa. Esto contradijo una idea anterior que sugería que la agudeza era simplemente la mayor de las dos, demostrando que ambas capas contribuyen a la inclinación total.

Cuando extendieron esto a redes más profundas (más de dos capas), encontraron que si las capas permanecen "equilibradas" (la compañía de danza se mantiene en sincronía), la inclinación sigue una fórmula específica que involucra el número de capas y la fuerza de los pesos. Un hallazgo clave aquí es que ¡la mayor parte del paisaje es en realidad plana! De miles de direcciones posibles en las que el robot podría moverse, solo una pequeña fracción es realmente empinada; el resto es cercana a cero. Esto explica por qué los modelos de IA a menudo parecen tener un "volumen" de direcciones planas, un fenómeno observado en experimentos del mundo real.

Cómo los datos dan forma al terreno

La parte más emocionante del artículo es cómo los datos mismos dictan la forma de este paisaje. Los investigadores preguntaron: "¿Qué sucede si cambiamos el conjunto de datos?".

Tamaño del conjunto de datos: Sorprendentemente, si mantienes consistentes los puntos de datos, la agudeza de la solución no depende del número de muestras. Ya sea que tengas 100 fotos o 10,000, la inclinación de la solución final permanece igual. Esto desafía algunas creencias previas de que más datos siempre conducen a un paisaje más agudo (o más plano) de una manera específica.
Profundidad: El número de capas importa. Si los datos de entrada son "más pequeños" que las etiquetas de salida, hacer la red más profunda hace que la solución sea más afilada. Es como añadir escalones a una escalera; si los escalones son desiguales, toda la estructura se vuelve más precaria.
Magnitud de las características: Si las características de tus datos son grandes y están muy dispersas (alta varianza), la solución se vuelve más afilada. Imagina intentar mantener el equilibrio en una cuerda floja que está muy tensa; es más sensible al movimiento que una cuerda floja.
Distribución de etiquetas (El gran descubrimiento): Este es el "arma de fuego" del artículo. Para tareas de clasificación (como clasificar gatos, perros y pájaros), la agudeza de la solución está directamente relacionada con qué tan desequilibradas están las clases. Si una clase tiene un número desproporcionadamente grande de muestras (por ejemplo, 90% gatos, 10% perros), la solución se vuelve más afilada.
- Espera, ¿no es un conjunto de datos con una clase dominante más fácil de aprender? Intuitivamente, sí. Es más fácil adivinar "gato" si casi todo es un gato. Sin embargo, las matemáticas muestran que esta solución "fácil" se asienta sobre un pico más afilado.
- Esto contradice una idea anterior que sugería que los conjuntos de datos más simples conducen a soluciones más "planas" (más robustas). Los autores sugieren que, aunque el aprendizaje pueda ser más fácil, el paisaje matemático es en realidad más precario (más afilado) cuando los datos están desequilibrados.

Probando la teoría en el mundo real

Los investigadores sabían que su matemática dependía de suposiciones "perfectas" (nubes de datos redondas, capas equilibradas). Así que hicieron algo valiente: rompieron las reglas una por una para ver si su teoría sobrevivía.

Rompiendo la regla de "Datos Redondos": Utilizaron datos reales y desordenados (como imágenes de dígitos MNIST u objetos CIFAR) que no eran perfectamente redondos. Aunque la matemática exacta no se cumplió perfectamente, la tendencia se mantuvo. La agudeza seguía correlacionada con el desequilibrio de las etiquetas.
Rompiendo la regla de "Capas Equilibradas": Inicializaron la red de forma aleatoria (la forma estándar en que se construye la IA) en lugar de forzarla a estar equilibrada. Nuevamente, la teoría se mantuvo. A medida que la red se entrenaba, se volvía naturalmente más equilibrada, y la agudeza seguía sus predicciones.
Añadiendo No Linealidad: Añadieron funciones de activación "Tanh" (un giro no lineal común en la IA) para que la red se pareciera más a un cerebro real. Los resultados fueron ligeramente diferentes de la matemática perfecta, pero el comportamiento cualitativo fue el mismo. El desequilibrio de las etiquetas seguía impulsando la agudeza.

La conclusión

En términos simples, este artículo nos dice que la "inclinación" del viaje de aprendizaje de una IA no es solo una propiedad de la propia IA. Está profundamente arraigada en la geometría de los datos. Si tus datos están sesgados —con una clase dominando a las otras— la IA encuentra una solución que es matemáticamente "más afilada", incluso si esa solución es más fácil de encontrar. Los autores sugieren que esta agudeza es una consecuencia directa de la estructura de los datos, específicamente de la proporción máxima de muestras que pertenecen a cualquier clase individual.

Aunque sus hallazgos se derivan de redes lineales y configuraciones matemáticas específicas, el hecho de que estas reglas persistan incluso cuando añaden complejidad del mundo real (no linealidades, pesos desequilibrados, datos desordenados) sugiere que esta relación entre la distribución de los datos y la agudeza del paisaje es una verdad fundamental del aprendizaje profundo. Es un recordatorio de que, en el mundo de la IA, los datos que alimentas a la máquina no solo le enseñan qué aprender; también dan forma a cómo se ve el paisaje de aprendizaje, determinando si el robot se desliza suavemente hacia una solución o si se equilibra precariamente sobre un pico afilado.

Resumen Técnico: Cómo el Espectro de la Hessiana de las Redes Neuronales Depende de los Datos

Planteamiento del Problema

La matriz Hessiana es una herramienta crítica para analizar los paisajes de pérdida, la dinámica de optimización y la generalización en el aprendizaje profundo. Sin embargo, investigaciones previas se han basado mayoritariamente en observaciones empíricas o tratamientos teóricos bajo entornos excesivamente simplificados. Este trabajo tiene como objetivo caracterizar con precisión el espectro completo de la Hessiana para redes neuronales, investigando específicamente cómo la geometría de los datos influye en la agudeza (sharpness) de la solución aprendida. A diferencia de trabajos anteriores que priorizan la minimización de supuestos a costa de la complejidad del modelo, este artículo aprovecha supuestos estándar de aprendizaje profundo para derivar resultados para redes con anchuras y profundidades arbitrarias, y conjuntos de datos con un número arbitrario de muestras, características y etiquetas.

Metodología

Los autores analizan redes neuronales lineales de $L$ capas definidas como $f(x; W_{1:L}) = xW_1^\top \dots W_L^\top$ , entrenadas en entradas $X$ y salidas $Y$ utilizando la pérdida de Error Cuadrático Medio (MSE).

Aproximación de la Hessiana: El estudio utiliza la aproximación de Gauss-Newton Generalizada (GGN) de la Hessiana. A medida que el entrenamiento reduce la pérdida, la GGN se vuelve cada vez más precisa. Se demuestra que los autovalores no nulos de la GGN son idénticos a los de la matriz del Kernel de Tangente Neuronal (NTK), la cual es analíticamente más tratable.
Supuestos Teóricos:
- Supuesto 1 (Características Isotrópicas): La matriz de características $X$ es de rango completo e isotrópica ( $\Sigma = \Sigma_{11}I$ ), representando un sistema sobredeterminado ( $n \ge d_0$ ).
- Supuesto 2 (Capas Fuertemente Balanceadas): Las capas consecutivas satisfacen $W_\ell W_\ell^\top = W_{\ell+1}^\top W_{\ell+1}$ . Esto implica una alineación entre los vectores singulares izquierdos de una capa y los vectores singulares derechos de la siguiente. Los autores señalan que, si bien los puntos de parámetros arbitrarios no necesitan estar balanceados, el flujo de gradiente o el entrenamiento con decaimiento de pesos (weight-decay) tienden a inducir este balance, particularmente en el borde de la estabilidad (EoS).
Derivación Analítica: Los autores derivan cotas y caracterizaciones exactas para los autovalores del NTK (y, por ende, de la Hessiana) utilizando la Descomposición en Valores Singulares (SVD) de la matriz de características y los valores singulares de las matrices de pesos.

Principales Contribuciones y Resultados

1. Caracterización de los Autovalores de la Hessiana

Redes Poco Profundas ( $L=2$ ): Los autovalores no nulos se caracterizan mediante las sumas por pares de los valores singulares al cuadrado de las dos capas de pesos. Específicamente, $\lambda_{ij} \le \frac{\|X\|_2^2}{n} (\sigma_i^2(W_1) + \sigma_j^2(W_2))$ . La cota se alcanza bajo el Supuesto 1.
Redes Profundas ( $L \ge 2$ ): Bajo el supuesto de capas fuertemente balanceadas, los autovalores no nulos están determinados por una relación específica de potencias de los valores singulares de los pesos. El número de autovalores no nulos está acotado por $(\min \{d_0, \dots, d_L\})^2$ , lo que explica la observación empírica de que la mayor parte de los autovalores de la Hessiana son cercanos a cero.

2. Dependencia de la Geometría de los Datos

El artículo deriva relaciones explícitas entre la norma espectral (agudeza) de la Hessiana y las propiedades de los datos:

Tamaño del Conjunto de Datos: Para soluciones balanceadas, la agudeza es independiente del tamaño del conjunto de datos $n$ , siempre que las entradas de $X$ y $Y$ escalen como $\Theta(1)$ . Esto contrasta con los hallazgos que sugieren que la agudeza aumenta con $n$ .
Profundidad: La agudeza aumenta con la profundidad $L$ cuando $\|X\|_2 \le \|Y\|_2$ .
Magnitud de las Características: Magnitudes de características más grandes (mayor varianza) conducen a una mayor agudeza de la solución.
Distribución de Etiquetas (Hallazgo Clave): Para tareas de clasificación con etiquetas one-hot, la agudeza está directamente relacionada con la distribución empírica de las etiquetas. Específicamente, la agudeza es proporcional a la proporción máxima de muestras pertenecientes a cualquier clase individual ( $\alpha_{max}$ ). El modelo aprende soluciones más agudas cuando el conjunto de datos está desbalanceado (una clase domina) en comparación con una distribución uniforme.

3. Validación Empírica y Robustez

Los autores validan sus predicciones teóricas mediante computaciones numéricas en MNIST, FashionMNIST y CIFAR10.

Precisión de la Aproximación: Las cotas teóricas coinciden estrechamente con los autovalores superiores de la Hessiana a medida que el entrenamiento progresa.
Estudios de Ablación: El artículo elimina sistemáticamente los supuestos para probar la robustez:
- Entradas No Isotrópicas: Eliminar el supuesto isotrópico causa que la teoría falle inmediatamente, indicando que la geometría de la entrada influye fuertemente en la agudeza máxima.
- Pesos Desbalanceados: El uso de la inicialización Kaiming estándar (desbalanceada) aún preserva la tendencia cualitativa de que la agudeza aumenta con el desbalance de etiquetas.
- No Linealidades: La incorporación de activaciones Tanh produce resultados cualitativamente similares a la teoría lineal, lo que permite a los autores extender sus conclusiones sobre la distribución de etiquetas a redes no lineales.

Significado y Reivindicaciones

El artículo afirma proporcionar una caracterización teórica precisa del espectro de la Hessiana que cierra la brecha entre los modelos teóricos simplificados y las configuraciones prácticas de aprendizaje profundo. Su principal significancia radica en identificar un vínculo directo entre el desbalance de etiquetas y la agudeza de la solución.

Los autores observan que los modelos entrenados en conjuntos de datos con un número desproporcionadamente grande de muestras en una sola clase convergen a soluciones más agudas. Este hallazgo desafía la intuición (y parte de la literatura previa, ej. Cohen et al.) de que los conjuntos de datos más simples (como aquellos con un desbalance de clases extremo) deberían resultar en una menor agudeza máxima. En su lugar, los autores argumentan que la geometría de los datos, específicamente la concentración de etiquetas, dicta la agudeza del minimizador.

Si bien las derivaciones teóricas dependen de supuestos fuertes (características isotrópicas, pesos balanceados), los estudios de ablación empíricos sugieren que la conclusión central sobre la relación entre la distribución de etiquetas y la agudeza sigue siendo robusta incluso cuando estos supuestos se relajan o cuando se introducen no linealidades. El trabajo proporciona un marco para comprender cómo la geometría de los datos moldea el paisaje de optimización, ofreciendo perspectivas relevantes para las medidas de generalización y los algoritmos de optimización de segundo orden.