🤖 aprendizaje automático

A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks

Este artículo deriva una ley de escalado de profundidad-anchura de forma cerrada para el colapso neural en redes lineales profundas, demostrando que la geometría de la representación por capas puede predecirse analíticamente a partir de la relación profundidad-anchura y las propiedades de los datos sin requerir un análisis post-entrenamiento.

Autores originales: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Publicado 2026-10-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El aprendizaje profundo ha transformado la forma en que las máquinas ven, oyen y comprenden el mundo, aunque el funcionamiento interno de estos sistemas suele seguir siendo un misterio. Sabemos que las redes neuronales se construyen a partir de capas de unidades de procesamiento simples, apiladas para crear una profundidad inmensa, y que cada capa contiene miles de estas unidades, creando una gran anchura. Durante años, los científicos se han preguntado cómo el equilibrio específico entre el número de capas y el número de unidades en cada capa cambia lo que la red realmente aprende. Por lo general, la única forma de averiguarlo es construir una red, entrenarla con datos y luego observar los resultados, un proceso que nos dice qué sucedió, pero no por qué sucedió ni cómo predecirlo antes de que comience el entrenamiento. Un fenómeno clave observado en estas redes entrenadas se denomina colapso neuronal. A medida que una red aprende, las representaciones que construye para diferentes categorías de datos tienden a volverse increíblemente distintas entre sí, mientras que las representaciones para elementos dentro de la misma categoría se vuelven casi idénticas. Es como si la red organizara su mapa interno para que cada ejemplo de un gato se agrupe estrechamente, y cada ejemplo de un perro se agrupe estrechamente, con ambos grupos situados muy separados.

Un equipo de investigadores ha demostrado ahora que, para un tipo específico de red, esta organización no es un accidente aleatorio del entrenamiento, sino un resultado predecible que puede calcularse con antelación. Al centrarse en una versión simplificada de una red neuronal que utiliza matemáticas lineales, los científicos descubrieron una regla precisa que vincula la arquitectura de la red con la geometría de los datos que aprende. Descubrieron que el grado en que la red comprime puntos de datos similares depende directamente de la relación entre la profundidad de la red y su anchura. Si se sabe cuántas capas tiene la red y cuántas unidades hay en cada capa, junto con las propiedades básicas de los datos que está aprendiendo, se puede determinar exactamente cuánto comprimirá la red los datos, sin tener que ejecutar jamás una sola sesión de entrenamiento. Este es un cambio significativo respecto al enfoque habitual de ensayo y error, ofreciendo una ley matemática clara que describe cómo la estructura de una red moldea su comprensión del mundo.

Los investigadores abordaron este problema tratando las representaciones internas de la red no como una colección de puntos de datos individuales, sino como un mapa de relaciones único y unificado. Desarrollaron una forma de medir la "estrechez" de estos grupos utilizando un concepto llamado kernel de características, que actúa como un plano de cómo la red percibe la similitud entre cualquier par de datos. Utilizando este plano, fueron capaces de expresar tres medidas diferentes de qué tan bien la red ha organizado sus datos, enteramente en términos de este plano y las etiquetas de los datos. Esto significa que, en lugar de necesitar ver los puntos de datos reales dentro de la red para comprender su comportamiento, uno simplemente puede observar las relaciones matemáticas entre ellos. El equipo demostró que, para redes con una estructura simétrica específica, estas relaciones siguen un patrón estricto a medida que los datos se mueven desde la primera capa hasta la última.

En estas redes simétricas, los investigadores derivaron una fórmula exacta que muestra que la compresión de los datos dentro de cada categoría ocurre en una progresión geométrica. Con cada nueva capa por la que pasan los datos, la dispersión de los elementos similares se reduce por un factor constante. Este factor está determinado por la relación entre la profundidad de la red y su anchura. Si la red es muy ancha en comparación con su profundidad, la compresión ocurre lentamente. Si la red es profunda en relación con su anchura, la compresión se acelera. Crucialmente, la tasa a la que ocurre esta compresión no es un número fijo elegido por el ingeniero; está determinada por los propios datos, la configuración inicial de la red y la arquitectura, trabajando todos juntos en un bucle de autoconsistencia. Los investigadores verificaron esta teoría con simulaciones por computadora, mostrando que la tasa de compresión predicha coincidía perfectamente con el comportamiento real de la red. También realizaron pruebas en redes no lineales ligeramente más complejas y descubrieron que, si bien la fórmula exacta no se aplicaba, la tendencia general de los datos organizándose en la misma dirección se mantenía, lo que sugiere que el principio subyacente es robusto.

Este trabajo proporciona un vistazo excepcional a las "leyes de la naturaleza" de la inteligencia artificial. Del mismo modo que un físico podría predecir cómo se expandirá un gas basándose en la temperatura y la presión sin observar cada molécula, estos investigadores han demostrado que se puede predecir cómo una red neuronal organizará su conocimiento basándose en su tamaño y en los datos que ve. Los hallazgos sugieren que la relación profundidad-anchura es un control fundamental para el aprendizaje de representaciones. Al comprender esta relación, los diseñadores podrían, eventualmente, elegir la arquitectura adecuada para una tarea específica sin necesidad de entrenar docenas de modelos diferentes para ver cuál funciona mejor. El estudio confirma que la geometría de las representaciones aprendidas no es caótica, sino que sigue un camino preciso y calculable, convirtiendo el misterioso proceso del aprendizaje profundo en algo que puede entenderse y predecirse desde el principio.

Resumen Técnico: Una Ley de Profundidad-Anchura de Forma Cerrada para el Colapso Neuronal en Redes Lineales Profundas

Planteamiento del Problema

La relación entre la arquitectura de la red neuronal (específicamente la profundidad y el ancho) y la geometría de las representaciones aprendidas se analiza típicamente de forma empírica después del entrenamiento. Si bien trabajos previos han identificado la relación profundidad-ancho ( $L/N$ ) como un parámetro de control para las fluctuaciones del kernel de ancho finito y la profundidad efectiva, sigue siendo elusivo un entendimiento predictivo y de forma cerrada sobre cómo las elecciones arquitectónicas moldean la geometría de la representación durante el aprendizaje de características. Específicamente, la evolución del Colapso Neuronal (NC) —un fenómeno caracterizado por la minimización de la variabilidad intra-clase (NC1), la formación de medias de clase con estructura de simplex (NC2) y la alineación de los clasificadores con las medias de clase (NC3)— a través de las capas de la red no ha sido derivada analíticamente desde los primeros principios en un entorno de aprendizaje de características tratable.

Metodología

Los autores desarrollan un marco teórico que combina los observables del Colapso Neuronal con la teoría del aprendizaje de características auto-consistente para redes lineales profundas.

Formulación de Kernel de los Observables de NC:
El artículo primero extiende la formulación de kernel del Colapso Neuronal. Mientras que Kothapalli y Tirer [2025] establecieron que NC1 puede expresarse mediante el kernel de características, este trabajo deriva expresiones de kernel de forma cerrada para NC2 (desviación angular de un ETF equiangular de simplex) y NC3 (desalineación entre la lectura de cresta y las medias de clase centradas). Estas expresiones dependen únicamente del kernel de características $K$ y las etiquetas de clase $Y$ , eliminando la necesidad de coordenadas de características explícitas.
Teoría del Aprendizaje de Características:
Los autores adoptan el marco de aprendizaje de características Bayesiano de Fischer et al. [2024], que deriva ecuaciones de auto-consistencia hacia adelante y hacia atrás acopladas para los kernels por capa de Máxima Verosimilitud a Posteriori (MAP). Esta teoría es exacta en el límite proporcional donde el número de muestras $P$ y el ancho de la red $N$ escalan conjuntamente ( $P/N = \alpha$ ).
Geometría de Clase Intercambiable:
Para obtener una solución analítica, los autores asumen una geometría de clase intercambiable, donde el kernel de entrada es invariante bajo permutaciones de muestras dentro de las clases y permutaciones de las clases. Bajo esta simetría, las ecuaciones de kernel matricial se desacoplan en tres canales escalares:
- Media global ( $E$ )
- Medias entre-clases centradas ( $P_B$ )
- Fluctuaciones intra-clase ( $P_W$ )
Esta reducción permite la derivación de una ley geométrica escalar que gobierna la evolución de la razón de varianza intra-clase a entre-clase a través de las capas.

Contribuciones Clave

1. Identidades de Kernel para NC2 y NC3

El artículo proporciona nuevas identidades que expresan NC2 y NC3 directamente en términos del kernel de características $K$ y las etiquetas $Y$ .

NC2 se formula como la distancia de la norma de Frobenius entre la matriz de Gram normalizada por coseno de las medias de clase centradas y la matriz de Gram de un ETF de simplex de unidad de norma.
NC3 se formula como la desalineación promedio de coseno entre las direcciones de lectura de cresta sin sesgo y las medias de clase centradas.
Estas identidades permiten el cálculo de los tres observables de NC del conjunto de entrenamiento sin necesidad de formar la matriz de características $Z$ .

2. Ley Geométrica Exacta de Profundidad

Para redes lineales profundas con estructura de clase intercambiable, los autores derivan una ley exacta para la evolución por capa de NC1:
$NC^{(l)}_1 = NC^{(0)}_1 \left( \frac{t_W}{t_B} \right)^l$
donde $t_W$ y $t_B$ son factores de transferencia independientes de la capa determinados por los datos, el prior y la arquitectura. Esto demuestra que la compresión intra-clase ocurre geométricamente con la profundidad, impulsada por la razón de los factores de transferencia para los canales intra-clase y entre-clases.

3. Ley de Escalamiento Profundidad-Anchura

En el límite de ancho grande con regularización pequeña ( $\kappa$ ), se muestra que la compresión acumulada está controlada por la relación profundidad-anchura $L/N$ . El NC1 terminal escala como:
$NC^{(L)}_1 \approx NC^{(0)}_1 \exp\left( -\frac{rL}{N} \right)$
Aquí, $r$ es un parámetro de tasa determinado auto-consistentemente por la relación señal-ruido (SNR), la varianza del prior y la arquitectura. Esto establece $L/N$ como la variable arquitectónica primaria que controla la compresión de la representación, con la tasa $r$ emergiendo de las propiedades de los datos y del modelo en lugar de ser un hiperparámetro externo.

Resultados

Verificación Analítica: Experimentos numéricos en el kernel de población exactamente intercambiable confirman que la ley geométrica de forma cerrada coincide con la solución de punto fijo numérica a través de diversas profundidades y anchuras.
Dependencia de los Datos: Se demuestra que la tasa de contracción $\log(t_W/t_B)$ depende explícitamente de la SNR de entrada, validando la determinación auto-consistente de la tasa.
Comportamiento de Escalamiento: Los experimentos variando $L$ y $N$ mientras se mantiene constante $L/N$ demuestran que el NC1 terminal sigue la caída exponencial predicha, confirmando la ley de escalamiento $L/N$ .
Redes Entrenadas de Ancho Finito: Al aplicarse a redes lineales de ancho finito entrenadas con SGLD sobre datos gaussianos muestreados, la predicción de forma cerrada (usando los autovalores de entrada medidos) coincide estrechamente con la caída geométrica observada de NC1, a pesar de las desviaciones respecto al entorno de población idealizado.
Extensiones No Lineales: En una tarea XOR de cuatro clases no lineal, los observables de kernel (NC1, NC2, NC3) derivados de la teoría auto-consistente evolucionan en la misma dirección cualitativa que aquellos en redes de ancho finito entrenadas, lo que sugiere que el marco de kernel captura la geometría de la evolución de la representación incluso más allá del régimen lineal soluble.

Significado y Reivindicaciones

El artículo afirma proporcionar una ley de escalamiento de nivel de representación tratable derivada de la teoría de aprendizaje de características en lugar de ser ajustada tras el entrenamiento. Su principal significancia radica en:

Poder Predictivo: Permite la predicción de la geometría de la representación (específicamente el grado de colapso neuronal) directamente desde los datos, el prior y la arquitectura sin entrenar redes candidatas.
Perspectiva Arquitectónica: Identifica la relación profundidad-anchura $L/N$ como el parámetro de control para la compresión de la representación en redes lineales profundas, con la tasa de compresión determinada auto-consistentemente por la estructura del problema.
Unificación Teórica: Unifica el estudio del Colapso Neuronal con la teoría de kernel de ancho finito, extendiendo la identidad conocida de NC1 a NC2 y NC3 y proporcionando una descripción de forma cerrada de su evolución por capas.

Los autores señalan que, aunque la ley geométrica exacta se deriva para redes lineales profundas intercambiables, los observables de kernel siguen siendo informativos para redes no lineales, capturando la evolución cualitativa de la geometría de la representación. La extensión de estas leyes predictivas a redes no lineales generales y geometrías de datos arbitrarias se identifica como una dirección para el trabajo futuro.