The role of class encoding in neural collapse

Resumen Técnico: El Papel de la Codificación de Clases en el Colapso Neuronal

Planteamiento del Problema
El Colapso Neuronal (NC, por sus siglas en inglés) es un fenómeno observado en la etapa terminal del entrenamiento de clasificadores de redes neuronales profundas, caracterizado por estructuras geométricas específicas en las activaciones de la última capa oculta cuando el error de entrenamiento alcanza cero. Aunque el NC ha sido estudiado extensamente bajo el Modelo de Características No Restringidas (UFM) con pérdida de Entropía Cruzada, su comportamiento bajo la pérdida de Error Cuadrático Medio (MSE) sigue siendo objeto de investigación. Específicamente, trabajos previos han identificado dos resultados estructurales distintos para las activaciones medias de clase en el UFM con pérdida MSE y codificaciones one-hot: un Marco Ortogonal (OF) cuando el sesgo del clasificador está ausente o fuertemente regularizado, y un Marco de Trama Equiangular de Simplex (Simplex ETF) cuando hay un sesgo no regularizado presente. La relación entre estas estructuras y la influencia de codificaciones de etiquetas arbitrarias sobre las propiedades del NC no se comprende completamente. Este artículo aborda el papel de la codificación de etiquetas y el término de sesgo en la emergencia de estas estructuras geométricas.

Metodología
Los autores analizan el problema utilizando el Modelo de Características No Restringidas (UFM) con una pérdida de entrenamiento MSE. El problema de optimización implica minimizar conjuntamente la pérdida sobre las características no restringidas ($H$), un clasificador lineal ($W$) y un término de sesgo ($b$), sujeto a una regularización $\ell_2$ en todos los parámetros. El estudio considera:

1. Codificaciones de Etiquetas: Desde la codificación estándar one-hot hasta matrices de codificación arbitrarias $\bar{Y} \in \mathbb{R}^{K \times K}$, incluyendo el suavizado de etiquetas (label smoothing).
2. Regularización del Sesgo: El impacto de variar el coeficiente de regularización $\lambda_b$ asociado al sesgo del clasificador.
3. Equilibrio de Datos: El análisis cubre tanto escenarios de datos balanceados como desbalanceados.

Las derivaciones teóricas se basan en las condiciones de optimalidad de primer orden para caracterizar los minimizadores globales. Los autores introducen el concepto de un "Marco de Trama Equiangular de Simplex Desplazado" (SSETF) para unificar las estructuras geométricas observadas.

Contribuciones Clave y Resultados

1. Unificación de las Estructuras OF y Simplex ETF:
   El artículo demuestra que la transición entre un Marco Ortogonal (OF) y un Simplex ETF está gobernada por el término de sesgo. Para codificaciones one-hot y datos balanceados, a medida que el coeficiente de regularización del sesgo $\lambda_b$ disminuye, las características medias no centradas transicionan continuamente de un OF a un Simplex ETF.

   • Mecanismo: El sesgo óptimo $b^*$ actúa para compensar la falta de centrado de las etiquetas. En el límite de un sesgo no regularizado ($\lambda_b = 0$), el sesgo es igual a la media de las etiquetas, lo que efectivamente centra el problema y produce una estructura de Simplex ETF.
   • Definición de SSETF: Los autores definen un SSETF como una generalización que abarca tanto los OF (parámetro de desplazamiento $\beta=0$) como los Simplex ETF (parámetro de desplazamiento $\beta=1$). Demuestran que centrar cualquier SSETF resulta en un Simplex ETF.

2. Papel del Sesgo en Codificaciones Arbitrarias:
   Extendiéndose más allá de la codificación one-hot, los autores muestran que para cualquier codificación de etiqueta arbitraria y datos desbalanceados, el sesgo óptimo en el UFM busca centrar las etiquetas. Específicamente, si las etiquetas están centradas ($Y \mathbf{1}_N = 0$), el sesgo óptimo es cero independientemente de $\lambda_b$. Si las etiquetas no están centradas, el término de sesgo desplaza la solución para compensar la discrepancia entre la media global de las etiquetas y el origen.

3. Robustez del Colapso de Variabilidad (NC1):
   El artículo demuestra que la primera propiedad del Colapso Neuronal (NC1)—el colapso de las características hacia sus medias de clase—se mantiene para cualquier codificación de etiqueta y cualquier fuerza de regularización de sesgo $\lambda_b \geq 0$, siempre que los datos estén balanceados. Esto indica que el colapso de variabilidad es independiente del esquema de codificación específico.

4. Impacto en la Autodualidad (NC3) y NC3':
   El estudio revela que la propiedad de autodualidad estándar (NC3), donde los pesos del clasificador se alinean con las medias de clase, no es robusta a codificaciones arbitrarias. Aplicar una transformación ortogonal a las etiquetas rompe la alineación directa entre $W^*$ y las medias de clase $\bar{H}^*$.

   • Solución Propuesta: Los autores proponen una variante más débil, NC3', que establece que los pesos del clasificador convergen a las medias de clase salvo por un reescalado y una rotación/reflexión ortogonal. Demuestran que NC3' se cumple para cualquier codificación balanceada bajo el UFM con pérdida MSE.

5. Convergencia al Simplex ETF (NC2) y SSETF:
   El artículo establece que si las medias de características óptimas forman un SSETF, sus contrapartes centradas forman un Simplex ETF (cumpliendo NC2). Los autores conjeturan que, para escenarios balanceados, las medias de las características forman un SSETF si y solo si la propia codificación de etiquetas es un SSETF. Esta familia incluye tanto la codificación one-hot como el suavizado de etiquetas.

Significancia y Reivindicaciones
El artículo afirma proporcionar un puente teórico entre las estructuras de OF y Simplex ETF, anteriormente distintas, observadas en clasificadores entrenados con MSE, atribuyendo la diferencia únicamente al papel del término de sesgo en el centrado de las etiquetas. Al introducir el marco SSETF, el trabajo generaliza la comprensión del Colapso Neuronal a codificaciones de etiquetas arbitrarias.

Los autores señalan modestamente que, si bien han identificado condiciones suficientes para NC2 (vía codificaciones SSETF) y demostrado la robustez de NC1 y NC3', la caracterización completa de qué codificaciones conducen a NC2 en entornos desbalanceados sigue siendo una pregunta abierta. El trabajo no propone nuevos algoritmos ni aplicaciones experimentales, sino que ofrece una aclaración teórica de cómo la codificación de etiquetas y la regularización del sesgo interactúan para dar forma al paisaje geométrico del colapso neuronal.