Geometric and Information Compression of Representations in Deep Learning

Resumen Técnico: Compresión Geométrica e Informativa de Representaciones en Aprendizaje Profundo

Planteamiento del Problema
Las redes neuronales profundas (DNN) transforman los datos de entrada en representaciones latentes que facilitan las tareas de ejecución posterior. Estas representaciones suelen analizarse a través de dos lentes distintas: la compresión de información, medida por la información mutua (MI) entre las entradas y las representaciones, y la compresión geométrica, caracterizada por el agrupamiento de las representaciones (por ejemplo, el colapso neuronal o neural collapse). Aunque trabajos previos han sugerido una correlación positiva y estrecha entre estas dos formas de compresión —implicando que una baja MI requiere un agrupamiento geométrico ajustado—, la relación precisa sigue sin comprenderse bien. Una cuestión central abierta es si una baja MI entre las entradas y las representaciones implica necesariamente espacios latentes geométricamente comprimidos, y viceversa. Además, el papel de la generalización como mediador de esta relación no está claro.

Metodología
Los autores investigan esta interacción utilizando dos marcos experimentales distintos diseñados para inducir variaciones tanto en las propiedades informativas como en las geométricas:

1. Redes de Cuello de Botella de Entropía Condicional (CEB): Estos modelos utilizan ruido gaussiano aditivo dependiente de los datos. El objetivo de entrenamiento minimiza la entropía condicional del cuello de botella $I(X; Z|Y)$ manteniendo el rendimiento de la clasificación. Mediante el barrido del parámetro de compromiso $\beta$, los autores generan modelos con diversos grados de compresión de MI y capacidades de generalización. La MI se estima directamente a través de la cota variacional integrada en la función de pérdida de entrenamiento.
2. Redes de Dropout Gaussiano: Estos modelos emplean ruido multiplicativo de varianza fija (dropout continuo). Para inducir variación en la compresión geométrica sin alterar la varianza del ruido, los autores introducen un regularizador geométrico basado en el estadístico de Colapso Neuronal (NC). Esto permite el entrenamiento de modelos con diferentes niveles de ajuste de los cúmulos manteniendo constante el mecanismo de inyección de ruido. Para estos modelos deterministas-similares (con estocasticidad solo vía dropout), la MI se estima externamente mediante el estimador de Diferencia de Entropías (DoE), que aproxima las entropías incondicional y condicional a través de distribuciones logísticas paramétricas.

Fundamento Teórico
Un requisito crítico para el estudio de las redes regularizadas por dropout es la garantía de que la MI entre las entradas y las representaciones sea finita. El artículo demuestra el Teorema 1, extendiendo resultados previos de redes ReLU a redes con funciones de activación analíticas reales arbitrarias (por ejemplo, GELU, sigmoid). La demostración se basa en el Teorema de Estructura de Lojasiewicz para demostrar que el conjunto de ceros para funciones analíticas reales tiene medida cero y que la función se comporta de manera polinómica cerca de estos ceros, asegurando la finitud del log-determinante requerido para una MI finita. Esto establece una base teórica sólida para la aplicación del análisis de información a las arquitecturas modernas con dropout continuo.

Resultados Clave
El estudio evalúa 8 arquitecturas (incluyendo redes totalmente conectadas, CNN y transformers) a través de 5 conjuntos de datos (tareas de visión y NLP), entrenando aproximadamente 500 modelos. El análisis se centra en las representaciones al final del entrenamiento en lugar de en la dinámica de entrenamiento.

• Correlación No Lineal Negativa: Contrario a la intuición de que la baja MI y el agrupamiento geométrico ajustado (bajo NC) siempre coinciden, los experimentos revelan una correlación negativa y no lineal consistente entre la MI y la compresión geométrica. En muchos casos, los modelos con menor MI exhibieron un agrupamiento geométrico más laxo, y viceversa.
• El Papel de la Generalización como Confundidor: La relación entre la MI y la compresión geométrica no es invariante. El signo y la fuerza de la correlación cambian dependiendo del régimen de entrenamiento y la capacidad de generalización del modelo. Por ejemplo, en los experimentos de dropout gaussiano, la variación de la fuerza de regularización $\lambda$ produjo regímenes donde la correlación era negativa, cercana a cero o incluso positiva. Los autores observan que la correlación tiende a desvanecerse o revertirse en regímenes de generalización estable, lo que sugiere que la generalización actúa como un confundidor en lugar de una consecuencia directa de cualquiera de los dos métricas de compresión.
• Desacoplamiento de Tipos de Compresión: Un análisis de modelo simple (Fig. 1) demuestra que una baja MI puede surgir de dos fuentes distintas: (1) un fuerte agrupamiento geométrico (pequeña dispersión del codificador) o (2) una alta varianza de ruido (codificadores no informativos). La compresión geométrica (colapso neuronal) solo ocurre en el primer caso. Esto explica por qué la baja MI no predice de manera fiable la compresión geométrica.

Significancia y Reivindicaciones
El artículo contribuye al debate sobre el aprendizaje de representaciones al desafiar la suposición de que la compresión de información y la compresión geométrica son indicadores intercambiables de la calidad de la representación o de la generalización.

• Contribución Teórica: La demostración de la finitud de la MI para redes de dropout continuo con activaciones analíticas permite un análisis informático riguroso de una clase más amplia de modelos de vanguardia.
• Perspectiva Empírica: Los hallazgos sugieren que la conexión entre la compresión de información y la geométrica es más matizada de lo que se asumía anteriormente. Los autores postulan que la capacidad de generalización puede ser el factor subyacente que confunde las relaciones observadas entre la MI y el agrupamiento geométrico.
• Advertencias: Los autores enfatizan que sus conclusiones están condicionadas a los estimadores de MI específicos utilizados (cotas variacionales para CEB y DoE para dropout) y que es necesaria una comparación sistemática entre estimadores para validar la robustez de la relación observada entre MI y NC. Declaran explícitamente que la estructura causal entre la MI, la compresión geométrica y la generalización requiere una investigación más profunda más allá de la evidencia correlacional presentada.

El artículo concluye que las afirmaciones sobre la generalización basadas únicamente en la MI o en la compresión geométrica deben tratarse con cautela, ya que las dos métricas no necesariamente se alinean y pueden exhibir interacciones complejas y no lineales que dependen de la configuración del entrenamiento.