Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models

Resumen Técnico: Caracterización del Régimen Polarizado en Modelos de Variables Latentes Basada en Entropía

Enunciado del Problema
Los Autoencoders Variacionales (VAE) y modelos relacionados de variables latentes suelen exhibir un "régimen polarizado", donde las dimensiones latentes se segregan en tres subconjuntos distintos: activas (que codifican la máxima variación de los datos), pasivas (que colapsan hacia la distribución a priori y codifican información negligente) y mixtas (que alternan entre estados activos y pasivos dependiendo de la entrada). Identificar estos subconjuntos es crucial para comprender el comportamiento del modelo, particularmente en relación con el "colapso posterior", donde el modelo falla en utilizar el espacio latente de manera efectiva.

Los métodos existentes para distinguir dimensiones activas de pasivas dependen en gran medida de distribuciones a priori específicas, típicamente gaussianas. Los enfoques comunes incluyen establecer umbrales en la divergencia de Kullback-Leibler (KL) o analizar las estadísticas de las representaciones de media y varianza ($\mu$ y $\sigma$) en relación con una distribución a priori gaussiana estándar. Estos métodos son limitados porque no son agnósticos al modelo; tienen dificultades para aplicarse a arquitecturas deterministas (como los autoencoders estándar) o modelos con distribuciones a priori no gaussianas (como los Identifiable VAE). Además, hallazgos recientes sugieren que las variables "pasivas" pueden retener correlaciones sutiles con otras variables, lo que implica que descartarlas basándose en criterios estrictos basados en la distribución a priori podría eliminar información útil. Existe la necesidad de un criterio principiado y agnóstico a la distribución a priori para caracterizar la actividad latente.

Metodología
Los autores proponen un marco teórico-informático basado en la entropía de la representación de la media ($H(\mu_i)$) de las dimensiones latentes.

1. Criterio de Entropía: En lugar de medir la desviación de una distribución a priori (mediante la divergencia KL), el método cuantifica el desorden o la imprevisibilidad de la distribución marginal empírica de la salida media de cada dimensión latente ($\mu_i$) a través del conjunto de datos.

   • Activa: $H(\mu_i) > \tau$ (Alta entropía, indicando variación significativa entre puntos de datos).
   • Pasiva: $H(\mu_i) \le \tau$ (Baja entropía, indicando que la dimensión es casi constante).
   • Mixta: Dimensiones que exhiben alta entropía para algunos subconjuntos de datos y baja para otros.

2. Análisis Teórico: El artículo establece un vínculo teórico entre este criterio basado en entropía y definiciones existentes:

   • Entropía vs. Divergencia KL: Utilizando desigualdades entropía-varianza (específicamente $h(X) \le \frac{1}{2}\log(2\pi e \text{Var}(X))$), los autores muestran que una alta entropía en la representación de la media implica un límite inferior en la divergencia KL. Por lo tanto, la alta entropía se correlaciona con el estado "activo" definido por altas contribuciones de KL.
   • Entropía vs. Criterios de Bonheme: Los autores relacionan su enfoque con la definición de Bonheme y Grzes, que se basa en la varianza de $\mu$ y $\sigma$. Demuestran que $H(\mu)$ captura la misma variación estadística que $\text{Var}(\mu)$ pero de una manera teórico-informática.
   • Limitaciones: El análisis aclara que la entropía de la media por sí sola no puede distinguir de manera fiable las dimensiones activas de las mixtas sin señales adicionales de la representación de la varianza, ya que ambas pueden exhibir alta incertidumbre en la media.

3. Estimación: Para la evaluación empírica, los autores utilizan el estimador de entropía $\alpha$-Rényi basado en matrices. Este enfoque evita la estimación explícita de densidades, lo que lo hace adecuado para espacios latentes de alta dimensión y capaz de manejar variables continuas directamente mediante matrices de Gram.

Evaluación Experimental
Los autores evaluaron el criterio de entropía en cuatro clases distintas de modelos utilizando benchmarks estándar (MNIST, smallNORB, d-Sprites):

• $\beta$-VAEs: Modelos con hiperparámetros $\beta$ variables para controlar la fuerza de la penalización KL.
• Identifiable VAEs (iVAEs): Modelos que utilizan información auxiliar para imponer identificabilidad.
• Autoencoders de Menor Volumen (LV-AEs): Modelos deterministas regularizados por el volumen del espacio latente.
• Autoencoders Regularizados con L2 (L2-AEs): Líneas base deterministas con penalizaciones L2 en los códigos latentes.

Resultados Clave

1. Recuperación del Régimen Polarizado: El criterio de entropía recuperó consistentemente el régimen polarizado (separación en dimensiones activas de alta entropía y dimensiones pasivas de entropía cercana a cero) en todas las arquitecturas probadas, incluidos modelos deterministas donde las definiciones basadas en KL son inaplicables.
2. Coherencia con Otras Medidas: Se encontró que la entropía, la varianza y la información mutua ($I(X; \mu)$) evolucionan de manera coherente durante el entrenamiento. La entropía fue seleccionada como la métrica principal debido a su robustez y a la falta de sobrecarga computacional en comparación con la estimación de la información mutua.
3. Generalizabilidad:
   • En LV-AEs, el criterio de entropía identificó con éxito el régimen polarizado inducido por la regularización de volumen, confirmando que la polarización es un fenómeno general del aprendizaje de representaciones regularizadas, no solo un artefacto variacional.
   • En iVAEs, aunque se evitó el colapso posterior total (coherente con la teoría de identificabilidad), el criterio de entropía detectó un colapso selectivo (polarización). Críticamente, las unidades "colapsadas" en iVAEs retuvieron una entropía pequeña pero no nula, reconciliando la observación empírica de la supresión con la imposibilidad teórica de un colapso total.
4. Utilidad en Tareas Posteriores: Cuando los códigos latentes se utilizaron para tareas de regresión logística posteriores, los modelos entrenados con vectores latentes crudos mostraron mesetas de precisión una vez incluidas las variables activas. Sin embargo, cuando los códigos latentes se normalizaron, incluir variables "pasivas" produjo mejoras pequeñas pero consistentes en la precisión. Esto sugiere que las dimensiones pasivas no están completamente desprovistas de información, sino que están suprimidas en escala en lugar de eliminadas completamente.

Significado y Afirmaciones
El artículo afirma que el criterio propuesto basado en entropía ofrece una herramienta agnóstica al modelo y agnóstica a la distribución a priori para caracterizar la actividad latente. Su significado radica en:

• Universalidad: Se aplica tanto a arquitecturas variacionales como deterministas, superando las limitaciones de las heurísticas basadas en KL vinculadas a distribuciones a priori gaussianas.
• Fundamentación Teórica: Proporciona un vínculo principiado entre la teoría de la información (entropía) y los mecanismos que impulsan el régimen polarizado (minimización de KL y restricciones de varianza).
• Comprensión Maticada del Colapso: Los hallazgos desafían la visión binaria del colapso posterior. Los autores argumentan que el colapso es a menudo una cuestión de escala en lugar de una eliminación absoluta de información, ya que las dimensiones "pasivas" retienen entropía detectable y utilidad en tareas posteriores cuando se normalizan adecuadamente.

Limitaciones
Los autores reconocen modestamente varias limitaciones:

• Variables Mixtas: La entropía de la media por sí sola no puede distinguir limpiamente entre variables activas y mixtas; se requieren señales adicionales de varianza.
• Heurística de Umbral: El umbral $\tau$ para clasificar la actividad es heurístico y carece de un método de selección universalmente óptimo y principiado a través de diferentes conjuntos de datos y arquitecturas.
• Alcance: La validación empírica está actualmente restringida a conjuntos de datos de imágenes y arquitecturas específicas de autoencoders. El comportamiento en modelos secuenciales o arquitecturas basadas en difusión sigue siendo una pregunta abierta.
• Utilidad Práctica: Si bien las variables pasivas ofrecen ganancias pequeñas en tareas posteriores, las mejoras son modestas, lo que sugiere que el criterio es principalmente valioso para el análisis diagnóstico y la comprensión de la estructura latente en lugar de ser una herramienta directa de optimización del rendimiento.