Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy

Planteamiento del Problema

Las redes neuronales modernas suelen estar sobreparametrizadas, poseyendo muchas más unidades ocultas de las estrictamente necesarias para codificar la relación entrada-salida objetivo. Esto plantea interrogantes fundamentales sobre la organización interna de estas redes: ¿qué neuronas son esenciales para el rendimiento predictivo y es posible identificar esta distinción sin acceso a las etiquetas de las tareas o a los gradientes? Los enfoques existentes para la eficiencia y la interpretabilidad dependen a menudo de señales supervisadas (por ejemplo, magnitud de los pesos, saliencia o puntuaciones basadas en gradientes) o de estrategias de poda aleatorias. Los autores postulan que la estructura estadística de la propia representación oculta puede codificar qué unidades son funcionalmente importantes, independientemente de la pérdida de la tarea específica.

Metodología

Los autores plantean la selección de neuronas como un problema de granulación gruesa (coarse-graining, CG). La capa oculta de una red de alimentación hacia adelante se trata como un espacio de configuración microscópica. Una descripción de granulación gruesa se define mediante la retención de un subconjunto de $n_{cg}$ neuronas de un total de ancho $K$, diezmando efectivamente la capa oculta.

Para evaluar la calidad de un subconjunto específico (mapeo), los autores emplean el flujo de trabajo de optimización de la Entropía de Mapeo (ME) (MEOW, por sus siglas en inglés):

1. Configuración Binaria: Las activaciones ocultas continuas se binarizan mediante su signo ($s_i = \text{sign}(h_i)$) para definir una configuración binaria $\phi$. Esta elección conservadora evita el uso de un agrupamiento (binning) arbitrario y garantiza la robustez.
2. Entropía de Mapeo ($S_{map}$): Para un mapeo $M$ dado que proyecta configuraciones microscópicas $\phi$ a configuraciones reducidas $\Phi$, la ME se define como la divergencia de Kullback–Leibler (KL) entre la distribución empírica original $p(\phi)$ y una distribución de retro-mapeo $\bar{p}_M(\phi)$. La distribución de retro-mapeo se construye redistribuyendo la probabilidad de un estado reducido uniformemente entre todos los estados microscópicos compatibles.
   $$S_{map}(M) = \sum_{\phi} p(\phi) \log \frac{p(\phi)}{\bar{p}_M(\phi)}$$
   Una $S_{map}$ menor indica que la representación reducida preserva más de la distinguibilidad estadística del conjunto original.
3. Optimización: El objetivo es encontrar el subconjunto de neuronas que minimice $S_{map}$. Para capas ocultas pequeñas, esto se realiza mediante búsqueda exhaustiva; para capas más grandes, se emplea el recocido simulado estocástico (utilizando el software EXCOGITO).

Configuración Experimental

El estudio evalúa el criterio MEOW en tres escenarios distintos:

1. Sistemas Profesor-Estudiante (TS): Un entorno controlado donde una red "estudiante" (ancho $K$) aprende de una red "profesor" (ancho $M < K$). Las unidades ocultas del estudiante se construyen analíticamente como réplicas de las unidades del profesor con un parámetro de desajuste (mismatch) ajustable $\eta$, o se entrenan en línea. Esto permite un monitoreo explícito de la alineación entre las neuronas del estudiante y las características del profesor.
2. Proceso Gaussiano No Lineal (NLGP): Una tarea sintética de clasificación binaria donde las neuronas ocultas se organizan espontáneamente en dos clases funcionales distintas: localizadas (pesos concentrados en entradas específicas) y oscilatorias (perfiles de signos alternos extendidos). Esto pone a prueba la capacidad del método para detectar la heterogeneidad sin replicación explícita.
3. Clasificación Binaria de MNIST: Un benchmark práctico utilizando dígitos 1 y 7 con aumentación de traslación, entrenado en una red de una sola capa oculta.

Resultados Clave

1. Recuperación de Representaciones Mínimas en Sistemas Profesor-Estudiante
En el límite de réplica exacta ($\eta=0$), donde las neuronas del estudiante son copias perfectas de las neuras del profesor, la minimización de la ME selecciona un subconjunto de tamaño $n_{cg} = M$ que está perfectamente equilibrado entre todos los modos del profesor ($\Delta = 1$). Esto demuestra que la ME puede identificar la representación mínima consistente con el profesor utilizando únicamente las estadísticas de las activaciones ocultas.
Cuando se introduce un desajuste ($\eta > 0$), el $n_{cg}$ óptimo requerido para mantener una selección equilibrada aumenta. Los autores interpretan este cambio como una cuantificación de la variabilidad residual en la capa oculta; a medida que las réplicas se vuelven estadísticamente distinguibles, se deben retener más neuronas para resolver la información adicional. En las redes entrenadas, el desajuste efectivo $\eta_{eff}$ disminuye con el tiempo, y los subconjuntos seleccionados por ME evolucionan en consecuencia, recuperando consistentemente mapeos equilibrados correspondientes al nivel actual de alineación.

2. Detección de Clases Funcionales en NLGP
En la tarea NLGP, las neuronas ocultas se dividen en clases localizadas y oscilatorias. La minimización de la ME no selecciona una mezcla aleatoria de estas clases, sino que selecciona mapeos coherentes extraídos de una única clase representacional.

• Entrenamiento Temprano: Los mapeos óptimos están compuestos casi exclusivamente por neuronas localizadas.
• Entrenamiento Tardío: A medida que el entrenamiento progresa, el paisaje cambia. Para tamaños de subconjunto mayores, los mapeos óptimos transicionan hacia estar dominados por neuronas oscilatorias.
• Muestreo Wang-Landau: El análisis de la densidad de estados (DoS) confirma que los mínimos de la ME se encuentran en los bordes del espacio de mapeo (puramente localizadas o puramente oscilatorias) en lugar de en regiones mixtas. El método rastrea con éxito la evolución del "modo" representacional preferido durante el aprendizaje.

3. Rendimiento Predictivo de las Redes Reducidas
La significancia funcional de los subconjuntos seleccionados se validó podando las redes y re-optimizando únicamente el sesgo de salida (output bias).

• NLGP: Los subconjuntos seleccionados por ME superan consistentemente a los subconjuntos aleatorios del mismo tamaño, particularmente en el régimen de fuerte compresión (por ejemplo, reteniendo 8–12 neuronas de 30). La ventaja disminuye a medida que el tamaño del subconjunto se acerca al ancho total de la capa.
• MNIST: Se observaron resultados similares en la tarea de MNIST con aumentación de traslación. Los subconjuntos seleccionados por ME lograron sistemáticamente una mayor precisión que los subconjuntos aleatorios para $n_{cg}$ pequeños o intermedios, demostando que preservar la distinguibilidad configuracional se traduce en un preservado rendimiento predictivo.

Significancia y Reivindicaciones

El artículo afirma que la minimización de la Entropía de Mapeo proporciona un criterio estrictamente no supervisado para identificar subconjuntos informativos de neuronas.

• Naturaleza No Supervisada: A diferencia de los métodos de poda basados en la magnitud de los pesos o gradientes, la ME depende únicamente de la estructura estadística de las activaciones ocultas. No requiere acceso a etiquetas o a la función de pérdida.
• Vínculo con el Rendimiento: El trabajo establece un vínculo concreto entre la optimalidad de la información (minimización de la pérdida de distinguibilidad) y el rendimiento predictivo. Los sub-redes seleccionadas por ME degradan menos que las aleatorias bajo fuerte compresión.
• Interpretabilidad: El método actúa como una sonda para la organización interna de la red, capaz de revelar la heterogeneidad funcional (por ejemplo, distintas clases de neuronas en NLGP) y la evolución de las representaciones durante el entrenamiento.
• Complementariedad: Los autores posicionan a MEOW como un enfoque complementario a las técnicas de poda supervisadas estándar, ofreciendo una forma de identificar unidades críticas basadas en la geometría intrínseca de la representación de los datos en lugar de señales específicas de la tarea.

El artículo concluye que la preservación de la distinguibilidad configuracional es un proxy robusto para preservar la información relevante para la tarea, sugiriendo que la estructura estadística de la capa oculta por sí sola codifica qué unidades son funcionalmente importantes.