Spectral Complex Autoencoder Pruning: A Fidelity-Guided Criterion for Extreme Structured Channel Compression

Resumen Técnico: Poda de Autoencoder Complejo Espectral (SCAP)

Planteamiento del Problema
Las Redes Neuronales Convolucionales (CNN) modernas enfrentan cuellos de botella significativos en su despliegue en dispositivos con recursos limitados debido a los altos costos computacionales (FLOPs) y las huellas de memoria (parámetros). Si bien la poda de canales estructurada —que elimina canales de salida completos y reconfigura las capas subsiguientes— ofrece una vía para aceleraciones prácticas, lograr una compresión "extrema" (reduciendo simultáneamente FLOPs y parámetros en >90%) manteniendo la precisión sigue siendo un desafío. Los criterios existentes a menudo dependen de proxies como las magnitudes de los filtros, las estadísticas de activación o la saliencia de los gradientes. Los autores argumentan que estos proxies son frágiles en regímenes de alta compresión: los métodos basados en magnitud pueden descartar canales de baja norma que capturan patrones críticos; los métodos basados en gradientes pueden ser ruidosos; y la normalización por capa puede conducir a una fuerza de poda inconsistente. Crucialmente, muchos métodos existentes evalúan los canales de forma aislada, mientras que la redundancia es inherentemente relacional, dependiendo de qué tan bien la transformación de entrada-salida de un canal sea explicada por otros canales.

Metodología: Poda de Autoencoder Complejo Espectral (SCAP)
SCAP es un criterio basado en la reconstrucción diseñado para medir la redundancia funcional al nivel de los canales de salida individuales mediante el modelado de su interacción con la entrada. El método opera en dos etapas por cada capa convolucional:

1. Construcción del Campo de Interacción Compleja:
   Para una capa con una activación de entrada $X \in \mathbb{R}^{B \times C_{in} \times H \times W}$ y una activación de salida $Y \in \mathbb{R}^{B \times C_{out} \times H_1 \times W_1}$, SCAP construye un campo de interacción complejo $Z_k$ para cada canal de salida $k$.
   $$Z_k = X + i \cdot \text{Broadcast}(\text{Resize}(Y_k))$$
   Aquí, la entrada multicanal completa $X$ sirve como la parte real, mientras que el mapa de características de salida específico $Y_k$ se redimensiona para coincidir con las dimensiones espaciales de $X$ y se transmite (broadcast) a través de todos los canales de entrada para servir como la parte imaginaria. Esto acopla la entrada y la salida en un único objeto relacional.

2. Entrenamiento del Autoencoder Espectral:
   El campo complejo $Z_k$ se transforma al dominio de la frecuencia mediante una Transformada Rápida de Fourier (FFT) 2D. Los componentes espectrales reales e imaginarios se normalizan y se introducen en un autoencoder (AE) de baja capacidad y específico para la capa. El AE se entrena para reconstruir los espectros normalizados utilizando una pérdida de Error Cuadrático Medio (MSE). El autoencoder está intencionalmente restringido (un MLP diminuto) para aprender solo las estructuras comunes y compresibles dentro de los campos de interacción de la capa.

3. Puntuación de Importancia Basada en la Fidelidad:
   Durante la fase de poda, los AEs entrenados se congelan. Para cada canal, la fidelidad de la reconstrucción espectral se calcula como la similitud de coseno entre el campo de interacción original vectorizado y el campo reconstruido (tras la FFT inversa).

   • Alta Fidelidad: Indica que el campo de interacción del canal está cerca de la variedad (manifold) de baja dimensión capturada por el AE, lo que implica que el canal es redundante y compresible.
   • Baja Fidelidad: Indica que el canal codifica información única o de alta curvatura que el modelo de baja capacidad no puede reproducir, lo que implica importancia.
     La puntuación de importancia base se define como $I_{fid} = 1 - \text{Fidelidad}$.

4. Fusión y Poda:
   Para proteger los casos en los que un canal altamente reconstruible podría seguir siendo saliente debido a una gran amplitud, la puntuación de fidelidad se fusiona opcionalmente con una norma $\ell_1$ de filtro normalizada por capa. Los autores encuentran que la fusión aditiva produce el mejor equilibrio. Los canales se retienen o eliminan basándose en un umbral fijo $\tau$ (típicamente 0.5 o 0.6), seguido de un ajuste fino (fine-tuning) estándar.

5. Eficiencia de Memoria:
   Para manejar las restricciones de memoria al puntuar todos los canales simultáneamente, SCAP emplea una disciplina de memoria estricta: procesar los canales de salida secuencialmente (o en grupos pequeños), utilizar acumulación de gradientes para el entrenamiento del AE y liberar explícitamente los tensores intermedios (salidas de FFT, reconstrucciones) para mantener el pico de memoria limitado en GPUs comerciales.

Contribuciones Clave

• Representación de Interacción Compleja: Introducción de un descriptor de valor complejo que acopla entradas multicanal con salidas por canal, permitiendo un análisis de redundancia relacional en lugar de una evaluación de canales aislados.
• Criterio de Fidelidad Espectral: Un criterio de autoencoder de baja capacidad en el dominio de la frecuencia que utiliza la fidelidad de la reconstrucción como una medida fundamentada de la compresibilidad. Una alta fidelidad implica que el canal reside en una variedad de baja dimensión aprendida.
• Implementación Eficiente en Memoria: Una estrategia de implementación práctica que permite ejecutar el método en hardware limitado (por ejemplo, GPUs de 11 GB) sin sacrificar el modelo conceptual, utilizando el procesamiento por canal y la liberación de tensores.

Resultados Experimentales
Los autores evaluaron SCAP en VGG16, ResNet-56/110 y DenseNet-40 utilizando los conjuntos de datos CIFAR-10 y CIFAR-100.

• VGG16 en CIFAR-10: Con un umbral $\tau=0.6$, SCAP logró una reducción de FLOPs del 90.11% y una reducción de parámetros del 96.30% con una caída de precisión Top-1 absoluta de solo 1.67% (de 93.44% a 91.77%).
• Comparación: SCAP superó consistentemente o igualó a los métodos de vanguardia (por ejemplo, $\ell_1$-norm, FPGM, HRank, PCC) en el régimen de compresión extrema. Por ejemplo, en ResNet-56 (CIFAR-10), SCAP ($\tau=0.6$) logró una reducción de FLOPs del 83.80% con una caída de precisión del 3.76%, mientras que otros métodos a menudo sufrieron mayores caídas o menor compresión con niveles de precisión similares.
• Ablación: Los experimentos confirmaron que fusionar la puntuación de fidelidad con el término de magnitud $\ell_1$ proporciona un equilibrio entre precisión y compresión más estable que usar solo la fidelidad, particularmente para evitar la poda de canales de pequeña magnitud pero funcionalmente útiles.

Significado y Reivindicaciones
El artículo afirma que SCAP proporciona un criterio defendible y local de la capa, basado en la compresibilidad en lugar de estadísticas ad hoc. Al enmarcar la redundancia a través de la lente de la fidelidad de la reconstrucción espectral, el método ofrece una interpretación geométrica: los canales cuyos campos de interacción son "regulares" o residen en una variedad suave de baja dimensión son identificados como redundantes. Los autores enfatizan que, si bien SCAP no garantiza una pérdida de precisión de cero (ya que la poda altera la dinámica de la red), sirve como un proxy efectivo para identificar canales funcionalmente redundantes bajo una compresión agresiva. El trabajo sugiere que la fidelidad de la reconstrucción espectral puede unificar varios signos heurísticos de poda bajo una única explicación relacionada con la facilidad de representar un canal en la estructura dominante de baja dimensión del manifold de activación.