Resumen Técnico: Resucitación Adaptativa de Señal (ASR)

1. Declaración del Problema

La poda de magnitud de un solo pase, un método práctico para comprimir redes de visión sin reentrenamiento, a menudo sufre un colapso severo de la precisión en regímenes de alta dispersión (por ejemplo, eliminar el 90% de los pesos). Aunque los métodos existentes de reparación posterior a la poda, como la recalibración de BatchNorm (BN) y la escalada de activación por capa (por ejemplo, REFLOW), buscan restaurar la señal, a menudo fallan bajo dispersión extrema.

El problema central identificado es una mismatch de granularidad entre el daño causado por la poda y la reparación aplicada. La poda global de magnitud induce daño heterogéneo en los canales dentro de una sola capa: algunos canales retienen la varianza de activación informativa, mientras que otros colapsan a una varianza cercana a cero. Los métodos existentes de reparación por capa aplican una única corrección escalar a toda la capa. Cuando una capa contiene una mezcla de canales sanos y colapsados, la corrección por capa está impulsada por los canales colapsados (que tienen varianza cercana a cero), lo que resulta en un factor de escala excesivamente grande. Este factor amplifica indiscriminadamente tanto las señales sanas como el ruido residual en los canales colapsados, a menudo desestabilizando el modelo y obteniendo un rendimiento peor que la simple recalibración de BN.

2. Metodología: Resucitación Adaptativa de Señal (ASR)

ASR es un método de reparación posterior a la poda, libre de entrenamiento, diseñado para igualar la granularidad de la reparación con la granularidad del daño. Opera antes de la recalibración de BatchNorm y requiere únicamente pasos hacia adelante en un pequeño conjunto de calibración (64 imágenes).

Mecanismo Central

1. Estimación de Varianza por Canal:
   Para cada canal de salida $i$ en una capa convolucional, ASR estima un factor de corrección crudo $\hat{\gamma}_i$ igualando la varianza de la activación podada ($v_{p,i}$) con la varianza de la activación densa ($v_{d,i}$) en el conjunto de calibración:
   $$\hat{\gamma}_i = \sqrt{\frac{\hat{v}_{d,i}}{\hat{v}_{p,i} + \epsilon}}$$
   donde $\epsilon$ es un suelo numérico.

2. Contracción Basada en Datos:
   Para prevenir la sobre-amplificación de canales colapsados (donde $v_{p,i} \approx 0$), ASR introduce un paso de contracción que acerca las estimaciones poco fiables hacia el mapa identidad ($\gamma_i = 1$).

   • Se calcula una línea base a nivel de capa $\lambda$ como la mediana de las varianzas de los canales posteriores a la poda dentro de la capa.
   • Se calcula un peso de fiabilidad $s_i$ basado en la relación de la varianza del canal con respecto a esta línea base:
     $$s_i = \frac{\hat{v}_{p,i}}{\hat{v}_{p,i} + \lambda}$$
   • El factor de reparación final es una combinación convexa de la estimación cruda y la identidad:
     $$\gamma_i = s_i \hat{\gamma}_i + (1 - s_i) \cdot 1$$
   • Comportamiento: Si un canal está colapsado ($v_{p,i} \to 0$), $s_i \to 0$, y $\gamma_i \to 1$ (sin corrección). Si un canal está sano ($v_{p,i} \gg \lambda$), $s_i \to 1$, y $\gamma_i \approx \hat{\gamma}_i$ (igualación completa de varianza).

3. Corrección de Sesgo:
   Tras el reescalado, ASR ajusta opcionalmente el sesgo convolucional para alinear el primer momento (media) de las activaciones reparadas con las activaciones densas, abordando los desplazamientos de media introducidos por la poda.

4. Recalibración de BatchNorm:
   Los pesos y sesgos reparados se utilizan para calcular nuevas estadísticas de ejecución para las capas de BatchNorm en el conjunto de calibración.

3. Contribuciones Clave

• Identificación del Modo de Fallo: El artículo demuestra que la reparación por capa falla en regímenes de alta dispersión debido al daño heterogéneo en los canales, donde un escalar compartido está dominado por canales colapsados, lo que lleva a una sobre-amplificación del ruido.
• Reparación Estabilizada por Contracción: ASR introduce una estrategia de reparación por canal estabilizada por una regla de contracción basada en datos. A diferencia de la igualación por canal ingenua, que permanece inestable para canales colapsados, ASR suprime las correcciones para canales con señales posteriores a la poda débiles, mientras preserva las correcciones para canales más sanos.
• Validación Empírica: El método se valida en tres conjuntos de datos (CIFAR-10, CIFAR-100, Imagenette) y cuatro arquitecturas (ResNet-18, ResNet-50, DenseNet-121, VGG-16-BN) bajo dispersión tanto no estructurada como estructurada (2:4).

4. Resultados Experimentales

• Rendimiento en Alta Dispersión: ASR supera consistentemente a la reparación por capa (LW+BN) y a menudo supera a la recalibración solo con BN en configuraciones de alta dispersión (70%–90%).
  • Ejemplo: En ResNet-50 al 90% de dispersión (CIFAR-10), ASR alcanza una precisión top-1 del 55.6%, en comparación con el 41.0% de la reparación por capa y el 28.0% de solo BN.
• Visualización de la Mismatch de Granularidad: El análisis de la varianza por canal muestra que la reparación por capa causa una sobre-corrección sistemática (pendiente $\alpha \approx 3.84$ en gráficos log-log), mientras que ASR mantiene una pendiente más cercana a la ideal ($\alpha \approx 1.68$), indicando una mejor alineación con la señal densa.
• Eficiencia de Calibración: ASR mejora la eficiencia de calibración temprana. La brecha de rendimiento entre ASR y la reparación por capa es más pronunciada con presupuestos de calibración pequeños (por ejemplo, 10–20 lotes), lo que sugiere que ASR estabiliza la distribución de activaciones que entra en las capas de BN de manera más efectiva.
• Estudios de Ablación:
  • La granularidad por canal sola (igualación de varianza cruda sin contracción) es insuficiente y tiene un rendimiento similar o peor que solo BN.
  • El mecanismo de contracción es el componente crítico que estabiliza la reparación.
  • La corrección de sesgo proporciona ganancias adicionales, aunque secundarias.
• Dependencia de la Arquitectura: Los beneficios de ASR son más significativos en arquitecturas con conexiones residuales (ResNet, DenseNet). En VGG-16-BN (sin conexiones de salto) a dispersión extrema, la recalibración solo con BN a veces sigue siendo competitiva, ya que la reparación multiplicativa puede introducir inestabilidad cuando el colapso de canales es demasiado severo para recuperarse.

5. Significado y Afirmaciones

El artículo afirma que ASR aborda un modo de fallo específico en la poda posterior al entrenamiento: la inestabilidad de la reparación por capa cuando el daño en los canales es heterogéneo. Al igualar la granularidad de la reparación con la granularidad del daño y utilizar la contracción para suprimir correcciones poco fiables, ASR permite una recuperación significativa de la precisión en regímenes de alta dispersión sin reentrenamiento.

Los autores posicionan a ASR como una solución práctica y libre de entrenamiento para desplegar redes de visión dispersas bajo restricciones estrictas de memoria. Señalan que el método está diseñado específicamente para redes convolucionales con BatchNorm y que las extensiones a arquitecturas de transformadores o cuantización posterior al entrenamiento quedan para trabajos futuros. El artículo enfatiza que las ganancias son mayores cuando la poda induce un daño severo y heterogéneo en los canales, validando la hipótesis de que las suposiciones por capa se violan sistemáticamente en la poda global de magnitud.