Resumen Técnico: Cómo la Asignación de Esparsidad Moldea la Recuperabilidad Post-Poda sin Etiquetas

Declaración del Problema

La poda no estructurada por magnitud en ratios de esparsidad altos (por ejemplo, >90%) a menudo provoca que las redes neuronales sufran un "colapso de la precisión", donde el rendimiento cae a niveles cercanos al azar. Si bien la recuperación estándar implica el ajuste fino con datos etiquetados, esto es frecuentemente inviable en escenarios de despliegue práctico donde las etiquetas no están disponibles o el pipeline de entrenamiento original es inaccesible.

Trabajos recientes sobre Resucitación Adaptativa de Señal (ASR) [10] demostraron que la reparación por canales sin etiquetas y sin gradientes puede recuperar una precisión sustancial de modelos dispersos colapsados mediante la coincidencia de estadísticas de activación. Sin embargo, la literatura existente se centra principalmente en cómo reparar un modelo, descuidando los factores aguas arriba que determinan si un modelo es reparable. Este artículo aborda la pregunta complementaria: Dado un backend fijo de reparación sin etiquetas (ASR), ¿cómo afecta la elección de la asignación de esparsidad aguas arriba a la cantidad de señal de activación que sobrevive a la poda y permanece recuperable?

Metodología

Pipeline Experimental

El estudio emplea un pipeline fijo de reparación post-poda (Figura 1):

1. Preentrenamiento: Se establece un modelo preentrenado denso.
2. Asignación de Esparsidad: Un presupuesto de densidad se distribuye entre las capas utilizando ERK (basado en la forma de la capa) o LAMP (basado en la distorsión por capa).
3. Poda: Se aplica poda no estructurada por magnitud para alcanzar una esparsidad global objetivo ($s \in [0.90, 0.955]$).
4. Reparación: Se aplica el operador ASR [10] como un backend fijo. Utiliza un pequeño conjunto de imágenes de calibración sin etiquetas ($n=128$) para estimar la degradación de la varianza de activación por canal. Luego, reescala los pesos supervivientes y ajusta los sesgos para coincidir con las estadísticas del modelo denso, seguido de recalibración de BatchNorm (BN). No se utilizan gradientes ni etiquetas.

Variantes y Líneas Base

• Backends de Reparación: El estudio compara dos variantes de ASR:
  • ASR-q50: Aplica un prior de contracción basado en la varianza podada mediana para atenuar el ruido en canales severamente dañados.
  • ASR Recortado (Clipped ASR): Restringe aún más el factor de escala a $[0.5, 2.0]$ para prevenir la sobre-corrección en regímenes de colapso extremo.
• Líneas Base: Las variantes de ASR se comparan contra:
  • Sin reparación (evaluación directa).
  • Solo recalibración de BN.
  • Corrección de sesgo + BN.
  • Calibración afín + BN.

Alcance

Los experimentos cubren ResNet-18, ResNet-34 y ResNet-50 en CIFAR-10, CIFAR-100 e Imagenette. Validaciones adicionales incluyen ImageNet-100 (ResNet-18) y DenseNet-121 (CIFAR-10/100) para probar la conectividad no residual.

Contribuciones Clave

1. Análisis de Interacción: El artículo aísla la interacción entre la asignación de esparsidad por capa (ERK vs. LAMP) y la recuperabilidad sin etiquetas, tratando a ASR como un backend fijo.
2. Recuperabilidad Dependiente de la Asignación: Los resultados demuestran que la elección de asignación altera sistemáticamente la cantidad de señal de activación recuperable. A la misma esparsidad global, ERK y LAMP producen precisiones post-reparación sustancialmente diferentes. Crucialmente, la dirección de la ventaja (qué asignación es mejor) se invierte dependiendo de la arquitectura y la dificultad del conjunto de datos.
3. Régimen de Transición Sensible a la Reparación: Los autores identifican un régimen de esparsidad específico donde la recalibración estándar de BN comienza a fallar, pero ASR aún recupera una precisión no trivial. La anchura y la ubicación de este régimen varían significativamente con la arquitectura, la asignación y la dificultad del conjunto de datos.
4. Heurística de Selección de Variantes: El rendimiento relativo de ASR-q50 frente a ASR Recortado sirve como indicador del "paisaje de activación" dejado por la asignación. Una corrección agresiva (q50) es estable cuando la asignación preserva suficiente señal, mientras que una corrección conservadora (Recortado) es necesaria cuando el paisaje es frágil.

Resultados Clave

Rendimiento General

En 54 configuraciones principales de ResNet, la mejor variante de ASR mejoró sobre la reparación solo con BN en una media de 17.4 puntos porcentuales (ganancia mínima de 1.3 puntos). ASR superó consistentemente a otras líneas base de calibración (Sesgo, Afín) en todas las configuraciones.

Efectos de la Asignación (ERK vs. LAMP)

• ResNet-50 / CIFAR-10: LAMP superó consistentemente a ERK. A una esparsidad del 90%, LAMP+ASR-q50 alcanzó 79.92% frente a ERK+ASR-q50 en 70.24%.
• ResNet-34 / CIFAR-100: La tendencia se invirtió. ERK superó a LAMP en todos los niveles de esparsidad (por ejemplo, al 95.0%, ERK+ASR-q50 alcanzó 41.20% frente a LAMP+ASR-q50 en 38.07%).
• ResNet-18 / CIFAR-100: LAMP mostró una ligera ventaja, pero la brecha fue más estrecha que en otras configuraciones.
• DenseNet-121: En CIFAR-10, ASR Recortado superó sustancialmente a ASR-q50, invirtiendo el patrón observado en ResNets. Esto sugiere que la conectividad densa de DenseNet crea un paisaje de activación frágil donde la corrección agresiva se excede.

Regímenes de Transición

• ResNet-50 / CIFAR-100: La transición donde BN falla pero ASR tiene éxito ocurre alrededor del 92–93% de esparsidad.
• DenseNet-121 / CIFAR-100: La transición ocurre mucho antes, alrededor del 70–80% de esparsidad. Para el 85%, la mayoría de los métodos colapsan, y solo ASR Recortado retiene utilidad marginal.
• ImageNet-100: La brecha entre ERK y LAMP fue menor que en CIFAR-100, lo que sugiere que conjuntos de datos/modelos más grandes retienen más señal distribuida, estrechando la región de transición sensible a la reparación.

Sensibilidad a los Límites

El análisis de sensibilidad en los límites de ASR Recortado mostró que el rendimiento es estable en límites más amplios (por ejemplo, $[0.25, 4.00]$ y $[0.50, 2.00]$), pero se degrada significativamente cuando los límites se ajustan demasiado conservadoramente (por ejemplo, $[0.80, 1.25]$).

Significado y Afirmaciones

El artículo afirma que la asignación de esparsidad y la reparación sin etiquetas no son decisiones de diseño independientes. Las propiedades estructurales de una asignación (cómo distribuye la densidad a través de tamaños y tipos de capas) interactúan con la conectividad de la arquitectura para determinar el paisaje de activación por canal disponible para la reparación.

• Implicación Práctica: En escenarios de despliegue sin etiquetas, seleccionar una estrategia de asignación de esparsidad requiere considerar la capacidad de reparación aguas abajo. Una asignación "mejor" para una arquitectura/conjunto de datos puede ser "peor" para otra.
• Perspectiva Teórica: La existencia de un "régimen de transición sensible a la reparación" destaca una ventana operativa crítica donde las elecciones de asignación tienen el impacto más significativo en la recuperabilidad. Fuera de esta ventana (baja esparsidad donde BN funciona, o esparsidad extrema donde el colapso es irreversible), la sensibilidad a la asignación disminuye.
• Limitaciones: Los autores señalan que el mecanismo de relación de varianzas asume que las estadísticas del modelo denso son un objetivo apropiado, lo cual podría no cumplirse si la distribución de calibración difiere de la distribución de prueba. Además, ASR no es un sustituto del ajuste fino con etiquetas; cuando las etiquetas están disponibles, el ajuste fino enmascarado supera sustancialmente a ASR (por ejemplo, 71.49% vs. 25.96% en CIFAR-100 al 92.5% de esparsidad).

En conclusión, el artículo establece que comprender la interacción entre la asignación aguas arriba y la reparación aguas abajo es necesario para desplegar de manera fiable la recuperación post-poda sin etiquetas.