Resumen Técnico: Poda de Redes Neuronales Profundas mediante la Distribución de Marchenko–Pastur

1. Declaración del Problema

El artículo aborda el desafío de comprimir Redes Neuronales Profundas (DNN), específicamente Vision Transformers (ViTs) y Redes Neuronales Convolucionales (CNN), para su despliegue bajo restricciones estrictas. El objetivo principal es lograr una escasez significativa (reduciendo las operaciones de Multiplicación-Acumulación, o MACs) manteniendo una alta precisión, pero con una restricción crítica: un presupuesto de ajuste fino (fine-tuning) post-poda mínimo.

Los procesos de poda existentes suelen depender de cronogramas de reentrenamiento prolongados o de una reoptimización extensiva para recuperar la precisión tras la poda. Este trabajo investiga si un enfoque de matrices aleatorias de Marchenko–Pastur (MP) puede proporcionar "certificados de trayectoria de datos" deterministas que permitan una poda precisa con cronogramas de calibración y ajuste fino muy cortos (por ejemplo, un ciclo por época o tres épocas de destilación). El problema central es distinguir entre el "ruido" (componentes de tipo aleatorio que pueden eliminarse) y la "señal" (componentes estructurados que deben preservarse) dentro de las matrices de pesos entrenadas sin acceso a datos de validación o de prueba durante la fase de construcción de la máscara.

2. Metodología

2.1 Marco Teórico: Señal vs. Ruido

Los autores proponen un supuesto de modelado donde una matriz de pesos entrenada $W$ en la capa $\ell$ puede descomponerse en un componente de señal estructurada $S$ y un componente de perturbación aleatoria $R$:
$$W = S + R$$

• Señal ($S$): Se asume que es de bajo rango o aproximadamente de bajo rango en relación con el ancho de la capa, representando características aprendidas.
• Ruido ($R$): Modelado como una perturbación aleatoria independiente. Bajo la ley de Marchenko–Pastur (MP), los valores singulares de tales matrices aleatorias forman un "bulk" o masa de distribución con un borde superior $\sigma_+$ conocido.

La teoría postula que si el componente eliminado $R$ tiene un efecto de logit propagado pequeño, la poda disminuye un objetivo de elástica-net y preserva las muestras con márgenes densos suficientes.

2.2 Algoritmos de Poda

El artículo introduce dos estrategias algorítmicas primarias basadas en este marco teórico:

1. SER (Sparsify–Estimate–Restore / Escasecer–Estimar–Restaurar):

   • Mecanismo: Comienza con un candidato sobre-podado (eliminando pesos basados en presupuestos guiados por MP). Luego evalúa la "masa perdida" a través de la trayectoria de datos y restaura las entradas que son más útiles para el modelo disperso objetivo.
   • Híbrido de Magnitud–SER: Combina la poda de magnitud estándar (efectiva en escasez baja) con SER (efectiva en escasez alta) para aprovechar la estabilidad de la poda de magnitud y la sensibilidad espectral de SER.

2. CAST (Sparsity Estructurada):

   • Mecanismo: Apunta a patrones de escasez estructurada $k:n$ fijos (por ejemplo, 2:4, 6:12, 8:16), los cuales son compatibles con aceleradores de hardware como los NVIDIA Tensor Cores.
   • Proceso: Utiliza un objetivo inspirado en certificados para seleccionar qué entradas mantener dentro de un grupo. Emplea un concepto de "restauración libre": dentro de un grupo donde el costo de ejecución ya está fijado por el patrón de escasez, restaurar una entrada mantenida puede mejorar el certificado teórico sin cambiar el número de pesos ejecutados.
   • Integración con ToMe: Para Vision Transformers, el método combina la poda de pesos con el Token Merging (ToMe) para reducir el número de tokens procesados, reduciendo aún más la carga computacional.

2.3 Certificados Teóricos

El artículo proporciona tres resultados teóricos principales para justificar la poda:

• Certificado Determinista de Trayectoria de Datos: Demuestra que si el componente eliminado $R$ satisface un límite en su efecto de logit propagado ($L_s \|R\psi_1(s)\|_\infty$), la poda disminuye un objetivo de elástica-net y preserva las muestras de entrenamiento cuyo margen denso supera el doble de la perturbación.
• Certificado de Poda–Restauración: Modela la escasez estructurada, mostrando que restaurar entradas dentro de un grupo de ejecución dispersa fijo puede mejorar el límite sin alterar el patrón de ejecución final.
• Teoría de Regularización Aditiva $L_2$: Demuestra que bajo estacionariedad unilateral y convergencia de trayectoria local, los componentes aleatorios admisibles desaparecen en el límite de entrenamiento, mientras que los picos de señal persistentes se estabilizan a medida que el bulk de MP colapsa.

3. Resultados Clave

3.1 Poda No Estructurada (ViT-B/16)

En ImageNet-1k, el método Híbrido de Magnitud–SER logró una precisión top-1 del 83.37% con un 50% de escasez no estructurada. Esto representa una caída de solo 1.74 puntos porcentuales (pp) respecto a la línea base densa (85.11%), lograda con un presupuesto de ajuste fino muy corto (un ciclo por época). Esto superó tanto a la poda de magnitud clásica (81.67%) como a una línea base directa de Teoría de Matrices Aleatorias (RMT) (82.57%) bajo idénticas condiciones.

3.2 Escasez Estructurada y Despliegue

El artículo reporta resultados para patrones estructurados $k:n$, distinguiendo entre la contabilidad de precisión/MACs y las aceleraciones reales de hardware:

• ViT-B/16 (2:4 + ToMe): Logró 83.41% top-1 (−1.70 pp) con una reducción del 59.81% en los MACs de ejecución dispersa. En una NVIDIA A40, este checkpoint demostró una aceleración nativa de 1.388× en Sparse Tensor Cores.
• ViT-B/16 (Sin ToMe, A100): Un endpoint separado logró una aceleración de 2.705× al pasar de denso a escasez 2:4 sin ToMe.
• Patrones más amplios:
  • ViT-B/16 (6:12): 83.74% top-1.
  • ViT-L/16 (8:16 denso+permutación): 85.33% top-1 (−0.51 pp).
  • ConvNeXtV2-Base (12:16): 86.35% top-1 (−0.37 pp).
• CNNs:
  • ResNet50 (8:16 denso+permutación): 75.87% top-1 (−0.26 pp).
  • ResNet152d (CAST-conv+permutación): 81.33% top-1 (−1.53 pp) con una aceleración de 1.62× en A40 im2col+2:4 sparse-GEMM.

3.3 Leyes de Escalamiento

La evidencia empírica sugiere que los checkpoints densos más grandes tienden a incurrir en penalizaciones de top-1 menores en niveles de escasez equivalentes. Los autores atribuyen esto a que el borde de MP es un objeto espectral asintótico mejor resuelto en matrices más grandes, y que las capas más anchas y sobreparametrizadas contienen un "reservorio de bulk de tipo aleatorio" más grande cuya eliminación tiene un efecto mínimo en la trayectoria de datos.

4. Significancia y Reivindicaciones

El artículo afirma que sus principales contribuciones son:

1. Retención de Precisión con Presupuestos Cortos: Demostrar que se puede retener una alta precisión tras la poda con un ajuste fino mínimo (por ejemplo, 3 épocas de destilación para CAST), contrastando con los procesos que requieren un reentrenamiento largo.
2. Certificados Deterministas: Proporcionar garantías teóricas que vinculan la eliminación de componentes de tipo aleatorio (identificados mediante diagnósticos de MP) con la preservación de la precisión, específicamente para muestras con márgenes grandes.
3. Desplegabilidad Práctica: Validar que estas señales teóricas se traducen en aceleraciones reales en hardware (A40/A100) tanto para ViTs como para CNNs, particularmente cuando se combinan con patrones de escasez estructurada (2:4, 6:12, etc.).
4. Asignación por Capas: Utilizar diagnósticos espectrales de MP para asignar diferentes presupuestos de poda a diferentes capas basándose en sus propiedades espectrales (tratando las capas de tipo MP como candidatas para presupuestos mayores mientras se protegen las capas no-MP o de cola pesada).

Los autores declaran explícitamente que el borde de MP sirve como una condición de matriz aleatoria suficiente y una señal práctica por capa, más que como un límite certificado completo para todas las arquitecturas de transformers. El trabajo se presenta como un enfoque "inspirado en certificados" donde la teoría motiva el algoritmo, y los resultados empíricos validan la eficacia de la estrategia de poda de presupuesto corto.