Resumen Técnico: Compresión de Segundo Orden Post-Entrenamiento para Redes Neuronales de Picos

1. Planteamiento del Problema

Las Redes Neuronales de Picos (SNN, por sus siglas en inglés) ofrecen ventajas significativas de eficiencia energética para el hardware neuromórfico (p. ej., Loihi, SpiNNaker, TrueNorth) debido a su naturaleza dispersa y basada en eventos. Sin embargo, estas plataformas de hardware poseen recursos de memoria y computación limitados, lo que requiere la compresión de modelos.

Los métodos de compresión de vanguardia (SOTA) actuales para las SNN enfrentan dos limitaciones principales:

1. Alto Costo Computacional: La mayoría de las técnicas existentes de poda y cuantización dependen de ciclos iterativos de poda y reentrenamiento o requieren entrenar desde cero (p. ej., enfoques de la Hipótesis del Billete de Lotería). Esto es prohibitivamente costoso para SNN a gran escala, pre-entrenadas, como SEW-ResNet152 o los Transformers de Picos.
2. Inaplicabilidad de los Métodos de ANN: La aplicación ingenua de métodos de compresión post-entrenamiento de un solo paso diseñados para Redes Neuronales Artificiales (ANN), como la Compresión Cerebral Óptima (OBC), produce resultados subóptimos. Esto se debe a una desconexión fundamental entre los objetivos de salida continuos de las ANN y los trenes de picos discretos y dependientes del tiempo de las SNN.

El artículo aborda la necesidad de un marco de compresión post-entrenamiento de un solo paso computacionalmente eficiente que pueda manejar arquitecturas SNN modernas y a gran escala sin requerir reentrenamiento.

2. Metodología: Compresión de Cerebro de Picos (SBC)

Los autores proponen la Compresión de Cerebro de Picos (SBC), un algoritmo de compresión de segundo orden por capa que extiende el marco de Optimal Brain Surgeon (OBS) a las SNN.

2.1. Formulación por Módulos

Las SNN se comprimen módulo por módulo, donde un módulo consiste en capas lineales/convolucionales seguidas de una capa de neurona de Integración y Disparo con Fuga (LIF). El objetivo es encontrar pesos comprimidos $\hat{W}$ que minimicen la distorsión entre el tren de picos de salida original $S$ y la salida comprimida $\hat{S}$.

2.2. Función de Pérdida: Distancia de Van Rossum (VRD)

A diferencia de las ANN que minimizan el error cuadrático en activaciones continuas, la SBC minimiza la Distancia de Van Rossum (VRD) al cuadrado entre los trenes de picos. La VRD tiene en cuenta la distancia temporal entre los picos utilizando un núcleo exponencial decreciente $k(t)$.
La función de pérdida se define como:
$$L(W) = ||MS - M\hat{S}||_2^2$$
donde $M$ es una matriz de convolución que representa el núcleo $k(t)$ a través de los pasos de tiempo. Esta formulación asegura que la pérdida refleje la relevancia biológica del tiempo de los picos en lugar de solo la coincidencia binaria.

2.3. Potencial de Membrana Sustituto (SMP) y Derivación de la Hessiana

Calcular directamente la Hessiana de la pérdida VRD es complejo debido a la función Heaviside no diferenciable en el mecanismo de generación de picos ($S[t] = \Theta(U[t] - V_{th})$).
Para abordar esto, los autores introducen el Potencial de Membrana Sustituto (SMP):

• Reemplazan la función de pico no diferenciable con un gradiente sustituto diferenciable $g(u)$.
• Asumen un gradiente sustituto constante $g(u) = c$ (tratando efectivamente a la neurona como activa dentro de una ventana específica), lo que simplifica el cálculo de la Hessiana.
• Bajo este supuesto, la Hessiana $H$ se convierte en el valor esperado de $2(MX)^T(MX)$, donde $X$ es la corriente de entrada.
• Esto resulta en una Hessiana que es fácilmente computable y analíticamente tratable, permitiendo una sola pasada hacia atrás para estimar las actualizaciones óptimas de los pesos.

2.4. Algoritmos de Compresión

• Poda: La SBC utiliza la Hessiana derivada para realizar una poda no estructurada. Emplea una Esparcidad Adaptativa por Capa para la Puntuación de Poda Basada en Magnitud (LAMPS) para determinar los objetivos de esparcidad por módulo. Los pesos se podan en lotes utilizando la Identidad de la Matriz de Woodbury para actualizar la inversa de la Hessiana de manera eficiente, evitando el costo $O(N^3)$ de la inversión completa de la matriz en cada paso.
• Cuantización: El marco adapta el algoritmo de Cuantización Post-Entrenamiento Greedy (GPTQ), reemplazando la Hessiana estándar de ANN con la Hessiana basada en SMP ($H_{SMP}$). Esto permite la compensación óptima de pesos durante la cuantización para minimizar la distorsión del tren de picos.

3. Contribuciones Clave

1. Formalización de la Pérdida basada en VRD: El artículo formaliza una función de pérdida basada en la Distancia de Van Rossum para la compresión de SNN por capa y deriva una matriz Hessiana eficiente y muestrable.
2. Algoritmo SBC: Desarrollo de un algoritmo de compresión de segundo orden de un solo paso (SBC) que soporta arquitecturas modernas, incluyendo CNN de picos profundas (SEW-ResNet) y Transformers de Picos.
3. Desempeño de Vanguardia (SOTA): Demostración de resultados de compresión post-entrenamiento de un solo paso SOTA en benchmarks neuromórficos (N-MNIST, CIFAR10-DVS) y conjuntos de datos estáticos a gran escala (CIFAR-100, ImageNet).
4. Robustez ante la Escasez de Datos: Estudios de ablación que muestran un rendimiento estable incluso con tamaños de datos de calibración de menos de una muestra por clase.

4. Resultados Experimentales

Los autores evaluaron la SBC en varios conjuntos de datos y arquitecturas, comparándola contra la poda basada en magnitud (MBP) ingenua, ExactOBS (OBC adaptada para SNN) y métodos iterativos de PAT (como la cuantización post-entrenamiento).

4.1. Desempeño de la Poda

• Benchmarks Neuromórficos: La SBC supera significativamente a ExactOBS y MBP, especialmente en niveles altos de esparcidad. Por ejemplo, en N-MNIST con un 97% de esparcidad, la SBC mantuvo la precisión con solo una caída del 1.59%, mientras que ExactOBS sufrió una caída del 45.07%.
• Conjuntos de Datos Estáticos (ImageNet): La SBC comprimió con éxito SEW-ResNet152 y los Transformers impulsados por picos. Igualó o superó la precisión de los métodos iterativos de PAT (como UPF y STDS) y, en algunos casos, se acercó a su precisión, pero con de 1 a 3 órdenes de magnitud menos de tiempo computacional.
• Escala: El trabajo representa la primera poda no estructurada conocida de SNN con más de 34 capas y la primera poda de un Transformer de Picos entrenado en un conjunto de datos de escala ImageNet.

4.2. Desempeño de la Cuantización

• La SBC fue probada en cuantización de 4 bits, 3 bits y 2 bits.
• Aunque la SBC no superó consistentemente a los baselines en anchos de bits más altos (4 bits) en todos los conjuntos de datos, logró los mejores resultados en el ancho de bits más bajo (2 bits), superando significativamente al siguiente mejor método (p. ej., 28.11% en N-MNIST).
• El método demostró que la compensación de pesos mediante la Hessiana es crucial para el despliegue de bajos bits, aunque señaló un problema de "fuera de límites" donde los pesos compensados a veces excedían el rango de la rejilla de cuantización.

4.3. Eficiencia y Calibración

• Operaciones Sinápticas (SOPs): La SBC redujo eficazmente las SOPs (un proxy para el consumo de energía) manteniendo la precisión. Por ejemplo, podar SEW-ResNet18 al 72.26% de esparcidad redujo las SOPs de 1134.4M a 697.24M con una pérdida mínima de precisión.
• Tamaño de Calibración: El método demostró ser robusto con conjuntos de calibración muy pequeños. Para SEW-ResNet18 en ImageNet, se logró un rendimiento competitivo con tan solo 100 imágenes de calibración (0.1 imágenes por clase).

5. Significación y Reclamaciones

El artículo afirma que la SBC proporciona una alternativa computacionalmente eficiente a los procesos de reentrenamiento completo para la compresión de SNN. Al aprovechar una aproximación de segundo orden adaptada a los trenes de picos, la SBC permite el despliegue de SNN pre-entrenadas a gran escala en hardware neuromórfico con recursos limitados sin el costo prohibitivo del reentrenamiento iterativo.

Los autores posicionan a la SBC como un paso necesario hacia la aplicación práctica de las SNN de próxima generación (incluyendo redes profundas y Transformers) en escenarios de computación de bajo consumo, borde (edge computing) y robótica. Reconocen limitaciones, específicamente el problema de "fuera de límites" en la cuantización y la alta complejidad espacial de las matrices Hessianas personalizadas para dimensiones de salida muy grandes, identificándolos como áreas para el trabajo futuro.