Resumen Técnico: Compresión de Redes Neuronales Profundas mediante la Realización Mínima Empírica vía Pruebas de Controlabilidad–Observabilidad

1. Planteamiento del Problema

Las redes neuronales profundas (DNN) exhiben frecuentemente una redundancia sustancial en sus estados ocultos, sin embargo, la mayoría de las técnicas de compresión existentes operan directamente sobre los pesos, las neuronas o la precisión numérica sin caracterizar explícitamente el rol dinámico de los estados internos. Los métodos estándar como la poda (pruning), la cuantización y la factorización de bajo rango a menudo no logran responder a una pregunta fundamental de espacio de estados: ¿qué direcciones del estado oculto son realmente excitadas por la distribución de los datos y cuáles de esas direcciones son relevantes para la salida? En consecuencia, estos métodos pueden reducir el recuento de parámetros o el almacenamiento, pero no necesariamente reducen el orden efectivo del estado oculto ni la latencia de inferencia densa asociada con capas anchas.

2. Metodología

El artículo propone un marco de teoría de control para la reducción del orden del estado de forma empírica, tratando una DNN de alimentación hacia adelante (feedforward) entrenada como un sistema dinámico indexado por profundidad.

2.1 Formulación del Espacio de Estados

La red se modela como una secuencia de transiciones no lineales:
$$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$$
donde $h_\ell$ representa el estado oculto en la capa $\ell$, y $z$ denota los logits de salida. La entrada $x$ es tratada como el estado inicial $h_0$. El objetivo es estimar el "orden del estado oculto útil": el número de direcciones ocultas que son tanto alcanzables desde los datos como observables en la salida.

2.2 Pruebas Empíricas A/B/C

Los autores introducen tres pruebas por capa basadas en Gramianos empíricos derivados de instantáneas (snapshots) de estados ocultos y Jacobianos de salida:

• Prueba A (Alcanzabilidad): Mide qué direcciones ocultas son excitadas por los datos de entrada. Calcula el Gramiano de alcanzabilidad empírico ($G_{c,\ell}$) como la covarianza de las instantáneas centradas del estado oculto. El rango se determina por la energía espectral necesaria para capturar la varianza inducida por los datos.
• Prueba B (Observabilidad): Mide qué direcciones ocultas influyen en los logits de salida. Calcula el Gramiano de observabilidad empírico ($G_{o,\ell}$) utilizando los Jacobianos de salida ($J_\ell = \partial z / \partial h_\ell$) con respecto a los estados ocultos. El rango refleja las direcciones que afectan significativamente la salida del clasificador.
• Prueba C (Equilibrada Alcanzable–Observable): Combina ambos criterios para identificar las direcciones que son simultáneamente alcanzables desde la distribución de los datos y observables a través de la salida. Construye una matriz equilibrada $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$. El rango C-equilibrado resultante ($r_\ell$) estima el número mínimo de estados ocultos necesarios para preservar el comportamiento de entrada-salida.

2.3 Reducción Proyectada vs. Realizada

Se establece una distinción crítica entre dos modos de reducción:

1. Reducción Proyectada: Mapea los estados ocultos a coordenadas de menor dimensión utilizando bases aprendidas. Esto diagnostica la redundancia pero retiene los pesos originales de la red completa y las bases de proyección, fallando en reducir el almacenamiento o la latencia de inferencia densa.
2. Compresión Realizada: Utiliza los rangos C-equilibrados ($r_\ell$) directamente como los anchos reales de las capas ocultas de una nueva arquitectura de DNN compacta. Esta nueva red se entrena desde cero o mediante destilación de conocimiento, resultando en una reducción genuina de parámetros y del orden del estado.

3. Contribuciones Clave

• Formulación Basada en Estados: El artículo formula las DNN de alimentación hacia adelante como sistemas de espacio de estados no lineales indexados por profundidad, definiendo el "orden del estado oculto" como una cantidad distinta y relevante para la compresión, separada del recuento de parámetros.
• Marco de Controlabilidad–Observabilidad Empírica: Propone pruebas A/B/C basadas en datos para estimar las dimensiones útiles de los estados ocultos por capa utilizando Gramianos empíricos y Jacobianos.
• Compresión C-Equilibrada Realizada: Introduce un método donde los rangos C-equilibrados estimados se convierten en los anchos físicos de una nueva red compacta, cerrando la brecha entre la reducción de modelos teórica y el diseño de arquitecturas desplegables.
• Evaluación Exhaustiva: El método es evaluado frente a la reducción basada en proyección, la poda estructurada/no estructurada, la SVD de bajo rango, la cuantización dinámica INT8 y líneas base lineales en MNIST y CIFAR-10.

4. Resultados Experimentales

El marco fue evaluado en DNNs de tipo totalmente conectadas con función de activación SiLU entrenadas en MNIST y CIFAR-10.

4.1 Resultados de MNIST

• Compresión: Una DNN de 4 capas con un orden de estado completo de 1024 se redujo a un orden de estado de 277 (72.95% de compresión de estado).
• Parámetros: El recuento de parámetros cayó de 400,906 a 106,323 (73.48% de compresión, aproximadamente una reducción de 3.77$\times$).
• Precisión: El modelo C-equilibrado realizado alcanzó una precisión del 95.45%, comparado con el 96.60% del modelo completo (una caída de 1.15 puntos porcentuales).
• Latencia: La latencia de inferencia se mantuvo comparable a la del modelo completo debido a la reducción en las dimensiones de las matrices densas.

4.2 Resultados de CIFAR-10

• Compresión: Una DNN más grande con un orden de estado completo de 4608 se redujo a 1339 (70.94% de compresión de estado).
• Parámetros: El recuento de parámetros disminuyó de 9.97M a 1.69M (83.09% de compresión, aproximadamente una reducción de 5.91$\times$).
• Precisión: El modelo realizado preservó la precisión en un 54.44%, virtualmente idéntico al 54.45% del modelo completo.
• Latencia: La latencia de inferencia en CUDA se redujo aproximadamente 3.0$\times$ (de 0.001582 ms/muestra a 0.000525 ms/muestra).

4.3 Comparación con Líneas Base

• Poda (Pruning): La poda no estructurada (50%) mantuvo la precisión pero no redujo el orden del estado ni la latencia densa. La poda estructurada hacia los rangos C-equilibrados sin ajuste fino (fine-tuning) falló (34.50% de precisión), pero con ajuste fino, se recuperó hasta el 91.75% (MNIST) o 55.22% (CIFAR-10), lo que sugiere que los rangos C-equilibrados proporcionan dimensiones objetivo válidas.
• SVD: La SVD de bajo rango (fracción 0.5) causó una degradación significativa de la precisión (85.50% en MNIST, 39.06% en CIFAR-10), indicando que la factorización de pesos local por capa no preserva la geometría no lineal de entrada-salida tan eficazmente como el enfoque C-equilibrado basado en estados.
• Cuantización: La cuantización INT8 redujo el almacenamiento pero dejó sin cambios el orden del estado y el ancho de la arquitectura.

5. Significado y Reivindicaciones

El artículo sostiene que los rangos equilibrados de alcanzabilidad-observabilidad proporcionan un criterio de realización mínima empírica basado en principios para diseñar arquitecturas de redes compactas.

• Puente Teórico: El trabajo conecta la reducción de modelos de la teoría de control (específicamente la truncación equilibrada) con la compresión de redes neuronales, adaptando los Gramianos empíricos para sistemas no lineales impulsados por datos.
• Utilidad Práctica: A diferencia de los métodos basados en proyección que solo diagnostican la redundancia, el enfoque "realizado" propuesto convierte estos diagnósticos en redes más pequeñas y desplegables con menos parámetros y menor latencia.
• Enfoque en el Orden del Estado: Los resultados demuestran que se puede lograr una compresión significativa apuntando al orden del estado oculto (la dimensión de las representaciones internas) en lugar de solo al recuento de pesos, a menudo con poca o ninguna pérdida de precisión.
• Modestia sobre las Limitaciones: Los autores reconocen que los rangos son empíricos y dependen de los datos, careciendo de límites de error teóricos de caso peor para sistemas no lineales. También señalan el costo computacional de estimar los Gramianos de observabilidad y la necesidad de reentrenar la arquitectura comprimida. Los experimentos actuales se centran en redes totalmente conectadas para proporcionar un entorno controlado, mencionando las extensiones a CNNs y Transformers como trabajo futuro.

En resumen, el artículo argumenta que, al observar las DNN a través de la lente de la controlabilidad y la observabilidad, es posible identificar y eliminar las direcciones de estado oculto redundantes que no son excitadas por los datos o que son irrelevantes para la salida, permitiendo así la construcción de redes neuronales eficientes y de alto rendimiento.