A Hierarchical Importance-Guided Multi-objective Evolutionary Framework for Deep Neural Network Pruning

Título: Un Marco Evolutivo Multiobjetivo Jerárquico Guiado por Importancia para la Poda de Redes Neuronales Profundas

1. El Problema

La optimización de redes neuronales profundas (DNN) sobredimensionadas representa un problema de decisión a gran escala, de alta dimensión y fuertemente no convexo. Los métodos actuales de poda, tanto basados en gradientes como evolutivos, enfrentan dificultades significativas para escalar a estas dimensiones debido a:

• Espacios de búsqueda planos: Intentar optimizar millones de pesos binarios (retener o eliminar) directamente es computacionalmente prohibitivo.
• Objetivos scalarizados: Muchos métodos combinan precisión y esparsidad en una sola función de pérdida, lo que dificulta encontrar soluciones equilibradas y puede llevar a una convergencia prematura.
• Costo computacional: La necesidad de reentrenamiento repetido y la exploración de espacios de búsqueda masivos hacen que los enfoques existentes sean ineficientes.
  El desafío central es lograr una compresión significativa del modelo (reducción de parámetros) manteniendo la precisión predictiva, lo que se formula naturalmente como un problema de Optimización Multiobjetivo (MOO) donde la precisión y la esparsidad son objetivos conflictivos.

2. Metodología

Los autores proponen un marco evolutivo de dos fases que reformula la poda de redes convolucionales (CNN) como un problema de optimización multiobjetivo a gran escala jerárquico. El enfoque combina la exploración global con la explotación localizada:

• Fase 1: Búsqueda Global Continua (Exploración Coarse-grained)

  • Objetivo: Reducir la dimensionalidad del problema y explorar el paisaje general de compensación entre precisión y esparsidad.
  • Mecanismo: Se realiza una búsqueda evolutiva en un espacio continuo de umbrales de poda. En lugar de seleccionar pesos individuales, el algoritmo evoluciona pares de umbrales $(th_1, th_2)$ que definen un intervalo de magnitudes de pesos a eliminar.
  • Resultado: Genera una primera frontera de Pareto ($P_1$) que identifica regiones prometedoras y define dos "modelos ancla": uno denso (alta precisión, poca poda) y otro ligero (alta compresión, menor precisión). Estos ancla delimitan el espacio de búsqueda factible para la siguiente fase.

• Fase 2: Refinamiento Binario Guiado por Importancia (Explotación Local)

  • Objetivo: Refinar la búsqueda dentro de la región esparsa definida por la Fase 1 para encontrar soluciones óptimas de Pareto más densas y precisas.
  • Mecanismo: Se formula como un problema de optimización binaria (máscaras de poda).
    • Inicialización Guiada por Importancia: En lugar de inicializar aleatoriamente, la población se genera dentro del "corredor de búsqueda" definido por los ancla de la Fase 1. La probabilidad de podar un peso se calcula estocásticamente basándose en su importancia relativa (magnitud normalizada dentro de su capa) y restricciones estructurales de la capa. Esto asegura que los pesos críticos se mantengan con mayor probabilidad.
    • Optimización Evolutiva: Se utilizan algoritmos evolutivos multiobjetivo (NSGA-II y MOEA/D) para evolucionar las máscaras binarias, optimizando simultáneamente el número de pesos no nulos y el error de clasificación.
  • Resultado: Se obtiene una segunda frontera de Pareto ($P_2$) que, al combinarse con $P_1$, llena las regiones vacías y ofrece un conjunto de soluciones mejor distribuido.

3. Contribuciones Clave

1. Optimización Jerárquica a Gran Escala: Conceptualiza la poda como un proceso de dos niveles (umbrales continuos seguidos de refinamiento binario), permitiendo escalar a redes con millones de parámetros sin colapsar computacionalmente.
2. Frente de Pareto Bien Distribuido: La estrategia de dos fases permite descubrir una región subexplorada de alto rendimiento en la frontera de Pareto, llenando los huecos que los métodos de poda continua dejan vacíos.
3. Formulación MOO Guiada por Importancia: La Fase 2 utiliza criterios de importancia para sesgar la inicialización y la búsqueda, equilibrando la reducción de complejidad con la preservación de la capacidad representativa del modelo.
4. Validación Exhaustiva: El marco se evalúa en múltiples arquitecturas (ResNet-18, 50, 56, 101, 110, 152) y conjuntos de datos (CIFAR-10 y CIFAR-100), demostrando robustez y superioridad frente a métodos existentes.

4. Resultados

Los experimentos demuestran la eficacia del método en comparación con enfoques evolutivos y estructurados de última generación:

• Reducción de Parámetros: Se lograron reducciones de parámetros de hasta 51.9% en CIFAR-10 y 38.9% en CIFAR-100 con una pérdida de precisión casi nula en comparación con los métodos de referencia.
• Mejora del Volumen Hiper (Hypervolume - HV): La integración de la Fase 2 aumentó consistentemente el volumen hiper de la frontera de Pareto (entre +0.04 y +0.06), indicando una mejor cobertura del espacio de soluciones óptimas.
• Comparación con el Estado del Arte: En ResNet-56 y ResNet-110, el método propuesto superó a otros métodos (como DeepPruningES, WIEA, Bi-CNN-Pruning) logrando ratios de poda más altos (ej. 50.9% en ResNet-56 en CIFAR-10) manteniendo un aumento de error dentro de rangos aceptables (1.23%).
• Desempeño de Algoritmos: Tanto NSGA-II como MOEA/D funcionaron bien en la Fase 2, aunque MOEA/D mostró una ligera ventaja en la generación de soluciones no dominadas en arquitecturas más profundas.

5. Significado e Impacto

Este trabajo ofrece un paradigma generalizable para resolver problemas de optimización multiobjetivo a muy gran escala donde el espacio de decisiones es exponencialmente grande.

• Eficiencia Computacional: Al reducir el espacio de búsqueda antes de la búsqueda binaria fina, el método hace viable la optimización evolutiva en DNNs profundas, algo que antes se consideraba prohibitivo.
• Equilibrio Precisión-Eficiencia: Proporciona a los investigadores y practicantes un conjunto diverso de modelos pre-entrenados que ofrecen diferentes compensaciones entre tamaño y rendimiento, facilitando la selección de modelos para dispositivos con recursos limitados.
• Limitaciones y Futuro: Actualmente se basa en poda no estructurada (a nivel de pesos), lo que puede no traducirse directamente en aceleración de hardware sin kernels especializados. El trabajo futuro se dirige hacia la poda estructurada (canales y filtros) para mejorar la interpretabilidad y la aceleración práctica en hardware real.

En resumen, el marco propuesto cierra la brecha entre la eficiencia computacional y el rendimiento del modelo, estableciendo una ruta escalable para la optimización multiobjetivo en redes neuronales profundas.