Investigating the Effect of Network Pruning on Performance and Interpretability

Resumen Técnico: Investigación del Efecto de la Poda de Redes en el Rendimiento y la Interpretabilidad

Enunciado del Problema
Las Redes Neuronales Profundas (DNN), como GoogLeNet, suelen estar sobredimensionadas, lo que genera desafíos para su implementación en entornos con recursos limitados. Si bien la poda de redes neuronales es una técnica establecida para reducir el tamaño del modelo, la literatura existente se ha centrado principalmente en métricas de rendimiento como la precisión y la complejidad espacial. Existe una brecha notable en la comprensión de cómo diferentes estrategias de poda afectan la interpretabilidad del modelo. Además, aunque existen métodos para cuantificar la interpretabilidad, como la Puntuación de Interpretabilidad Mecanicista (MIS), su fiabilidad y su alineación con nociones intuitivas de interpretabilidad (por ejemplo, comprender la base de las decisiones correctas) en el contexto de redes podadas siguen siendo poco exploradas.

Metodología
Los autores investigaron sistemáticamente el impacto de la poda en GoogLeNet utilizando tres estrategias distintas:

1. Poda No Estructurada: Elimina pesos individuales a través de la red basándose en su magnitud, creando dispersión irregular.
2. Poda Estructurada: Elimina filtros o canales completos, resultando en patrones de dispersión regulares aptos para la aceleración por hardware.
3. Dispersión de Conexiones: Un enfoque novedoso para este estudio que se centra en podar canales de entrada en lugar de canales de salida. Esto busca preservar la integridad estructural mientras se reducen las conexiones.

El estudio evaluó estas estrategias bajo dos regímenes de reentrenamiento:

• Poda de Un Solo Paso: Se poda una gran parte de la red en un solo paso, seguido de reentrenamiento.
• Poda Iterativa: La red se poda en incrementos más pequeños con reentrenamiento después de cada paso, permitiendo una adaptación gradual.

Los experimentos se realizaron en el conjunto de validación de ImageNet. Los autores probaron varios hiperparámetros, identificando SGD con un programador ExponentialLR y 50 épocas de entrenamiento como óptimos para el reentrenamiento. Para evaluar la interpretabilidad, los autores emplearon la Puntuación de Interpretabilidad Mecanicista (MIS) desarrollada por Zimmermann et al., que mide la similitud perceptual entre las explicaciones (imágenes que maximizan las activaciones de los filtros) y las consultas.

Resultados Clave

• Rendimiento:

  • La Dispersión de Conexiones superó tanto a la poda no estructurada como a la estructurada. Cabe destacar que, al podar el 80% de los parámetros del modelo mediante Dispersión de Conexiones y reentrenar, se obtuvo una precisión de validación del 70.5%, superando el rendimiento de GoogLeNet por defecto.
  • La poda iterativa produjo consistentemente una mayor precisión que la poda de un solo paso, aunque incurrió en un mayor costo computacional (requiriendo aproximadamente 50 épocas por paso de poda).
  • Contrario a la suposición de que la poda degrada el rendimiento, los autores observaron que, con suficiente reentrenamiento, las redes podadas podían aproximar o incluso superar la precisión de la línea base no podada. Por ejemplo, un modelo con el 60% de sus parámetros podados alcanzó una precisión del 72.286%, en comparación con el 72.1% de un GoogLeNet estándar entrenado durante las mismas épocas adicionales.
  • La poda no estructurada sin ajuste fino resultó en caídas drásticas de la precisión, enfatizando la necesidad de reentrenamiento.

• Interpretabilidad:

  • Utilizando la métrica MIS, el estudio encontró ninguna relación significativa entre la tasa de poda y la interpretabilidad (coeficiente de correlación de 0.092).
  • Un hallazgo crítico fue que las redes con una precisión extremadamente baja (por ejemplo, 0.1%) aún podían alcanzar puntuaciones MIS altas. Esto sugiere que MIS mide la consistencia de las activaciones de las unidades en lugar de la corrección del proceso de toma de decisiones. Una red podría ser "interpretable" según los estándares de MIS (saber qué unidades se activan para entradas específicas) mientras realiza predicciones aleatorias o incorrectas.
  • Las puntuaciones MIS para la capa softmax fueron consistentemente bajas en todos los modelos, contradiciendo la expectativa de que las unidades de clase deberían ser altamente interpretables. Además, no hubo una correlación significativa entre la precisión por clase y las puntuaciones MIS en la capa softmax para los modelos podados probados.

Contribuciones Clave

1. Evaluación de la Dispersión de Conexiones: El artículo introduce y valida la "Dispersión de Conexiones" (poda de canales de entrada) como una estrategia de poda altamente efectiva para GoogLeNet, demostrando su capacidad para reducir el tamaño del modelo hasta en un 80% mientras mantiene o mejora la precisión.
2. Análisis Comparativo de Estrategias de Reentrenamiento: El estudio proporciona evidencia empírica comparando la poda iterativa frente a la de un solo paso, confirmando los beneficios de rendimiento de los enfoques iterativos mientras destaca su ineficiencia computacional.
3. Evaluación Crítica de MIS: Los autores desafían la utilidad de MIS como métrica independiente para la interpretabilidad en redes podadas. Demuestran que las puntuaciones MIS altas no necesariamente se correlacionan con una alta precisión o una toma de decisiones significativa, indicando una desalineación entre la métrica y la interpretabilidad intuitiva.

Significado y Afirmaciones
Los autores afirman que su trabajo contribuye al desarrollo de modelos de aprendizaje profundo más eficientes al identificar la Dispersión de Conexiones como un método de poda superior para GoogLeNet. Sin embargo, el artículo es modesto en cuanto a sus hallazgos sobre interpretabilidad. No afirma haber resuelto el problema de la interpretabilidad, sino que destaca las limitaciones de las métricas existentes como MIS. El estudio sugiere que las medidas actuales pueden no capturar los matices de la interpretabilidad del modelo tras la poda, particularmente cuando la calidad predictiva de la red es baja. En consecuencia, los autores abogan por el desarrollo de métricas más robustas que alineen las puntuaciones de interpretabilidad con la calidad de las decisiones tomadas por la red, una necesidad para implementar redes neuronales en aplicaciones críticas del mundo real.