One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression

Resumen Técnico: One Shot vs. Iterativo: Replanteando las Estrategias de Poda para la Compresión de Modelos

Planteamiento del Problema
A medida que las redes neuronales crecen en escala para abordar tareas complejas en visión computacional y procesamiento de lenguaje natural, su despliegue en dispositivos con recursos limitados se vuelve cada vez más impráctico. La poda (pruning) es una técnica primordial para reducir el tamaño del modelo y el costo computacional sin sacrificar significativamente el rendimiento. Sin embargo, la literatura exhibe un sesgo significativo hacia la propuesta de nuevos criterios de poda (por ejemplo, magnitud, sensibilidad, enfoques de teoría de juegos) mientras carece de una comparación sistemática de los regímenes de poda —específicamente, la elección entre la poda de un solo paso o "one-shot" (un único ciclo de entrenamiento, poda y reentrenamiento) y la poda iterativa (múltiples ciclos de estos pasos). La eficacia relativa de estas estrategias bajo diversas condiciones (diferentes ratios de poda, arquitecturas de modelos y criterios) sigue sin explorarse profundamente, lo que lleva a los profesionales a seleccionar métodos de manera arbitraria.

Metodología
Los autores realizaron un estudio empírico exhaustivo para aislar el régimen de poda como una variable, controlando el criterio de poda, la dispersión (sparsity) objetivo y las arquitecturas de los modelos. El estudio abarca tanto la poda estructurada como la no estructurada en Redes Neuronales Convolucionales (ResNet, EfficientNet), Vision Transformers (ViT) y un modelo de lenguaje basado en Transformer (TinyStories-33M).

Componentes metodológicos clave incluyen:

1. Definiciones de Régimen:
   • One-Shot: Un único paso de poda seguido de un ajuste fino (fine-tuning).
   • Iterativo Constante: Un número fijo de pesos eliminados en cada ciclo.
   • Iterativo Geométrico: Un porcentaje fijo de los pesos restantes eliminados en cada paso, reduciendo progresivamente el número de pesos podados.
   • Híbrido (Few-Shot): Una combinación propuesta donde se elimina una gran parte de los pesos en un paso inicial de tipo one-shot, seguido de una poda iterativa geométrica de grano fino.
2. Protocolo de Reentrenamiento: El estudio aboga por un ajuste fino basado en la paciencia (parada temprana basada en el rendimiento de validación) en lugar de conteos de épocas fijos, argumentando que esto adapta dinámicamente la duración del reentrenamiento a las necesidades reales de recuperación del modelo.
3. Métricas de Evaluación: El rendimiento se midió mediante la Exactitud Top-1 para tareas de visión y la Perplejidad para la tarea de NLP, evaluado a través de varios ratios de poda (desde baja hasta extrema dispersión).

Contribuciones Clave

• Comparación Sistemática: Este trabajo proporciona una de las primeras comparaciones amplias y controladas de los regímenes de poda one-shot frente a los iterativos, desafiando la suposición de que la poda iterativa es universalmente superior.
• Programador de Poda Geométrico: Los autores introducen y validan un programador de ratio de poda geométrico para la poda iterativa, demostrando que podar un porcentaje fijo de los pesos restantes generalmente supera a la poda de tasa constante, particularmente en niveles de dispersión elevados.
• Enfoque Híbrido: Se propone un nuevo régimen de poda híbrida, que aprovecha la eficiencia de la poda one-shot para la reducción inicial gruesa y la precisión de la poda iterativa geométrica para el refinamiento final.
• Directrices Contextuales: El estudio establece que la estrategia de poda óptima no es universal, sino que depende de restricciones específicas: ratio de poda, arquitectura del modelo (CNN vs. Transformer) y el presupuesto computacional para el reentrenamiento.

Resultos Clave

• Dependencia del Ratio de Poda:
  • Ratios Bajas a Moderadas (<80%): La poda one-shot con reentrenamiento basado en la paciencia suele superar a los métodos iterativos, particularmente para las CNN. Logra una mayor exactitud con significativamente menos tiempo de reentrenamiento.
  • Ratios Altas (>80%): La poda iterativa (específicamente la variante geométrica) se vuelve superior. La poda one-shot tiene dificultades para recuperar el rendimiento en niveles de dispersión extremos.
• Sensibilidad de la Arquitectura: Los modelos basados en Transformers (tanto ViT como LLMs) generalmente se benefician más de la poda iterativa que las CNN. En tareas de NLP, la poda one-shot mostró sensibilidad incluso en ratios de poda bajos (10–20%), mientras que la poda iterativa permitió al modelo adaptarse progresivamente.
• Interacción de los Criterios de Poda:
  • Para criterios de segundo orden (por ejemplo, basados en el Hessiano), la poda one-shot es computacionalmente eficiente porque el costoso cálculo de clasificación se realiza una sola vez.
  • Para ratios de poda altos, la elección del criterio de poda se vuelve menos significativa; el régimen geométrico iterativo produce un rendimiento similar a través de diferentes criterios, lo que hace preferibles los criterios basados en magnitud que son más rápidos.
• Rendimiento Híbrido: El enfoque híbrido superó consistentemente a los métodos puramente one-shot y puramente iterativos en casi todos los ratios de poda, equilibrando eficazmente la velocidad de la eliminación one-shot con el refinamiento de los pasos iterativos.
• Eficiencia del Reentrenamiento: Se demostró que la parada temprana basada en la paciencia es crítica. Los periodos de reentrenamiento cortos fijos (comunes en la literatura) condujeron a resultados subóptimos, mientras que los métodos basados en la paciencia evitaron tanto el subentrenamiento como el sobreentrenamiento innecesario.

Significancia y Reivindicaciones
El artículo no pretende establecer un único "mejor" método de poda para todos los escenarios. En su lugar, busca proporcionar una base empírica rigurosa para que los profesionales seleccionen una estrategia de poda adaptada a sus objetivos y restricciones específicos. Los autores argumentan que la elección del régimen de poda es tan crucial como la elección de los criterios de poda. Al demostrar que la poda one-shot es altamente efectiva para la dispersión baja y entornos con restricciones computacionales, mientras que la poda iterativa (geométrica) es necesaria para la alta dispersión y arquitecturas complejas, el estudio ofrece directrices accionables para optimizar el equilibrio entre la exactitud del modelo, el tamaño y el costo computacional. El método híbrido propuesto sirve como una solución práctica que combina las fortalezas de ambos regímenes, ofreciendo un camino más informado para la compresión de modelos.