🤖 machine learning

Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning

Este artículo propone y valida un método de ciclo de entrenamiento único llamado poda progresiva basada en la magnitud, el cual aumenta gradualmente la dispersión durante el entrenamiento y demuestra una precisión superior en niveles altos de dispersión en comparación con las líneas base iterativas y basadas en la inicialización como la Hipótesis del Billete de Lotería, SNIP y GraSP.

Autores originales: Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

Publicado 2026-06-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un estudiante masivo y excesivamente entusiasta que está intentando aprender una materia. Este estudiante tiene un cerebro lleno de miles de millones de conexiones, pero muchas de ellas son solo "ruido": no están ayudando realmente al estudiante a resolver el problema. De hecho, tener demasiadas conexiones hace que el estudiante sea lento, torpe y difícil de cargar (como intentar meter una biblioteca gigante en una mochila).

Este artículo trata sobre una nueva y eficiente manera de enseñar a este estudiante a ser inteligente pero pequeño, todo en un solo año escolar, en lugar de hacer que repita el mismo año una y otra vez.

Aquí está el desglose de su enfoque utilizando analogías sencillas:

El Problema: El "Billete de la Lotería" es demasiado caro

Los científicos descubrieron anteriormente algo llamado la "Hipótesis del Billete de la Lotería". Descubrieron que, dentro de una red neuronal gigante y desordenada (el cerebro del estudiante), hay un pequeño y perfecto "billete ganador" (una subred pequeña y eficiente) que podría resolver el problema tan bien como la gigante.

Sin embargo, encontrar ese billete ganador era como intentar encontrar una aguja en un pajar construyendo un nuevo pajar, revisándolo, tirándolo y construyendo uno nuevo. El método antiguo requería:

Entrenar la red gigante.
Recortar las partes débiles.
Reiniciar las partes restantes a como estaban al principio.
Empezar de nuevo y entrenar otra vez.
Repetir este ciclo muchas veces.

Esto tomaba una enorme cantidad de tiempo y potencia de cómputo, invalidando el propósito de intentar que el modelo fuera más pequeño y rápido.

La Solución: El "Jardinero Progresivo"

Los autores proponen un nuevo método llamado Poda Basada en Magnitud Progresiva. En lugar de reiniciar el jardín y empezar de nuevo, actúan como un jardinero que poda una planta mientras esta crece.

Así es como funciona su método de "un solo ciclo":

El Cronograma Lineal (El Recorte Lento): Imagina que el estudiante está en un curso de 200 días. En lugar de cortar el 50% de las conexiones el primer día, los autores comienzan cortando un poquito cada día. Al final del curso, han eliminado suavemente el 90% de las conexiones. Esto le da a la red tiempo para ajustarse y aprender cómo funcionar con menos conexiones, en lugar de recibir el impacto de un corte masivo y repentino.
La Regla de la Magnitud (Cortar lo más Débil): ¿Cómo deciden qué cortar? Observan la "fuerza" (magnitud) de cada conexión. Si una conexión es débil (cercana a cero), es como una ramita que no sostiene mucho peso. Cortan primero las ramitas más débiles.
Sin Crecimiento (La Puerta de un Solo Sentido): Una vez que una conexión es cortada, permanece cortada. No permiten que vuelva a crecer. Esto mantiene el proceso simple y asegura que la red se vuelva cada vez más pequeña y nunca más grande.
El Chequeo "Activo": Solo observan las conexiones que aún están vivas para decidir qué cortar después. Ignoran las que ya están muertas (anuladas a cero). Esto asegura que siempre estén cortando los vínculos restantes más débiles.

Los Resultados: Pequeño pero Poderoso

Los autores probaron este "Jardinero Progresivo" en pruebas estándar (como reconocer números escritos a mano o imágenes pequeñas) y lo compararon con los antiguos métodos de "reiniciar y reentrenar".

Velocidad: Lo hicieron en un solo ciclo de entrenamiento. Sin reiniciar, sin empezar de nuevo.
Rendimiento: Sorprendentemente, su método de "un solo paso" fue a menudo mejor que los antiguos métodos que requerían muchos ciclos.
- En una prueba estándar (CIFAR-10), su método obtuvo un 95.12% de precisión con una red muy dispersa, mientras que el antiguo método del "Billete de la Lotería" solo obtuvo un 90.5% con una dispersión similar.
- Incluso cuando recortaron casi todo (dejando solo el 2% de las conexiones), su método todavía funcionó mejor que la competencia.

El "Punto Dulce"

Los autores también analizaron cuánto podían recortar antes de que el estudiante empezara a fallar. Encontraron un "punto dulce" entre el 70% y el 85% de dispersión (lo que significa que el 70-85% de las conexiones han desaparecido).

En este rango, el rendimiento del estudiante apenas bajó (menos de un 0.1% de diferencia respecto a la red gigante completa).
Es como quitar 8 de cada 10 libros de una biblioteca, pero el estudiante aún puede responder cada pregunta tan bien como antes.

La Conclusión

Este artículo afirma que no es necesario pasar por el agotador proceso de "entrenar, cortar, reiniciar, reentrenar" para encontrar una red neuronal pequeña y eficiente. En su lugar, simplemente puedes ir recortando gradualmente las partes débiles mientras la red aprende, y terminarás con un modelo pequeño, rápido y altamente preciso en la mitad del tiempo (o menos).

Es una forma más simple y rápida de encoger los modelos de IA sin perder su inteligencia.

Resumen Técnico: Búsqueda de Subredes Dispersas en un Único Ciclo de Entrenamiento mediante la Poda Progresiva Basada en la Magnitud

1. Planteamiento del Problema

Las redes neuronales profundas han alcanzado un éxito notable en la visión por computadora y el procesamiento de lenguaje natural, pero enfrentan desafíos significativos de implementación en entornos con recursos limitados (móviles, borde/edge, IoT) debido a sus demandas computacionales y de memoria. La poda de redes neuronales ofrece una solución al eliminar los parámetros menos importantes para reducir el tamaño del modelo preservando el rendimiento predictivo.

Sin embargo, los paradigmas existentes sufren limitaciones específicas:

Poda Iterativa (ej. Hipótesis del Billete de Lotería - LTH): Aunque la LTH demuestra que existen "billetes ganadores" dispersos dentro de las redes densas, encontrarlos requiere múltiples ciclos de entrenamiento completos (entrenar, podar, restablecer pesos a la inicialización, reentrenar). Esto introduce una sobrecarga computacional sustancial que socava los objetivos de eficiencia de la poda.
Poda Basada en la Inicialización (ej. SNIP, GraSP): Estos métodos podan antes de que comience el entrenamiento basándose en la sensibilidad de la conexión o el flujo de gradiente. Aunque son computacionalmente más económicos, comprometen una estructura dispersa fija antes de que la importancia de los pesos pueda evolucionar durante el aprendizaje.
Entrenamiento Disperso Dinámico: Los métodos que permiten que la conectividad cambie mediante la poda y el crecimiento de nuevo introducen complejidad de implementación y requieren un ajuste cuidadoso de los esquemas de crecimiento.

El problema central abordado es la falta de un método de poda eficiente de un solo ciclo que pueda identificar subredes dispersas de alto rendimiento sin el costo computacional del reentrenamiento iterativo o la rigidez de la poda previa al entrenamiento.

2. Metodología

Los autores proponen la Poda Progresiva Basada en la Magnitud, un método que identifica subredes dispersas durante un único ciclo de entrenamiento mediante el aumento gradual de la dispersión.

Mecanismo Central

Esquema de Dispersión Lineal: El método emplea un esquema lineal para aumentar la dispersión desde un valor inicial ( $s_i$ ) hasta un valor objetivo ( $s_f$ ) durante una fase de poda designada (épocas $t_{start}$ a $t_{end}$ ).
Umbralización Adaptativa: En cada época durante la fase de poda, se calcula un umbral de magnitud global ( $\theta_t$ ) basado únicamente en los pesos actualmente activos (no podados). Esto asegura que el umbral refleje la evolución de la distribución de los pesos en lugar de verse sesgado por los pesos con valor cero ya podados.
Poda Monotónica (Sin Crecimiento): El método impone una restricción monotónica estricza: una vez que un peso es podado, permanece permanentemente inactivo. La nueva máscara es la intersección de la máscara candidata (basada en el umbral actual) y la máscara anterior. Esto elimina la necesidad de mecanismos complejos de crecimiento de conexiones.
Aplicación de Máscara en Múltiples Etapas: Para asegurar que los pesos podados no reciban actualizaciones de gradiente ni se desvíen de cero debido al impulso del optimizador, las máscaras se aplican en tres etapas:
1. Pre-Forward: Poniendo en cero los pesos antes de la pasada hacia adelante (forward pass).
2. Enmascaramiento de Gradiente: Poniendo en cero los gradientes durante la retropropagación (backpropagation).
3. Post-Optimización: Volviendo a poner en cero los pesos después del paso del optimizador para contrarrestar los efectos del impulso (momentum).

Fases de Entrenamiento

El proceso de entrenamiento incluye:

Calentamiento (Opcional): Entrenamiento sin poda para permitir que las magnitudes de los pesos se estabilicen.
Poda Progresiva: Aumento gradual de la dispersión utilizando el esquema lineal.
Ajuste Fino (Fine-tuning): Entrenamiento continuo en la dispersión objetivo para optimizar la arquitectura dispersa final.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

Evaluación Sistemática: El método se evalúa en arquitecturas ResNet, de estilo VGG y LeNet en CIFAR-10 y MNIST, incluyendo validación estadística con cinco semillas aleatorias para ResNet-18.
Comparaciones Directas con Baselines: Los autores proporcionan comparaciones directas con métodos de poda iterativa (LTH) e inicialización (SNIP, GraSP) representativos bajo configuraciones estrechamente alineadas.
Simplicidad y Efectividad: El estudio demuestra que un esquema de dispersión lineal con poda monotónica logra resultados sólidos sin funciones de programación complejas o mecanismos de crecimiento de pesos.
Análisis de la Relación Dispersión-Precisión: Un análisis detallado a través de siete niveles de dispersión (70% a 95%) identifica un rango operativo favorable donde la degradación de la precisión es mínima.

4. Resultados Experimentales

Los experimentos se realizaron en CIFAR-10 y MNIST utilizando arquitecturas ResNet-18, VGG-like, VGG-19 y LeNet-300-100.

Rendimiento vs. Baselines

ResNet-18 (CIFAR-10): Con un 72.9% de dispersión, el método propuesto logró un 95.12% de precisión, superando significativamente el resultado de LTH reportado de 90.5%, requiriendo solo un ciclo de entrenamiento.
VGG-like (CIFAR-10): Con un 97% de dispersión, el método logró un 93.13% de precisión, superando el resultado de SNIP reportado de ~92.0%.
VGG-19 (CIFAR-10): Con un 97.97% de dispersión, el método logró un 93.44% de precisión, superando el resultado de GraSP de 92.19% con un 98% de dispersión.
LeNet-300-100 (MNIST): El método superó a ambos baselines de LTH y SNIP con un 78.9% y 98% de dispersión, respectivamente, demostrando generalización a redes totalmente conectadas.

Relación Dispersión-Precisión

Rango Operativo: Para ResNet-18 en CIFAR-10, la precisión se mantiene dentro de 0.1 puntos porcentuales de la base densa (95.27%) para niveles de dispersión entre el 70% y el 85%.
Alta Dispersión: Al 90% de dispersión, la precisión cae solo ligeramente a 95.06%. Una degradación más notable ocurre al 95% de dispersión (93.86%).
Eficiencia: Al 80% de dispersión, el modelo retiene un 95.24% de precisión (una caída de 0.03 pp) mientras reduce los parámetros en 5x (reteniendo solo el 20%).

Estudio de Ablación

El estudio confirmó que el criterio de poda basado en la magnitud es el factor más crítico, ya que la poda aleatoria resultó en una caída de precisión del 2.73%. Aunque el calentamiento y el ajuste fino proporcionaron ganancias marginales, el método central se mantuvo competitivo sin ellos.

5. Significación y Reivindicaciones

El artículo afirma que la poda progresiva basada en la magnitud ofrece una alternativa práctica de un solo ciclo a los paradigios de poda establecidos. Su significación radica en:

Eficiencia Computacional: Elimina la necesidad de múltiples ciclos de entrenamiento requeridos por métodos iterativos como LTH.
Adaptabilidad: A diferencia de los métodos basados en la inicialización, permite que la máscara de poda se adapte a medida que la importancia de los pesos evoluciona durante el entrenamiento.
Simplicidad de Implementación: Al evitar el crecimiento de conexiones y la programación compleja, reduce la sobrecarga de implementación en comparación con el entrenamiento disperso dinámico.
Robustez: El método logra un rendimiento competitivo o superior a través de diversas arquitecturas (ResNet, VGG, LeNet) y niveles de dispersión extremos (hasta ~98%).

Los autores concluyen que, bajo los escenarios evaluados, este enfoque proporciona una solución equilibrada y efectiva para la esparcidad de redes neuronales, convirtiéndolo en una base viable para el despliegue práctico donde los recursos computacionales son limitados. El artículo reconoce limitaciones respecto a la poda no estructurada (que puede no generar aceleraciones de hardware sin soporte de cómputo disperso) y la necesidad de pruebas futuras en conjuntos de datos más grandes (ej. ImageNet) y arquitecturas modernas (ej. Transformers).