🤖 machine learning

Growing Networks with Autonomous Pruning

El artículo presenta GNAP, un enfoque de clasificación de imágenes que ajusta dinámicamente su tamaño y número de parámetros durante el entrenamiento mediante mecanismos complementarios de crecimiento y poda autónoma, logrando redes neuronales extremadamente dispersas con alta precisión en conjuntos de datos como MNIST y CIFAR10.

Autores originales: Charles De Lambilly, Stefan Duffner

Publicado 2026-03-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Charles De Lambilly, Stefan Duffner

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo una casa para vivir, pero en lugar de tener un plano fijo desde el principio, decides construir la casa mientras vives en ella.

Esta es la idea central del artículo que acabas de leer. Los autores, Charles y Stefan, han creado un método llamado GNAP (Redes de Crecimiento con Poda Autónoma) para enseñar a las computadoras a reconocer imágenes (como distinguir un gato de un perro).

Aquí te explico cómo funciona, usando analogías sencillas:

1. El problema de los métodos antiguos

Antiguamente, para crear una "inteligencia artificial" (una red neuronal), los ingenieros tenían que diseñar la estructura de la casa antes de empezar.

El método de "Podar": Era como construir un rascacielos gigante y enorme, lleno de habitaciones vacías y pasillos sin sentido, solo para asegurarse de que fuera lo suficientemente grande. Luego, una vez terminado, empezaban a tirar paredes y quitar muebles para ver qué quedaba. El problema es que construir ese edificio gigante es muy costoso y lento, y a veces te quedas con una casa que sigue siendo demasiado grande y llena de basura.
El método de "Crecer": Era empezar con una cabaña pequeña y añadir habitaciones poco a poco. El problema aquí es que a veces añades habitaciones que no necesitas, y la casa se vuelve más grande de lo necesario, llena de cuartos de almacenamiento que nunca usas.

2. La solución mágica de GNAP: "Crecer y Podar al mismo tiempo"

GNAP hace algo diferente: es como un arquitecto vivo que construye y demuele al mismo tiempo.

Imagina que tienes un equipo de constructores y jardineros trabajando en tu casa:

La fase de Crecimiento (Añadir habitaciones): Cuando la casa se queda "atascada" (la computadora no mejora su capacidad de reconocer imágenes), el equipo añade nuevas habitaciones (neuronas) y pasillos. No añaden una sola habitación, ¡añaden habitaciones en todos los pisos! Esto les da más espacio para pensar y aprender cosas nuevas.
La fase de Poda Autónoma (Limpiar la basura): Aquí está la magia. Mientras la casa se está usando para aprender, un sistema de "jardineros automáticos" (basado en matemáticas avanzadas llamadas gradiente) vigila cada puerta y cada pared.
- Si una puerta nunca se usa para pasar información, ¡la cierran para siempre!
- Si una pared no sostiene nada importante, ¡la derriban!
- Lo hacen de forma autónoma: la red decide qué es útil y qué no, sin que un humano tenga que decirle "tira esta pared".

3. ¿Por qué es tan genial?

La clave es que la red empieza siendo muy pequeña (como una cabaña) y solo crece cuando es estrictamente necesario.

Eficiencia: Al final del proceso, en lugar de tener un rascacielos lleno de polvo, tienes una casa perfectamente diseñada, pequeña, ligera y muy eficiente.
Resultados: En sus pruebas, lograron que la computadora reconociera imágenes con una precisión increíblemente alta (casi perfecta en el caso de los números escritos a mano, el 99.44%), pero usando muy pocos "ladrillos" (parámetros).
- Analogía: Es como si pudieras resolver un rompecabezas complejo usando solo 100 piezas, mientras que otros necesitan 10.000 piezas para lograr el mismo resultado.

4. Un detalle curioso: "El caos ordenado"

Al principio, cuando añaden nuevas habitaciones, las conectan de forma un poco "caótica" (con pesos aleatorios). Podrías pensar que esto arruinaría la casa, pero el sistema de poda es tan inteligente que, en cuanto empieza a trabajar, elimina inmediatamente todo lo que no sirve y deja solo las conexiones que realmente ayudan a la computadora a pensar. Es como si el caos inicial fuera necesario para descubrir las mejores rutas.

En resumen

GNAP es como un organizador de vida inteligente para las computadoras. En lugar de forzarlas a usar un tamaño fijo y enorme, les permite:

Crecer cuando se sienten limitadas.
Poder (eliminar lo inútil) constantemente mientras aprenden.

El resultado es una inteligencia artificial que es rápida, ligera y muy precisa, perfecta para funcionar en dispositivos pequeños (como tu teléfono móvil) sin necesitar superordenadores gigantes.

1. El Problema

El diseño de arquitecturas de Redes Neuronales Convolucionales (CNN) para tareas de visión por computadora ha dependido históricamente de métodos de prueba y error manuales o de técnicas automatizadas costosas computacionalmente. Existen dos enfoques principales con limitaciones inherentes:

Búsqueda de Arquitectura Neuronal (NAS): Aunque potente, requiere entrenar miles de modelos con diferentes hiperparámetros, lo que es extremadamente costoso en tiempo y recursos.
Poda (Pruning) tradicional: Implica entrenar primero una red densa y muy sobredimensionada (lo que puede llevar a sobreajuste) y luego eliminar pesos. El problema es que el diseño inicial de la red sigue siendo manual y subóptimo, y el entrenamiento de la red gigante sigue siendo costoso.
Redes en Crecimiento (Growing): Intentan añadir neuronas dinámicamente, pero a menudo carecen de un mecanismo para asegurar que el crecimiento sea estrictamente necesario, lo que puede resultar en redes más grandes y redundantes que sus contrapartes de tamaño fijo.

El desafío central es desarrollar un método que automatice el diseño de la arquitectura, optimice simultáneamente el tamaño y la topología de la red, y logre redes extremadamente dispersas (con pocos parámetros) sin sacrificar la precisión, evitando el costo de entrenar redes densas iniciales.

2. Metodología: GNAP

Los autores proponen Growing Networks with Autonomous Pruning (GNAP), un enfoque que combina el crecimiento y la poda en un proceso de optimización conjunta durante el entrenamiento.

Arquitectura Base

GNAP se inspira en las DenseNets, conectando cada capa convolucional con todas las capas subsiguientes dentro de bloques densos.
La red se divide en bloques separados por capas de pooling.
A diferencia de las DenseNets estáticas, GNAP es dinámica: el ancho (número de canales/neuronas) y el número de capas dentro de cada bloque varían durante el entrenamiento.

Mecanismos Clave

Poda Autónoma (Autonomous Pruning):
- Se basa en la poda por descenso de gradiente. Cada peso (o núcleo convolucional) tiene asociado un parámetro de "puerta" (gate) aprendible.
- Durante el paso hacia adelante, se muestrea una variable de puerta (0 o 1) de una distribución Gumbel-Softmax (diferenciable).
- Se introduce una función de pérdida compuesta: $L = L_{pred} + \alpha \cdot ||g||_1$ $L = L_{p r e d} + α \cdot ∣∣ g ∣ ∣_{1}$ .
  - $L_{pred}$ : Pérdida de predicción (entropía cruzada).
  - $||g||_1$ : Pérdida de dispersión (fomenta que las puertas se cierren, es decir, que los pesos sean cero).
- Esto permite que el gradiente reduzca la probabilidad de abrir puertas, eliminando pesos o núcleos completos (poda estructurada) de forma autónoma.
Fases de Crecimiento (Growing Phases):
- La red crece periódicamente cuando la poda y la optimización de pesos convergen a un punto de saturación (cuando la red no puede mejorar más con su arquitectura actual).
- Cuándo crecer: Se monitoriza el cambio relativo en el número de puertas abiertas. Si el cambio es menor que un umbral $\theta$ , se inicia una fase de crecimiento.
- Dónde crecer: Se añaden $C$ nuevas neuronas a todas las capas existentes y una nueva capa al final de cada bloque. Esto maximiza las posibilidades de la red para elegir la mejor configuración.
- Inicialización de pesos:
  - Conexiones entre nuevas neuronas: Distribución Gaussiana aleatoria.
  - Conexiones de nuevas neuronas a neuronas existentes: Se inicializan aleatoriamente para permitir que la red "aprenda" a usarlas (evitando que sean descartadas inmediatamente).
  - Conexiones de neuronas existentes a nuevas neuronas: Se utiliza una estrategia basada en Descomposición en Valores Singulares (SVD) para generar pesos que sean ortogonales a los pesos existentes, maximizando la utilidad de las nuevas neuronas sin desestabilizar la red.
Entrenamiento y Inferencia:
- El entrenamiento alterna entre fases de optimización de gradientes (poda) y fases de crecimiento.
- En la inferencia, el muestreo estocástico se reemplaza por una función softmax determinista: si la probabilidad de la puerta es > 0.5, se mantiene; de lo contrario, se elimina.

3. Contribuciones Clave

Enfoque de Optimización Conjunta: Una nueva estrategia que adapta dinámicamente el tamaño y la topología de la red durante el entrenamiento mediante una estrategia alternante de crecimiento y poda, sin necesidad de una arquitectura inicial densa predefinida.
Arquitectura CNN Dinámica y Flexible: Un diseño específico que permite conexiones dispersas desde cualquier capa hacia cualquier capa subsiguiente, facilitando la poda tanto estructurada (núcleos completos) como no estructurada (pesos individuales).
Inicialización de Pesos Ortogonales: Una técnica innovadora para inicializar las conexiones hacia las nuevas neuronas utilizando SVD, lo que mejora la convergencia y la eficiencia del crecimiento.
Resultados en Dispersión Extrema: Demostración experimental de que es posible lograr alta precisión con redes extremadamente dispersas (miles de parámetros en lugar de millones).

4. Resultados Experimentales

Los autores evaluaron GNAP en tres conjuntos de datos de clasificación de imágenes: MNIST, CIFAR10 y CIFAR100.

MNIST:
- Lograron una precisión del 99.44% utilizando solo 6.2k parámetros (con poda no estructurada).
- Con poda estructurada, alcanzaron 99.47% de precisión con ~13.7k parámetros.
CIFAR10:
- Alcanzaron una precisión del 92.2% con 157.8k parámetros (poda no estructurada).
- Con poda estructurada, obtuvieron 93.05% de precisión con ~668k parámetros.
CIFAR100:
- Lograron ~66.5% de precisión con ~180k parámetros (poda no estructurada).

Comparación con el Estado del Arte (SOTA):

GNAP superó a la mayoría de los métodos de compresión y NAS (como SNIP, GraSP, LTH, RigL, MCUNet) en la relación entre precisión y número de parámetros.
A diferencia de otros métodos que dependen de una arquitectura base densa (ej. ResNet32, VGG19) y la podan, GNAP crece desde una arquitectura pequeña hasta encontrar el tamaño óptimo, eliminando la necesidad de entrenar primero una red masiva.
Los modelos GNAP son significativamente más pequeños que las redes SOTA tradicionales mientras mantienen o superan su precisión.

5. Significado e Impacto

Eficiencia Computacional: GNAP elimina la necesidad de entrenar redes masivas sobredimensionadas antes de podarlas, reduciendo el costo computacional total del ciclo de diseño.
Automatización del Diseño: El método automatiza completamente la decisión de "cuántas capas" y "cuántos filtros" son necesarios, adaptándose a la complejidad de los datos.
Viabilidad en Dispositivos Limitados: La capacidad de generar redes con decenas de miles de parámetros (en lugar de millones) hace que estas arquitecturas sean ideales para despliegue en dispositivos con recursos limitados (IoT, móviles) sin sacrificar rendimiento.
Flexibilidad: La capacidad de realizar poda estructurada (núcleos) y no estructurada (pesos) permite adaptar la red a diferentes restricciones de hardware.

En conclusión, GNAP representa un avance significativo hacia el diseño automático de redes neuronales eficientes, demostrando que el crecimiento y la poda autónoma pueden coexistir para producir modelos de alto rendimiento y extremadamente ligeros.