💻 computer science

CNN Regularization and Model Capacity: An Empirical Investigation of L1, L2, and Dropout in Hand Sign Image Classification

Este estudio empírico demuestra que en la clasificación de imágenes de señas manuales, aumentar la capacidad de la CNN no garantiza un mejor rendimiento y que la regularización por dropout, particularmente con tasas dependientes de la arquitectura, supera significativamente a las penalizaciones L1 y L2, logrando un modelo de tamaño mediano la precisión más alta de 96,66%.

Autores originales: Chaitanya Patil

Publicado 2026-08-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chaitanya Patil

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la visión artificial, las máquinas están aprendiendo a ver. Lo hacen utilizando cerebros digitales llamados redes neuronales convolucionales, que están diseñadas para reconocer patrones en imágenes tal como lo hacen los ojos y los cerebros humanos. Estos sistemas son increíblemente potentes, capaces de identificar desde señales de tráfico hasta escaneos médicos. Sin embargo, hay un inconveniente. Cuando estos cerebros digitales se vuelven demasiado grandes y complejos, pueden empezar a memorizar los ejemplos específicos que se les muestran en lugar de aprender las reglas generales de cómo reconocer un objeto. Esto se conoce como sobreajuste (overfitting). Imagine a un estudiante que memoriza las respuestas de un examen de práctica específico pero reprueba el examen real porque no puede aplicar lo que aprendió a nuevas preguntas. Para prevenir esto, los científicos utilizan técnicas llamadas regularización. Estas son métodos que restringen suavemente el proceso de aprendizaje, obligando al sistema a encontrar patrones más simples y robustos que funcionen con datos que nunca ha visto antes. La pregunta que los investigadores se han estado haciendo es si hacer el cerebro digital más grande siempre ayuda, o si existe un punto ideal donde el tamaño del cerebro y la fuerza de las restricciones funcionan mejor juntos.

Un investigador del Instituto Indio de Tecnología de Kharagpur se propuso responder a esta pregunta construyendo una serie de cerebros digitales para reconocer señas de la mano. La tarea consistía en enseñar a una computadora a distinguir entre seis diferentes gestos manuales, cada uno representando un número del uno al seis. El investigador creó tres versiones del mismo sistema de visión artificial, cada una con un nivel diferente de capacidad. La primera era un sistema pequeño, la segunda era de tamaño mediano y la tercera era grande. La única diferencia entre ellos era el número de conexiones internas que poseían; el sistema grande tenía muchas más vías para que la información viajara a través de ellas que el pequeño. El objetivo era ver si simplemente añadir más conexiones haría al sistema más inteligente, o si solo lo haría más propenso a memorizar los datos de entrenamiento.

Los experimentos comenzaron con un descubrimiento sorprendente. Cuando los sistemas se dejaron aprender sin restricciones, el sistema de tamaño mediano fue el que mejor funcionó. Identificó correctamente las señas de la mano en las imágenes de prueba aproximadamente el 91.67 por ciento de las veces. El sistema grande, a pesar de tener la mayor capacidad de aprendizaje, funcionó peor, logrando solo alrededor del 83.33 por ciento de precisión. Esto sucedió porque el sistema grande era tan potente que memorizó los detalles específicos de las imágenes de entrenamiento, incluyendo el ruido aleatorio, en lugar de aprender la forma real de las señas de la mano. Era como un estudiante que estudió tanto el examen de práctica que recordó el orden exacto de las preguntas pero no comprendió los conceptos subyacentes. El sistema mediano, con menos conexiones, se vio obligado a encontrar un equilibrio, aprendiendo las características esenciales sin distraerse con el ruido.

Para mejorar estos resultados, el investigador aplicó diferentes técnicas para evitar que los sistemas sufrieran sobreajuste. Un método consistió en añadir una penalización por tener pesos internos grandes, lo cual es similar a animar al sistema a mantener sus configuraciones internas simples. Otro método consistió en apagar aleatoriamente partes del sistema durante el entrenamiento, obligándolo a depender de diferentes vías para resolver el problema. Esta técnica, conocida como dropout, demostró ser la herramienta más efectiva. Al aplicarse al sistema de tamaño mediano, elevó la precisión al 96.66 por ciento, la puntuación más alta alcanzada en todo el estudio.

El estudio también reveló que la mejor manera de usar estas herramientas depende del tamaño del sistema. Para el sistema pequeño, una cantidad suave de apagado aleatorio funcionó bien. Para el sistema mediano, una cantidad moderada fue la mejor. Pero para el sistema grande, que tenía la mayor capacidad de memorización, los investigadores encontraron que era necesaria una dosis más fuerte de apagado aleatorio para obtener buenos resultados. Esto sugiere que los sistemas más grandes necesitan restricciones más fuertes para evitar que memoricen los datos de entrenamiento. El investigador también probó combinando diferentes métodos, pero encontró que simplemente apilarlos juntos no hacía que el sistema fuera automáticamente mejor. De hecho, los mejores resultados provinieron de usar un único método bien ajustado en lugar de una mezcla compleja.

Los hallazgos fueron verificados en su fiabilidad ejecutando los experimentos varias veces con diferentes condiciones iniciales, y los resultados principales se mantuvieron. El estudio concluye que construir un sistema de visión artificial más grande no garantiza un mejor rendimiento. En cambio, el tamaño del sistema debe coincidir con la cantidad adecuada de restricción. Un sistema de tamaño mediano con el equilibrio adecuado de restricciones puede superar a uno mucho más grande. Este trabajo proporciona una guía clara y práctica sobre cómo ajustar estos cerebros digitales, demostrando que en la búsqueda de la inteligencia artificial, a veces menos es más, y que la fuerza de las reglas importa tanto como el tamaño del cerebro.

Resumen Técnico: Regularización de CNN y Capacidad del Modelo

Planteamiento del Problema
Las Redes Neuronales Convolucionales (CNN) son herramientas poderosas para la clasificación de imágenes, pero enfrentan desafíos significativos de generalización cuando la capacidad del modelo es alta en relación con el tamaño del conjunto de datos de entrenamiento. Los modelos de alta capacidad suelen memorizar los ejemplos de entrenamiento en lugar de aprender patrones generalizables, lo que conduce al sobreajuste (overfitting). Aunque las técnicas de regularización como la penalización L1, el decaimiento de pesos L2 y el dropout son métodos estándar para mitigar el sobreajuste, la interacción específica entre la capacidad del modelo y la efectividad de estas estrategias sigue siendo un área de investigación activa. No está claro si los modelos más grandes requieren una regularización proporcionalmente más fuerte o si los modelos más pequeños se benefician de restricciones más débiles para evitar el subajuste (underfitting).

Metodología
Este estudio presenta una investigación empírica sistemática utilizando una tarea de clasificación de imágenes de señas manuales de seis clases. La investigación emplea un marco experimental controlado con los siguientes componentes:

Conjunto de Datos: Un conjunto de datos disponible públicamente de 1,080 imágenes de entrenamiento y 120 imágenes de prueba (64×64×3 RGB) que representan las señas manuales de la 1 a la 6. Las imágenes fueron normalizadas dividiendo los valores de los píxeles por 255.0, y las etiquetas fueron codificadas mediante one-hot encoding.
Arquitectura: Se diseñaron tres arquitecturas de CNN con la misma profundidad pero con diferente anchura (capacidad):
- Pequeña (Small): 16 → 32 → 64 filtros/unidades.
- Mediana (Medium): 32 → 64 → 128 filtros/unidades.
- Grande (Large): 64 → 128 → 256 filtros/unidades.
  Todos los modelos utilizaron dos capas convolucionales (núcleos de 3×3, ReLU, max pooling de 2×2), una capa totalmente conectada y una capa de salida con softmax.
Configuración de Entrenamiento: Los modelos fueron entrenados utilizando el optimizador Adam (tasa de aprendizaje 0.001) durante 1,000 iteraciones con inicialización He Normal. La función de pérdida principal fue la entropía cruzada (cross-entropy).
Estrategias de Regularización: El estudio evaluó:
- Regularización L1: Coeficientes ( $\lambda_1$ ) de 0.001, 0.01 y 0.05.
- Regularización L2: Coeficientes ( $\lambda_2$ ) de 0.1, 0.3, 0.6, 1.0 y 2.0.
- Dropout: Tasas de 0.1, 0.3 y 0.5 aplicadas a la primera capa totalmente conectada.
- Combinación L1+L2: Aplicación simultánea con $\lambda_1=0.05$ y $\lambda_2=0.6$ .
Evaluación: Las métricas primarias fueron la precisión de prueba (test accuracy) y la precisión de entrenamiento (training accuracy). Los experimentos se realizaron principalmente con la semilla aleatoria 42, realizando comprobaciones de reproducibilidad utilizando las semillas 1137 y 2024.

Resultados Clave
Los experimentos arrojaron varios hallazgos distintos respecto a la interacción entre la capacidad y la regularización:

Capacidad vs. Rendimiento: El aumento de la capacidad del modelo no mejoró automáticamente la precisión de prueba. El modelo Mediano sin regularizar logró la mayor precisión base (91.67%), superando al modelo Grande (83.33%) y al modelo Pequeño (84.16%). El modelo Grande alcanzó un 100% de precisión de entrenamiento pero falló en la generalización, lo que sugiere que memorizó el ruido.
Eficacia del Dropout: El dropout produjo el rendimiento más sólido en todas las configuraciones. La tasa de dropout óptima se desplazó hacia una regularización más fuerte a medida que la capacidad del modelo aumentaba:
- Modelo Pequeño: Mejor rendimiento con 0.1 o 0.3 (90.83%).
- Modelo Mediano: Mejor rendimiento con 0.3, logrando el pico de precisión del estudio de 96.66%.
- Modelo Grande: Mejor rendimiento con 0.5 (95.00%).
Sensibilidad de L1 y L2:
- L2: Una regularización moderada ( $\lambda_2=0.1$ ) mejoró el modelo Mediano al 95.00%, pero el rendimiento se degradó significativamente con fuerzas altas ( $\lambda_2=2.0$ ), indicando un sobreajuste por regularización (over-regularization).
- L1: Mostró sensibilidad dependiente de la arquitectura. Para el modelo Pequeño, una L1 más fuerte ( $\lambda_1=0.05$ ) mejoró la precisión al 91.66%, mientras que el modelo Grande funcionó mejor con la L1 más débil ( $\lambda_1=0.001$ ).
Regularización Combinada: La combinación de L1 y L2 no superó a los regularizadores individuales más fuertes, obteniendo una precisión de prueba media de 87.50% para el modelo Mediano.
Reproducibilidad: Las comprobaciones seleccionadas confirmaron la estabilidad de los hallazgos principales, aunque se observó cierta variación (por ejemplo, el modelo Mediano con dropout de 0.3 cayó de 96.66% a 93.34% bajo la semilla 1137).

Significancia y Reivindicaciones
El artículo se posiciona como un estudio empírico exploratorio en lugar de una fuente de teoría universal. Sus contribuciones primarias son:

Proporcionar una comparación controlada de las estrategias de regularización a través de tres niveles distintos de capacidad dentro de una misma familia de arquitecturas.
Demostrar que la capacidad del modelo por sí sola no es un predictor del rendimiento de generalización; un modelo de tamaño mediano puede superar a uno más grande si este último es propenso al sobreajuste sin las restricciones adecuadas.
Establecer una tendencia empírica donde los modelos más grandes se benefician de tasas de dropout más fuertes, lo que concuerda con la intuición de que una mayor capacidad requiere una regularización más agresiva para prevenir la co-adaptación.
Destacar que los métodos de regularización no necesariamente se componen de forma lineal, ya que el enfoque combinado L1+L2 no logró superar a los métodos individuales.

El autor establece explícitamente que estas conclusiones están restringidas a las arquitecturas, conjuntos de datos, rangos de hiperparámetros y condiciones específicas investigadas. No pretenden proporcionar una ley de escala universal para la regularización, sino ofrecer observaciones empíricas para informar futuras investigaciones sobre las interacciones entre capacidad y regularización.

Más como este