OUIDecay: Adaptive Layer-wise Weight Decay for CNNs Using Online Activation Patterns

Resumen Técnico: OUIDecay

Enunciado del Problema
La regularización por decaimiento de pesos es un mecanismo estándar para el entrenamiento de redes neuronales convolucionales (CNN), sin embargo, típicamente se aplica como un coeficiente fijo compartido uniformemente en todas las capas durante todo el proceso de entrenamiento. Este tratamiento uniforme pasa por alto el hecho de que las diferentes capas en las CNN modernas evolucionan con dinámicas estructurales distintas y pueden requerir fuerzas de regularización variables. Un único valor global de decaimiento puede ser innecesariamente restrictivo para algunas capas mientras que es demasiado débil para otras. Aunque existen estrategias adaptativas, como AdaDecay, estas dependen principalmente de información basada en gradientes. Los autores argumentan que la adaptación de la regularización podría beneficiarse de señales que reflejen el comportamiento funcional interno de la red (patrones de activación) en lugar de la geometría de optimización únicamente.

Metodología: OUIDecay
El artículo propone OUIDecay, un programador de decaimiento de pesos adaptativo, por capas y dependiente del tiempo, impulsado por el Indicador de Sobreajuste-Subajuste (OUI). OUI es una métrica libre de etiquetas derivada de patrones de activación que cuantifica la variabilidad estructural de una capa de red.

• La Métrica OUI: El método utiliza una formulación basada en lotes de OUI (introducida en trabajos previos [4]) para garantizar estabilidad y eficiencia computacional. Para una capa dada $i$ y un lote de prueba $B_t$, el método calcula una máscara de activación binaria para cada unidad. Luego calcula un "conteo de minoría" para cada unidad (el número de muestras donde la unidad está activa si está mayormente inactiva, o viceversa). El OUI a nivel de capa es el promedio de estos conteos de minoría normalizados. Un OUI alto indica que las unidades en la capa están dividiendo el lote de manera equilibrada, mientras que un OUI bajo sugiere un sesgo estructural (las unidades están casi siempre activas o inactivas).
• Programador Adaptativo: OUIDecay no busca un valor "ideal" universal de OUI. En su lugar, utiliza la distribución relativa de los valores de OUI entre las capas para redistribuir el decaimiento de pesos.
  • En intervalos periódicos ($\tilde{t}$), el programador calcula $OUI_i(t)$ para todas las capas monitoreadas.
  • Identifica los valores mínimo ($OUI_{min}$) y máximo ($OUI_{max}$) entre las capas.
  • Los coeficientes de decaimiento por capa $\lambda_i(t)$ se asignan mediante un reescalado lineal dentro de un rango definido $[s_1, s_2]$ relativo a un decaimiento de pesos base $\lambda_{base}$. Las capas con valores de OUI más cercanos a $OUI_{min}$ reciben coeficientes cercanos a $s_1\lambda_{base}$, mientras que aquellas más cercanas a $OUI_{max}$ reciben coeficientes cercanos a $s_2\lambda_{base}$.
• Filosofía de Diseño: El enfoque está diseñado para ser ligero y adecuado para el entrenamiento en línea. Actualiza los coeficientes periódicamente (por ejemplo, cada 500 iteraciones) en lugar de en cada paso para evitar la sensibilidad a las fluctuaciones a corto plazo de los lotes. Crucialmente, depende exclusivamente de patrones de activación, no requiriendo datos de validación ni información de gradientes para la decisión de programación.

Contribuciones Clave

1. Propuesta de OUIDecay: Los autores introducen un programador de decaimiento de pesos por capas para CNN impulsado por la formulación basada en lotes de OUI.
2. Validación Empírica: El artículo proporciona evidencia empírica de que, en varios entornos de CNN, OUIDecay generalmente mejora los resultados de entrenamiento en comparación tanto con el decaimiento de pesos fijo como con el método adaptativo basado en gradientes AdaDecay.

Resultados Experimentales
El método fue evaluado en cuatro pares modelo-conjunto de datos: EfficientNet-B0 (Stanford Cars), ResNet50 (Food101), DenseNet121 (CIFAR100) y MobileNetV2 (CIFAR10). La métrica principal fue la mejor pérdida de validación.

• Rendimiento: OUIDecay logró la mejor media de la mejor pérdida de validación en 7 de 8 entornos evaluados (variando los valores de decaimiento de pesos base).
• Comparación con Líneas Base:
  • vs. Decaimiento Fijo: OUIDecay superó consistentemente al decaimiento de pesos fijo, particularmente en los experimentos con EfficientNet-B0 y MobileNetV2.
  • vs. AdaDecay: OUIDecay superó al AdaDecay basado en gradientes en la mayoría de los entornos. Cabe destacar que, en los experimentos con ResNet50 y un decaimiento de pesos más alto, AdaDecay mostró alta varianza y un rendimiento peor, mientras que OUIDecay se mantuvo estable y efectivo.
  • Excepciones: En el entorno DenseNet121/CIFAR100 con un decaimiento de pesos base más bajo, AdaDecay produjo resultados ligeramente mejores que OUIDecay, aunque OUIDecay recuperó la ventaja con un decaimiento de pesos base más alto.
• Eficiencia: La sobrecarga computacional de calcular la señal OUI y actualizar los pesos fue negligible, representando menos del 0.2% del tiempo total de la iteración de entrenamiento. Los estudios de ablación confirmaron que el método es robusto ante la elección del intervalo de actualización y el rango de escalado, observándose un rendimiento óptimo en frecuencias de actualización intermedias.

Significado y Afirmaciones
El artículo afirma que OUIDecay demuestra que la adaptación del decaimiento de pesos impulsada por activaciones es una alternativa práctica y efectiva tanto al decaimiento fijo como a los métodos adaptativos basados en gradientes. El significado radica en desplazar la señal de control del dominio de optimización (gradientes) al dominio funcional (activaciones), permitiendo que el programador reaccione a cómo la red estructura la partición de los datos de entrada.

Los autores mantienen un alcance modesto, afirmando explícitamente que los resultados se validan dentro de los entornos específicos de CNN estudiados y no necesariamente se generalizan a todas las familias de modelos (por ejemplo, Transformers) o regímenes de entrenamiento. Posicionan a OUIDecay no como una solución definitiva al problema del decaimiento de pesos, sino como un paso práctico hacia estrategias de regularización más flexibles, ligeras y en línea que aprovechan señales estructurales internas sin requerir datos de validación.