On the Impact of Class Imbalance on the Learning Dynamics of Deep Neural Networks:An Intuitive Insight

Resumen Técnico: Sobre el Impacto del Desequilibrio de Clases en la Dinámica de Aprendizaje de las Redes Neuronales Profundas

Planteamiento del Problema
A pesar de la adopción generalizada de las Redes Neuronales Profundas (DNN) en dominios como la visión por computadora y el procesamiento del lenguaje natural, estos modelos luchan significativamente con el desequilibrio de clases, donde una clase (minoritaria) tiene sustancialmente menos muestras que otra (mayoritaria). Mientras que la literatura clásica de aprendizaje automático suele atribuir el bajo rendimiento en la clase minoritaria al subajuste debido a datos insuficientes, estudios recientes específicos de DNN ofrecen explicaciones contradictorias. Algunos argumentan que las DNN sufren subajuste en las clases minoritarias, mientras que otros afirman que sobreajustan las muestras minoritarias, lo que conduce a representaciones no generalizables debido a la desviación de características o a límites de decisión sesgados. El problema central abordado por este estudio es la falta de una comprensión unificada e intuitiva de cómo y por qué el desequilibrio de clases interrumpe la dinámica de aprendizaje de las DNN, específicamente en lo que respecta a la evolución temporal del aprendizaje para las clases mayoritarias versus las minoritarias.

Metodología
Para investigar sistemáticamente estas dinámicas de aprendizaje, los autores emplearon un enfoque experimental controlado:

• Conjuntos de datos: El estudio utilizó 30 conjuntos de datos de referencia binarios desequilibrados de los repositorios UCI y KEEL, que variaban en la Razón de Desequilibrio (IR) y la separabilidad de clases (medida por el Coeficiente de Silueta). Además, se derivaron tres conjuntos de datos binarios equilibrados del conjunto de datos Iris para servir como línea base de comparación.
• Arquitectura del modelo: Se utilizó una arquitectura DNN totalmente conectada que empleaba funciones de activación ReLU. Los modelos incorporaron Normalización por Lotes (Batch Normalization) y una tasa de dropout de 0.5 para mitigar el sobreajuste.
• Optimización: Los hiperparámetros (profundidad y ancho) se optimizaron mediante validación cruzada de 5 pliegues para asegurar que los modelos pudieran alcanzar una pérdida cercana a cero. El entrenamiento utilizó el optimizador Adam con pérdida de entropía cruzada, ejecutándose durante un mínimo de 250 épocas.
• Métricas de evaluación: Más allá de la pérdida y la precisión generales, el estudio se centró en métricas específicas por clase: Tasa de Verdaderos Positivos (TPR) para la clase minoritaria y Tasa de Verdaderos Negativos (TNR) para la clase mayoritaria. Los autores monitorearon la trayectoria de las pérdidas y precisiones de entrenamiento por clase a lo largo de las épocas para observar la secuencia de aprendizaje. También se aplicó el sobremuestreo aleatorio como una intervención de línea base para comparar con el escenario de desequilibrio crudo.

Contribuciones y Hallazgos Clave
El estudio proporciona una visión intuitiva de la trayectoria de aprendizaje de las DNN en datos desequilibrados, revelando un patrón temporal distintivo:

1. Dinámicas de Aprendizaje Secuencial: A diferencia de los conjuntos de datos equilibrados, donde las DNN aprenden todas las clases simultáneamente con tasas similares de reducción de pérdida, los conjuntos de datos desequilibrados exhiben un patrón de aprendizaje secuencial. El modelo inicialmente aprende la clase mayoritaria casi exclusivamente, impulsando la pérdida de la clase mayoritaria hacia abajo rápidamente, mientras que la pérdida de la clase minoritaria a menudo aumenta o permanece estancada en las primeras épocas.
2. Subajuste Temprano de las Clases Minoritarias: Durante la fase inicial de entrenamiento, la DNN efectivamente sufre subajuste en la clase minoritaria, clasificando casi todas las muestras (incluidas las minoritarias) como la clase mayoritaria. Esto resulta en una TPR del 0% en las primeras épocas.
3. Sobreajuste para la Minimización de la Pérdida: Aunque la naturaleza sobreparametrizada de las DNN eventualmente les permite aprender las muestras de la clase minoritaria (reduciendo la pérdida minoritaria a casi cero), este aprendizaje ocurre solo después de que la clase mayoritaria ha sido dominada. Los autores postulan que el modelo aprende las representaciones minoritarias no para generalizar bien, sino meramente para minimizar la pérdida de entrenamiento global. En consecuencia, estas representaciones minoritarias aprendidas no son generalizables en la fase de prueba, resultando en una TPR baja a pesar de una alta precisión de entrenamiento.
4. Rol de la Complejidad de los Datos y el Tamaño de la Muestra: La gravedad de este fenómeno se modula por la Razón de Desequilibrio, la complejidad de los datos (solapamiento) y el tamaño de la muestra minoritaria.
   • Los conjuntos de datos con grupos bien separados (alto Coeficiente de Silueta) no sufren la fase de subajuste temprano, incluso con una IR alta.
   • Los conjuntos de datos con baja IR pero tamaños de muestra minoritaria muy pequeños (por ejemplo, solo 7 muestras minoritarias) sufren un grave subajuste temprano.
   • La trayectoria general de la pérdida de entrenamiento está dominada por la clase mayoritaria, enmascarando el pobre rendimiento en la clase minoritaria durante el entrenamiento temprano.
5. Limitaciones del Sobremuestreo: La aplicación de sobremuestreo aleatorio mejoró el reconocimiento minoritario (TPR), pero a menudo a expensas del rendimiento de la clase mayoritaria (TNR), y persistieron brechas significativas para conjuntos de datos altamente desequilibrados.

Significado y Afirmaciones
El artículo afirma que su principal significado radica en aclarar el mecanismo detrás del fracaso de las DNN en datos desequilibrados. Desafía el debate binario de "subajuste vs. sobreajuste" al demostrar que las DNN experimentan ambos: un subajuste inicial de la clase minoritaria seguido de una forma de sobreajuste donde las muestras minoritarias se memorizan para satisfacer la minimización global de la pérdida sin lograr la generalización.

Los autores concluyen que el pobre rendimiento de las DNN en las clases minoritarias no es meramente un resultado de la escasez de datos, sino una dinámica de aprendizaje específica donde el modelo prioriza la clase mayoritaria para reducir la pérdida total. Esta idea sugiere que los métodos efectivos para el desequilibrio deben abordar el aspecto temporal de las dinámicas de aprendizaje, en lugar de solo la distribución estática de los datos. El estudio afirma modestamente que, aunque las DNN pueden ajustar datos desequilibrados a una pérdida cercana a cero dado suficiente tiempo, los límites de decisión resultantes son sesgados y la capacidad del modelo para generalizar a muestras de prueba minoritarias se ve severamente comprometida a menos que los grupos de clases estén bien separados.