On the Impact of Class Imbalance on the Learning Dynamics of Deep Neural Networks:An Intuitive Insight

Resumo Técnico: Sobre o Impacto do Desequilíbrio de Classes nas Dinâmicas de Aprendizado de Redes Neurais Profundas

Declaração do Problema
Apesar da adoção generalizada de Redes Neurais Profundas (RNP) em domínios como visão computacional e processamento de linguagem natural, esses modelos enfrentam dificuldades significativas com o desequilíbrio de classes, onde uma classe (minoritária) possui substancialmente menos amostras do que outra (majoritária). Enquanto a literatura clássica de aprendizado de máquina frequentemente atribui o baixo desempenho na classe minoritária ao subajuste devido a dados insuficientes, estudos recentes específicos para RNP oferecem explicações conflitantes. Alguns argumentam que as RNP sofrem subajuste nas classes minoritárias, enquanto outros afirmam que elas superajustam as amostras minoritárias, levando a representações não generalizáveis devido a desvios de características ou limites de decisão enviesados. O problema central abordado por este estudo é a falta de uma compreensão unificada e intuitiva de como e por que o desequilíbrio de classes interrompe as dinâmicas de aprendizado das RNP, especificamente em relação à evolução temporal do aprendizado para as classes majoritárias versus minoritárias.

Metodologia
Para investigar sistematicamente essas dinâmicas de aprendizado, os autores empregaram uma abordagem experimental controlada:

• Conjuntos de Dados: O estudo utilizou 30 conjuntos de dados de referência binários desequilibrados dos repositórios UCI e KEEL, variando em Razão de Desequilíbrio (IR) e separabilidade de classes (medida pelo Coeficiente de Silhueta). Adicionalmente, três conjuntos de dados binários balanceados foram derivados do conjunto de dados Iris para servir como base de comparação.
• Arquitetura do Modelo: Foi utilizada uma arquitetura de RNP totalmente conectada com funções de ativação ReLU. Os modelos incorporaram Normalização em Lote (Batch Normalization) e uma taxa de dropout de 0,5 para mitigar o superajuste.
• Otimização: Os hiperparâmetros (profundidade e largura) foram otimizados via validação cruzada de 5 dobras para garantir que os modelos pudessem alcançar perda próxima de zero. O treinamento utilizou o otimizador Adam com perda de entropia cruzada, executando por um mínimo de 250 épocas.
• Métricas de Avaliação: Além da perda e precisão gerais, o estudo focou em métricas específicas por classe: Taxa de Verdadeiros Positivos (TPR) para a classe minoritária e Taxa de Verdadeiros Negativos (TNR) para a classe majoritária. Os autores monitoraram a trajetória das perdas e precisões de treinamento por classe ao longo das épocas para observar a sequência de aprendizado. O sobreamostramento aleatório também foi aplicado como intervenção de base para comparação com o cenário de desequilíbrio bruto.

Principais Contribuições e Descobertas
O estudo fornece uma visão intuitiva sobre a trajetória de aprendizado das RNP em dados desequilibrados, revelando um padrão temporal distinto:

1. Dinâmicas de Aprendizado Sequenciais: Diferentemente de conjuntos de dados balanceados, onde as RNP aprendem todas as classes simultaneamente com taxas de redução de perda semelhantes, conjuntos de dados desequilibrados exibem um padrão de aprendizado sequencial. O modelo inicialmente aprende a classe majoritária quase exclusivamente, reduzindo rapidamente a perda da classe majoritária, enquanto a perda da classe minoritária frequentemente aumenta ou permanece estagnada nas épocas iniciais.
2. Subajuste Precoce de Classes Minoritárias: Durante a fase inicial de treinamento, a RNP efetivamente sofre subajuste na classe minoritária, classificando quase todas as amostras (incluindo as minoritárias) como a classe majoritária. Isso resulta em uma TPR de 0% nas épocas iniciais.
3. Superajuste para Minimização de Perda: Embora a natureza superparametrizada das RNP eventualmente permita que elas aprendam as amostras da classe minoritária (reduzindo a perda minoritária para próximo de zero), esse aprendizado ocorre apenas após a classe majoritária ser dominada. Os autores postulam que o modelo aprende as representações minoritárias não para generalizar bem, mas meramente para minimizar a perda de treinamento global. Consequentemente, essas representações minoritárias aprendidas são não generalizáveis na fase de teste, resultando em baixa TPR apesar da alta precisão de treinamento.
4. Papel da Complexidade dos Dados e Tamanho da Amostra: A gravidade desse fenômeno é modulada pela Razão de Desequilíbrio, complexidade dos dados (sobreposição) e tamanho da amostra minoritária.
   • Conjuntos de dados com clusters bem separados (alto Coeficiente de Silhueta) não sofrem da fase de subajuste precoce, mesmo com alta IR.
   • Conjuntos de dados com baixa IR, mas tamanhos de amostra minoritária muito pequenos (por exemplo, apenas 7 amostras minoritárias), sofrem subajuste precoce severo.
   • A trajetória geral da perda de treinamento é dominada pela classe majoritária, mascarando o baixo desempenho na classe minoritária durante o treinamento inicial.
5. Limitações do Sobreamostramento: A aplicação de sobreamostramento aleatório melhorou o reconhecimento minoritário (TPR), mas frequentemente às custas do desempenho da classe majoritária (TNR), e lacunas significativas permaneceram para conjuntos de dados altamente desequilibrados.

Significado e Alegações
O artigo alega que seu principal significado reside em esclarecer o mecanismo por trás da falha das RNP em dados desequilibrados. Ele desafia o debate binário de "subajuste versus superajuste" ao demonstrar que as RNP experimentam ambos: subajuste inicial da classe minoritária seguido por uma forma de superajuste onde as amostras minoritárias são memorizadas para satisfazer a minimização global de perda sem alcançar generalização.

Os autores concluem que o baixo desempenho das RNP em classes minoritárias não é meramente um resultado de escassez de dados, mas uma dinâmica de aprendizado específica onde o modelo prioriza a classe majoritária para reduzir a perda total. Essa percepção sugere que métodos eficazes para desequilíbrio devem abordar o aspecto temporal das dinâmicas de aprendizado, em vez de apenas a distribuição estática dos dados. O estudo afirma modestamente que, embora as RNP possam ajustar dados desequilibrados a uma perda próxima de zero dado tempo suficiente, os limites de decisão resultantes são enviesados, e a capacidade do modelo de generalizar para amostras de teste minoritárias é severamente comprometida, a menos que os clusters de classes estejam bem separados.