Addressing Data Imbalance in Transformer-Based Multi-Label Emotion Detection with Weighted Loss

Resumo Técnico: Abordando o Desequilíbrio de Dados em Detecção de Emoções Multirrótulo Baseada em Transformers com Perda Ponderada

Definição do Problema
O artigo aborda o desafio da detecção de emoções multirrótulo em textos curtos, uma tarefa complicada pela ambiguidade inerente à linguagem emocional e pela coocorrência frequente de múltiplas emoções dentro de uma única instância. Uma barreira crítica para a detecção automatizada eficaz é o desequilíbrio de dados, onde certas classes de emoção (classes majoritárias) superam significativamente outras (classes minoritárias). As técnicas tradicionais de reamostragem (oversampling ou undersampling) são frequentemente ineficazes em cenários multirrótulo porque alterar a frequência de um rótulo pode, inadvertidamente, interromper o mapeamento complexo de instâncias para múltiplos rótulos de saída simultâneos. Os autores enquadram isso como um problema de classificação multirrótulo onde o objetivo é prever um subconjunto de rótulos de emoção (raiva, medo, alegria, tristeza, surpresa) para uma determinada entrada de texto.

Metodologia
A abordagem proposta utiliza arquiteturas baseadas em Transformers (especificamente BERT, RoBERTa e BART) como backbones para extração de características e classificação. Para lidar com o desequilíbrio de dados sem o overhead computacional da reamostragem, os autores introduzem uma função de perda ponderada simples.

• Arquitetura: Os modelos empregam mecanismos de autoatenção e codificações posicionais para capturar relações contextuais. A camada de saída consiste em classificadores binários independentes para cada classe de emoção, utilizando uma função de ativação sigmoid.
• Modificação da Função de Perda: A perda de Entropia Cruzada Binária (BCE) padrão é modificada pela incorporação de pesos de classe ($w_j$). Esses pesos são ajustados dinamicamente com base na frequência de cada classe no conjunto de dados de treinamento ($w_j = \text{max}(W) / w_j$, onde $W$ representa a distribuição de rótulos). Este mecanismo aumenta a penalidade para a classificação incorreta de classes minoritárias durante o treinamento.
• Regularização: O método também emprega suavização de rótulo (label smoothing) para evitar o excesso de confiança do modelo e reduzir o overfitting em classes majoritárias.
• Configuração Experimental: Experimentos foram conduzidos no dataset BRIGHTER (subconjunto em inglês), que contém anotações multirótulo para cinco classes de emoção. O dataset foi dividido em conjuntos de treinamento (70%) e desenvolvimento (30%). Os autores utilizaram o Optuma para otimização de hiperparâmetros Bayesiana para maximizar o Score F1 Macro, uma métrica robusta ao desequilíbrio de classes. Todos os modelos foram treinados usando o otimizador AdamW com parada antecipada (early stopping).

Principais Contribuições
O artigo delineia três contribuições primárias:

1. Proposta de uma Estratégia de Perda Ponderada: Os autores propõem uma função de perda ponderada direta, projetada especificamente para lidar com o desequilíbrio de dados na detecção de emoções multirrótulo usando modelos Transformer, evitando as complexidades da reamostragem.
2. Avaliação Abrangente de Modelos: O estudo avalia três modelos proeminentes de Transformer — BERT, RoBERTa e BART — para determinar sua eficácia neste contexto multirrótulo específico.
3. Análise Empírica do Impacto da Ponderação: O trabalho fornece uma análise detalhada de como a função de perda ponderada (+w) afeta diferentes modelos e classes de emoção, revelando mudanças sutis de desempenho em vez de melhorias uniformes.

Resultos
A avaliação utilizou Micro F1, Macro F1, ROC-AUC, Acurácia e coeficientes de similaridade de Jaccard. Os resultados indicam que o impacto da função de perda ponderada é dependente do modelo:

• BERT e BART: Ambos os modelos mostraram melhorias notáveis com a função de perda ponderada. Especificamente, o BART+w alcançou os ganhos mais significativos, com o Micro F1 aumentando de 0,6961 para 0,7321 e o Weighted F1 subindo de 0,6993 para 0,7350. O BERT também apresentou melhorias consistentes em todas as métricas.
• RoBERTa: Em contraste, o RoBERTa mostrou benefício limitado e um leve subdesempenho no Micro F1 (caindo de 0,7282 para 0,7268) quando a perda ponderada foi aplicada. Os autores sugerem que o RoBERTa é inerentemente bem otimizado para desequilíbrio de classes devido ao seu pré-treinamento robusto, tornando-o menos sensível à estratégia de reponderação.
• Desempenho por Classe: Uma análise adicional (Tabelas 2 e 3) revelou que as melhorias no Macro F1 e Sample F1 foram impulsionadas principalmente por ganhos em classes de alta frequência (ex: alegria, surpresa). A função de perda ponderada mostrou melhoria limitada ou nenhuma melhoria para a maioria das classes de emoção minoritárias (4 de 5 classes mostraram estagnação ou declínio em métricas específicas).
• Padrões de Confusão: O estudo observou sobreposições de classificações incorretas entre "alegria" e "surpresa", atribuídas à ambiguidade contextual, destacando uma limitação nas representações atuais baseadas em texto para distinções emocionais finas.

Significância e Alegações
O artigo alega modestamente que, embora a função de perda ponderada seja uma estratégia eficaz para melhorar o desempenho em classes de emoção de alta frequência e aumentar a robustez geral para certas arquiteturas (BERT e BART), ela não resolve totalmente os desafios de detecção de classes minoritárias. Os achados enfatizam que, embora a abordagem mitigue alguns vieses introduzidos pelo desequilíbrio de dados, a detecção de emoções raras continua sendo um obstáculo significativo. Os autores concluem que trabalhos futuros devem explorar a generalização desta abordagem em diferentes idiomas e datasets, em vez de reivindicar uma solução definitiva para o problema do desequilíbrio multirrótulo. O código fonte foi disponibilizado publicamente para facilitar pesquisas futuras.