Addressing Imbalance in Multi-Label Data via Label-Specific Distance-based Oversampling

Resumo Técnico: Abordando o Desequilíbrio em Dados Multirrótulo via Sobreamostragem Baseada em Distância Específica de Rótulo

Definição do Problema
A classificação multirrótulo (MLC) enfrenta um desafio crítico devido ao desequilíbrio inerente nas distribuições de rótulos. Este desequilíbrio manifesta-se de duas formas: desequilíbrio dentro do rótulo (onde as instâncias relevantes para um rótulo específico são muito menos do que as irrelevantes) e desequilíbrio entre rótulos (onde as frequências dos rótulos variam amplamente). Além disso, existe um desequilíbrio local dentro das vizinhanças dos pontos de dados, complicando o processo de aprendizagem. A maioria dos classificadores multirrótulo existentes é tendenciosa para classes majoritárias e rótulos de alta frequência. Embora a sobreamostragem seja uma solução flexível para equilibrar conjuntos de dados de treinamento, os métodos atuais dependem fortemente da distância euclidiana dentro de todo o espaço de características para identificar vizinhos. Essa abordagem falha em considerar a relevância semântica variável das características para diferentes rótulos. Consequentemente, as instâncias sintéticas geradas por esses métodos frequentemente sofrem de inconsistência de rótulo entre vizinhos próximos, levando à confusão de rótulos, sobreajuste (overfitting) e redução da diversidade, particularmente para combinações de rótulos raros.

Metodologia: LSDMLO
O artigo propõe o LSDMLO (Label-Specific Distance-based Multi-Label Oversampling), um novo framework projetado para gerar instâncias sintéticas mais úteis e bem rotuladas. A metodologia procede em três estágios principais:

1. Aprendizado de Pesos de Características Específicos de Rótulo:
   Em vez de usar um espaço de características global, o LSDMLO aprende pesos de características esparsos para cada rótulo. Isso é alcançado otimizando uma função objetivo convexa que combina:

   • Minimização da perda quadrática entre as previsões e os rótulos reais.
   • Regularização de norma $\ell_1$ para impor esparsidade, garantindo que apenas características pertinentes contribuam para a previsão de cada rótulo.
   • Regularização de grafo baseada em correlações de rótulos (derivadas da similaridade de cosseno dos vetores de rótulos) para minerar relações complexas entre características e rótulos.
     A otimização é resolvida usando o algoritmo de Gradiente Proximal Acelerado (APG). Os pesos resultantes são normalizados para formar uma matriz de pesos de características específicos de rótulo ($\Theta$).

2. Distância Específica de Rótulo e Pesagem de Instância:
   Usando $\Theta$, o método define uma métrica de distância específica de rótulo. Esta distância mede a proximidade entre instâncias baseando-se apenas nas características mais relevantes para um rótulo específico, em vez de todo o conjunto de características.
   Com base nesta distância, o LSDMLO calcula um peso de instância para a seleção de sementes. O peso é a soma de dois componentes:

   • Peso de Desequilíbrio Local: Mede o quão próxima uma instância está de uma fronteira de rótulo, avaliando o desacordo de rótulo local entre seus $k$-vizinhos mais próximos (recuperados via distância específica de rótulo). Instâncias próximas às fronteiras de rótulos altamente desequilibrados recebem pesos maiores.
   • Peso de Correlação de Rótulo: Avalia a informação de correlação que uma instância carrega, considerando tanto as dependências globais de rótulos quanto a consistência do vizinho local. Instâncias localizadas em regiões de fronteira sobrepostas de rótulos minoritários correlacionados são priorizadas.

3. Geração de Instância Sintética:
   As instâncias sintéticas são geradas usando uma seleção de roleta baseada nos pesos de instância calculados. Para cada nova instância:

   • Uma instância semente é selecionada.
   • Um rótulo minoritário relevante para a semente é escolhido.
   • Um vizinho de referência é selecionado com base na distância específica de rótulo para aquele rótulo específico.
   • Geração de Características: As características numéricas são interpoladas linearmente; as características nominais assumem o valor mais comum entre a semente e seus vizinhos.
   • Atribuição de Rótulo: Uma estratégia induzida pela distância específica de rótulo é empregada. Se a semente e a referência concordarem em um rótulo, esse rótulo é atribuído. Se discordarem, o rótulo da instância (seja da semente ou da referência) que estiver mais próxima da instância sintética no subespaço de características específico de rótulo é atribuído. Isso garante a consistência de rótulo no espaço de características pertinente.

Principais Contribuições

• Distância Específica de Rótulo: A introdução de uma métrica de distância que pondera dinamicamente as características com base em sua relevância para rótulos específicos, superando as limitações da distância euclidiana global em contextos multirrótulo.
• Seleção de Semente Sensível ao Semântico: Um mecanismo de pesagem que prioriza instâncias próximas às fronteiras de rótulos e aquelas que carregam informações ricas de correlação de rótulos, em vez de depender de proximidade puramente geométrica ou aleatória.
• Atribuição de Rótulo Consistente: Uma estratégia de geração que garante que as instâncias sintéticas mantenham a consistência de rótulo dentro do subespaço de características discriminativas, reduzindo o risco de confusão de rótulos e sobreajuste.

Resultados Experimentais
Os autores avaliaram o LSDMLO em 13 conjuntos de dados multirrótulo de vários domínios (texto, imagem, música, biologia) usando quatro classificadores base (BR, MLkNN, RAkEL, CC), um classificador consciente de desequilíbrio (COCOA) e um modelo de aprendizado profundo (C2AE).

• Desempenho: O LSDMLO alcançou os melhores rankings médios em todas as quatro métricas de avaliação (Macro-F, Macro-AUC, Macro-AUPR e Ranking Loss) em comparação com nove métodos de amostragem de estado da arte (incluindo MLSMOTE, MLSOL, MLBOTE, AEMLO e DR-SMOTE).
• Significância Estatística: Testes de classificação de postos de Wilcoxon confirmaram que o LSDMLO superou significativamente os concorrentes na maioria dos casos sem sofrer perdas significativas.
• Redução do Desequilíbrio Local: O estudo demonstrou que o uso de distâncias específicas de rótulo reduz significativamente a métrica de Desequilíbrio de Rótulo Local (LImb) em comparação com a distância euclidiana, particularmente em conjuntos de dados com distribuições de rótulos locais complexas.
• Sinergia de Classificador Base: O método mostrou eficácia superior quando pareado com aprendizes base de alto desempenho como C2AE e COCOA.

Significância e Alegações
O artigo afirma que a principal significância do LSDMLO reside em sua capacidade de abordar o problema de "inconsistência de rótulo" inerente aos métodos de sobreamostragem existentes. Ao reconhecer que diferentes rótulos dependem de diferentes subconjuntos de características, o LSDMLO gera dados sintéticos que são mais realistas e informativos. Os autores afirmam que esta abordagem mitiga efetivamente o viés para classes majoritárias e melhora o aprendizado de rótulos minoritários, especialmente em cenários complexos onde as distribuições de rótulos locais são difíceis de aprender. O método é apresentado como uma solução flexível e agnóstica a classificadores que melhora o desempenho de diversos algoritmos de aprendizado multirrótulo.

Trabalhos Futuros
Os autores observam que pesquisas futuras se concentrarão no desenvolvimento de um framework de aprendizado de distância específica de rótulo mais abrangente. Isso inclui incorporar a importância global de características e correlações de instâncias, bem como explorar a modelagem não linear para capturar interações complexas entre características e rótulos além da atual formulação linear esparsa. Adicionalmente, eles planejam investigar estratégias avançadas de modelagem de dependência de rótulos para capturar relações de ordem superior além das correlações de pares.