Resumo Técnico: PHUE – Ensemble de Subamostragem Progressiva Consciente da Dificuldade

1. Definição do Problema

O desequilíbrio de classes permanece um desafio crítico em aprendizado de máquina, particularmente em cenários de alta dimensionalidade e baixo volume de amostras, como diagnóstico médico, detecção de fraude e intrusão em redes. Algoritmos de classificação tradicionais tendem a favorecer a classe majoritária, negligenciando a classe minoritária, que frequentemente possui maior valor prático. Embora o aprendizado de ensemble tenha emergido como uma solução convencional, os métodos existentes enfrentam duas limitações primordiais:

1. Estratégias de Amostragem Estáticas: Métios de subamostragem atuais (como o Self-Propagating Ensemble ou SPE) frequentemente dependem de classificações de dificuldade fixas. Eles carecem de ajuste dinâmico baseado no feedback do modelo, levando à potencial perda de informações críticas de amostras próximas à fronteira de decisão. Estratégias estáticas costumam selecionar amostras de alta confiança, mantendo o modelo em uma "zona de conforto" e falhando em aprender com amostras incertas ou difíceis.
2. Alocação de Pesos Inadequada: A ponderação dos classificadores base frequentemente depende de métricas únicas (como acurácia) ou regras estáticas. Isso falha em refletir de forma abrangente o desempenho de um modelo através de diferentes dimensões de avaliação (ex: G-mean, F1-score, AUC), podendo enviesar o ensemble para a classe majoritária.

2. Metodologia: PHUE

O artigo propõe o PHUE (Progressive Hardness-Aware Undersampling Ensemble), um framework de aprendizado de ensemble dinâmico projetado para abordar as limitações de amostragem e ponderação estáticas. O método opera através de um processo progressivo e iterativo composto por três camadas principais:

A. Avaliação Inicial de Dificuldade

Na fase inicial de treinamento, o algoritmo avalia a "dificuldade" das amostras da classe majoritária usando a perda de entropia cruzada binária (binary cross-entropy). Um limiar adaptativo ($\tau_0$) é calculado com base no percentil da distribuição de perda, determinado dinamicamente pela razão de desequilíbrio de classes. Isso identifica um subconjunto de amostras "difíceis" da classe majoritária ($D_{hard}$) que contêm informações ricas de fronteira, filtrando amostras fáceis que contribuem menos para o refinamento da fronteira de decisão.

B. Subamostragem Equalizada Consciente da Dificuldade

Para aumentar a diversidade dos classificadores base, o PHUE emprega uma estratégia de agrupamento probabilístico dinâmico (dynamic probabilistic binning) nas amostras difíceis identificadas:

• Agrupamento (Binning): As amostras são mapeadas em $K_t$ intervalos de probabilidade com base em suas probabilidades previstas na iteração anterior.
• Amostragem Ponderada: Uma função de ponderação específica é aplicada a esses intervalos. A estratégia prioriza o intervalo de "probabilidade média" (representando alta incerteza próxima à fronteira de decisão) com os pesos de amostragem mais altos. Regiões de baixa probabilidade (fáceis) e alta probabilidade (redundantes/ruidosas) recebem pesos atenuados.
• Ajuste Dinâmico: Parâmetros como limites de intervalos e intensidades de amostragem são ajustados ao longo das iterações. Os estágios iniciais focam na exploração da distribuição de dados com uma amostragem mais frouxa, enquanto os estágios posteriores adotam uma amostragem rigorosa para refinar a fronteira de decisão.
• Conjuntos de Treinamento Balanceados: O subconjunto selecionado da classe majoritária é combinado com todas as amostras da classe minoritária para formar um conjunto de treinamento balanceado para cada classificador base.

C. Integração de Peso Dinâmica Multi-Métrica

O PHUE introduz um mecanismo de ponderação composta para os classificadores base que evolui ao longo do processo de treinamento:

• Agendamento de Métricas (Metric Scheduling): O algoritmo ajusta dinamicamente a importância das métricas de avaliação com base na contagem de iterações ($t$).
  • Estágios Iniciais: Enfatiza o G-mean para estabelecer capacidades discriminativas equilibradas entre as classes.
  • Estágios Posteriores: Muda o foco para o F1-score (qualidade da classe minoritária) e AUC (capacidade de ranking geral).
• Penalidade de Erro: Uma ponderação de penalidade sensível ao custo é aplicada com base em Falsos Positivos (FP) e Falsos Negativos (FN). Classificadores com baixas taxas de erro em ambas as dimensões recebem pesos maiores.
• Fusão Recursiva: A predição final do ensemble é uma soma ponderada das saídas dos classificadores base, onde os pesos são atualizados recursivamente e normalizados globalmente para garantir estabilidade.

3. Principais Contribuições

• Amostragem Dinâmica Consciente da Dificuldade: Diferente dos métodos de agrupamento estáticos, o PHUE utiliza um mecanismo de agrupamento probabilístico dinâmico que ajusta os pesos de amostragem com base no feedback em tempo real do modelo e na incerteza da amostra. Isso garante que o modelo foque progressivamente nas amostras de fronteira.
• Ponderação Multi-Métrica Progressiva: O artigo propõe um esquema de ponderação inovador que transita do equilíbrio global de classes (G-mean) para a identificação precisa da classe minoritária (F1, AUC) conforme o treinamento avança, evitando as armadil-has da dependência de métrica única.
• Avaliação Abrangente: O método é validado contra 11 algoritmos de última geração (incluindo RUSBoost, SMOTEBoost, HUE, TSSE e EASE) em 25 conjuntos de dados reais de pequena escala e 4 de grande escala.

4. Resultados Experimentais

Os experimentos utilizaram árvores de decisão como classificadores base e avaliaram o desempenho usando F1-score, Coeficiente de Correlação de Matthews (MCC), AUC (especificamente AUC-PR em alguns contextos) e G-mean.

• Conjuntos de Dados de Pequena Escala: O PHUE alcançou o maior ranking médio (1.25) em todas as métricas, superando os próximos melhores métodos (TSSE e EASE). Garantiu a posição de topo em F1-score (86,77%), MCC (81,49%) e AUC (91,74%).
• Conjuntos de Dados de Grande Escala: O PHUE empatou em primeiro lugar no ranking médio (2.5) com o TSSE. Superou significativamente outros algoritmos em F1-score (73,48% vs. 65,68% para o TSSE) e MCC (64,22% vs. 55,07%).
• Compensações (Trade-offs): Os autores observam que, embora o PHUE se destaque em F1, MCC e AUC, ele ficou em uma posição inferior (7º) em G-mean em conjuntos de dados de grande escala. O artigo atribui isso a uma compensação estratégica onde o algoritmo prioriza o recall da classe minoritária e a capacidade de ranking geral sobre a especificidade absoluta da classe majoritária.

5. Significância e Alegações

O artigo afirma que o PHUE oferece uma solução robusta para a classificação de dados desbalanceados ao reter efetivamente informações diversas da classe majoritária enquanto refina progressivamente a fronteira de decisão através de feedback dinâmico.

• Eficiência e Equilíbrio: O método estabelece um equilíbrio entre eficiência algorítmica e desempenho de classificação, sendo adequado tanto para cenários de pequenas amostras quanto de grande escala.
• Adaptabilidade: Ao integrar agrupamento dinâmico e agendamento multi-métrica, o PHUE se adapta às necessidades evolutivas do processo de treinamento, movendo-se de um aprendizado de distribuição ampla para um refinamento preciso de fronteira.
• Direções Futuras: Os autores reconhecem modestamente as limitações, observando que o PHUE é atualmente projetado para classificação binária e utiliza árvores de decisão. Eles sugerem que trabalhos futuros poderiam explorar aplicações de múltiplas classes, a integração de técnicas de sobreamostragem para classes minoritárias extremamente escassas e o uso de classificadores base mais complexos (ex: Random Forests), reconhecendo o potencial compromisso no tempo de execução.

O estudo conclui que o PHUE representa um avanço significativo no tratamento do desequilíbrio de classes, fornecendo uma alternativa abrangente e de alto desempenho consistente em relação às estratégias de ensemble existentes.