Improving Performance in Classification Tasks with LCEN and the Weighted Focal Differentiable MCC Loss

Resumo Técnico: Aprimoramento de Desempenho em Tarefas de Classificação com LCEN e a Função de Perda DiffMCC

1. Problema e Motivação

O artigo aborda dois desafios fundamentais em tarefas de classificação de aprendizado de máquina:

1. Limitação de Algoritmos Interpretáveis: O algoritmo LCEN (LASSO-Clip-EN), anteriormente introduzido para seleção de características e aprendizado de máquina não lineares e interpretáveis, era restrito a tarefas de regressão. Não existia uma versão adaptada para classificação que mantivesse suas propriedades desejáveis (interpretabilidade e esparsidade).
2. Discrepância entre Função de Perda e Métricas de Avaliação: Em classificação, os modelos (especialmente redes neurais) são frequentemente treinados com a função de perda de Entropia Cruzada (Cross-Entropy - CE), que minimiza a divergência entre previsões e rótulos. No entanto, os modelos são avaliados com base em métricas como F1-score macro e Coeficiente de Correlação de Matthews (MCC). Como essas métricas não são diferenciáveis, não podem ser usadas diretamente como função de perda. Isso cria um desalinhamento onde o modelo com a menor entropia cruzada não necessariamente possui o melhor desempenho nas métricas de classificação finais.

2. Metodologia

Os autores propõem duas contribuições metodológicas principais:

• Adaptação do Algoritmo LCEN para Classificação:

  • Modificou-se o algoritmo original (desenvolvido para regressão) para suportar tarefas de classificação binária e multiclasse.
  • Alterações Chave:
    1. A etapa de LASSO foi alterada de regressão linear com penalidade L1 para regressão logística com penalidade L1.
    2. A etapa de EN (Elastic Net) foi alterada de regressão linear combinada (L1-L2) para regressão logística combinada (L1-L2).
    3. Para classificação multiclasse, foi introduzido um hiperparâmetro LCEN_clip_min_classes_selected para harmonizar os conjuntos de características gerados para cada classe, garantindo que uma característica só seja mantida se aparecer em um número mínimo de classes.
  • O algoritmo mantém a capacidade de gerar modelos esparsos e interpretáveis, eliminando características irrelevantes.

• Avaliação da Função de Perda DiffMCC:

  • Avaliou-se a função de perda MCC Diferenciável Ponderada e Focal (diffMCC), proposta anteriormente por Seber (2024).
  • Esta função de perda é uma variante diferenciável do MCC, projetada para ser otimizada diretamente durante o treinamento de Redes Neurais Artificiais (ANNs/MLPs), alinhando o objetivo de otimização com a métrica de avaliação final.

• Configuração Experimental:

  • Datasets: Quatro conjuntos de dados reais (dois binários: "Heart Failure" e "Bank Marketing"; dois multiclasse: "Wine Quality" e "Glass Identification") e um conjunto de dados artificial.
  • Comparativos: O LCEN modificado foi comparado com 10 outros tipos de modelos (Regressão Logística, LASSO, EN, SVM, Random Forest, GBDT, AdaBoost, MLP com CE, etc.).
  • Validação: Uso de validação cruzada de 5 dobras (repetida com 3 sementes diferentes) e testes estatísticos (Teste HSD de Tukey, testes t pareados).

3. Contribuições Principais

1. Generalização do LCEN: Demonstração de que o LCEN pode ser eficazmente adaptado para tarefas de classificação, mantendo sua capacidade de seleção de características e interpretabilidade.
2. Superioridade da Função de Perda DiffMCC: Evidência empírica de que treinar MLPs com a função de perda diffMCC supera consistentemente o treinamento com Entropia Cruzada ponderada em métricas críticas de classificação.
3. Seleção de Características Otimizada: Demonstração de que as características selecionadas pelo LCEN não apenas criam modelos esparsos, mas também melhoram o desempenho de outros algoritmos quando usados como entrada, superando métodos de seleção tradicionais (como testes estatísticos ou seleção baseada em conhecimento de domínio).

4. Resultados Principais

• Desempenho do LCEN como Modelo de Aprendizado:

  • O LCEN alcançou consistentemente altos scores de F1-score macro e MCC em todos os datasets, ficando entre os melhores modelos testados.
  • Em comparação com o melhor modelo de cada dataset, o LCEN teve apenas 7,3% a menos no F1-score e 15,0% a menos no MCC, superando modelos de aprendizado profundo (MLP-CE) em alguns casos (ex: tarefa de Marketing Bancário).
  • Esparsidade: O LCEN eliminou, em média, 56% de todas as características de entrada, mantendo a interpretabilidade.

• Impacto da Seleção de Características do LCEN:

  • Ao re-treinar todos os modelos usando apenas as características selecionadas pelo LCEN, houve melhoria estatisticamente significativa no desempenho em 3 dos 4 datasets (aumento médio de 3,3% no F1-score e 10,0% no MCC no dataset "Heart Failure").
  • Em contraste, o uso de características selecionadas por métodos anteriores (como os de Chicco & Jurman ou Moro et al.) frequentemente resultou em queda de desempenho ou desempenho inferior ao uso de todas as características.

• Desempenho da Função de Perda DiffMCC:

  • Os modelos MLP treinados com diffMCC foram sempre os melhores performers em todos os experimentos.
  • Em comparação com MLPs treinados com Entropia Cruzada (CE), os modelos com diffMCC alcançaram, em média:
    • 4,9% a mais no F1-score macro.
    • 8,5% a mais no MCC.
  • Isso confirma que alinhar a função de perda com a métrica de avaliação (MCC) é crucial para maximizar o desempenho em classificação.

• Análise de Hiperparâmetros:

  • Para classificação multiclasse, o hiperparâmetro LCEN_clip_min_classes_selected mostrou-se sensível. Valores muito altos (próximos ao número total de classes) reduziram o desempenho. Recomenda-se definir esse valor para no máximo 2/3 do número de classes.

5. Significado e Conclusão

O trabalho valida que é possível combinar alta precisão preditiva com interpretabilidade e esparsidade em tarefas de classificação complexas.

• Para a Ciência de Dados: O LCEN oferece uma alternativa robusta aos "caixas pretas" (como redes neurais profundas) em aplicações críticas (medicina, engenharia), onde a compreensão do modelo é essencial.
• Para o Treinamento de Modelos: A adoção da função de perda diffMCC é recomendada para tarefas onde o MCC ou o F1-score são as métricas de sucesso, superando a Entropia Cruzada padrão.
• Futuro: Os autores sugerem a aplicação do LCEN para gerar equações físicas em arquiteturas de modelos híbridos e a expansão do uso da função diffMCC para dados não tabulares (visão computacional, texto).

Em suma, o artigo demonstra que a combinação de um algoritmo de seleção de características interpretável (LCEN) e uma função de perda alinhada com métricas de classificação (diffMCC) resulta em modelos mais precisos, robustos e explicáveis.