Classifier Pooling for Modern Ordinal Classification

Título: Pooling de Classificadores para Classificação Ordinal Moderna

1. O Problema

Os dados ordinais (onde as categorias possuem uma ordem inerente, mas não necessariamente uma distância numérica igual, como estágios de câncer ou escalas Likert) são comuns em domínios clínicos e de pesquisa. No entanto, existem lacunas significativas na abordagem moderna desses dados:

• Falta de Métodos Modernos: A maioria dos métodos existentes baseia-se em modelos estatísticos clássicos (como logit e probit ordenados) dos anos 1970, que são simples, mas não aproveitam a potência de classificadores modernos de aprendizado de máquina (como SVMs, Gradient Boosting, etc.).
• Abordagens Incorretas: Quando classificadores modernos são aplicados a problemas ordinais, eles frequentemente ignoram a ordem, tratando as classes como categorias nominais (usando paradigmas "um contra todos" ou "um contra um"). Isso desperdiça informações valiosas contidas na hierarquia das classes.
• Limitações da Regressão: Métodos de regressão pura não são ideais, pois assumem que a diferença entre classes é linear e contínua, o que raramente é verdade para dados ordinais discretos.
• Falta de Software: Não havia implementações de software acessíveis e de código aberto para aplicar paradigmas avançados de classificação ordinal (como cumulativo e hierárquico) com classificadores modernos.

2. Metodologia

Os autores propõem uma abordagem agnóstica ao modelo, permitindo que qualquer classificador binário moderno seja adaptado para tarefas ordinais. O trabalho foca em dois paradigmas principais de "pooling" (agrupamento) de classificadores:

• Classificação Ordinal Baseada em Diferença (Cumulativa):

  • Treinamento: Um conjunto de classificadores binários é treinado, onde cada um determina se uma amostra está acima de um determinado limiar (threshold) entre classes adjacentes.
  • Inferência: A probabilidade de uma amostra pertencer a uma classe específica é estimada pela diferença entre as probabilidades de previsão dos classificadores adjacentes a essa classe.
  • Algoritmo: Utiliza restrições monotônicas para garantir que as probabilidades sejam coerentes com a ordem das classes.

• Classificação Ordinal Baseada em Árvore (Hierárquica):

  • Conceito: Modela a probabilidade condicional de uma classe dado que a amostra está acima ou abaixo de um limiar específico.
  • Inferência: Utiliza uma equação matemática derivada (Equação 1 no artigo) que combina probabilidades condicionais ao longo de um caminho hierárquico, assumindo que o classificador no "melhor índice de divisão" (best split index) possui a inferência mais precisa.

• Implementação de Software:

  • Desenvolvimento do pacote Python statlab, disponível no PyPI.
  • Compatível com a biblioteca scikit-learn (sklearn-style), aceitando qualquer classificador que possua os métodos .fit(), .predict() e .predict_proba().
  • Inclui uma classe base (BaseOrdinalClassifier) que permite o uso de classificadores que não fornecem probabilidades nativas.

• Seleção de Hiperparâmetros:

  • O estudo compara quatro métodos para escolher o "melhor índice de divisão" (o ponto central da hierarquia): índice arbitrário (primeiro/último), índice do meio, divisão mais equilibrada (even split) e o classificador com melhor desempenho em validação cruzada.

3. Contribuições Principais

1. Método Agnóstico ao Modelo: Uma estrutura que permite aplicar qualquer classificador de aprendizado de máquina moderno (SVM, Naive Bayes, Gradient Boosting, etc.) a problemas ordinais sem reescrever o algoritmo interno do classificador.
2. Pacote de Software Open Source: A liberação do pacote statlab, facilitando a adoção, replicação e teste desses métodos pela comunidade científica.
3. Análise de Hiperparâmetros: Investigação empírica sobre como a escolha do "melhor índice de divisão" impacta o desempenho, oferecendo diretrizes práticas.
4. Validação em Dados Reais: Aplicação e teste em múltiplos conjuntos de dados do mundo real, incluindo dados clínicos (saúde fetal, radiomica de retina) e conjuntos de dados padrão (qualidade de vinho, carros, abalone).

4. Resultados

Os experimentos foram divididos em três partes principais:

• Experimento 1 (Desempenho Geral): Em 4 conjuntos de dados ordinais, os métodos de classificação ordinal (diferença e árvore) superaram ou igualaram os classificadores nativos multiclasse e os modelos tradicionais (logit/probit ordenados) em 75% a 79% das métricas avaliadas (Acurácia Ponderada, Correlação Policórica e AUC). O método baseado em árvore mostrou-se ligeiramente superior ao baseado em diferença.
• Experimento 2 (Robustez em Dados Escassos e Múltiplas Classes): Quando o tamanho do conjunto de treinamento foi reduzido (50%) e o número de classes aumentado (de 3 para 7), os métodos ordinais propostos sofreram uma queda de desempenho menor do que os métodos não ordinais. Isso indica que a incorporação da ordem é particularmente benéfica quando os dados são limitados ou as classes são numerosas.
• Experimento 3 (Seleção do Índice de Divisão): O método de escolher o "índice do meio" (middle index) tendeu a ter o melhor desempenho, superando os outros métodos na maioria dos casos, embora a escolha do "melhor classificador" via validação cruzada tenha sido competitiva.
• Controle Negativo: No conjunto de dados MNIST (dígitos manuscritos 0-9, tratados como não ordinais), os métodos ordinais não melhoraram o desempenho e, em alguns casos, pioraram, confirmando que a abordagem deve ser usada apenas quando a ordem é semanticamente relevante.

5. Significado e Conclusão

Este trabalho preenche uma lacuna crítica entre a teoria estatística clássica e o aprendizado de máquina moderno para dados ordinais.

• Impacto Prático: Permite que pesquisadores e profissionais de saúde utilizem algoritmos poderosos (como Gradient Boosting) em dados ordinais complexos, obtendo melhorias significativas na precisão, especialmente em cenários com poucos dados ou muitas classes.
• Acessibilidade: A disponibilização do software statlab remove a barreira de implementação, promovendo a reprodutibilidade científica.
• Limitações: Os autores notam que o método é menos vantajoso para redes neurais profundas (que podem aprender regras de decisão complexas intrinsecamente) e que o desempenho ainda depende fortemente da natureza do conjunto de dados.

Em suma, o artigo demonstra que a incorporação da estrutura ordinal em pipelines de aprendizado de máquina modernos é uma estratégia eficaz e necessária para melhorar a modelagem preditiva em diversas áreas, com um forte foco em aplicações clínicas.