Meta-classification of one-class classification models using ranking correlation and nearest neighbor

Resumo Técnico: Meta-classificação de Modelos de Classificação de Classe Única (One-Class Classification)

Definição do Problema
Embora as técnicas de Aprendizado de Máquina (ML) sejam amplamente aplicadas em vários domínios, a aplicação de ML aos próprios modelos de ML permanece uma direção inexplorada. Especificamente, este artigo aborda o desafio de classificar modelos de Classificação de Classe Única (OCC - One-Class Classification). A OCC é um problema onde o conjunto de treinamento consiste exclusivamente de uma única classe. Os autores postulam que todos os modelos de ML podem ser aproximados como modelos OCC (por exemplo, modelos binários ou multiclasse podem ser vistos como conjuntos de modelos OCC). A dificuldade central reside no fato de que os modelos OCC possuem funções de pontuação e limiares únicos que variam conforme o algoritmo, tornando impossível a comparação direta de suas mecânicas internas. O objetivo é desenvolver um método para classificar esses modelos com base em seu comportamento, em vez de seus parâmetros internos.

Metodologia
O framework proposto trata os modelos OCC como pontos de dados a serem classificados. A metodologia procede em três estáções principais:

1. Representação como Rankings de Normalidade:
   Em vez de comparar funções de pontuação brutas (que diferem em variáveis e escalas entre algoritmos), o método constrói "rankings de normalidade". Um "conjunto de ranking" separado (um conjunto de amostras independentes) é alimentado nos modelos OCC. Cada modelo gera uma pontuação para cada amostra neste conjunto. Essas pontuações são então convertidas em rankings (ordenações) para cada modelo. Isso transforma o modelo em um vetor de rankings, criando um espaço de representação comum, independentemente do algoritmo subjacente.

2. Medição de Similaridade:
   Para comparar dois modelos OCC, o artigo utiliza métricas de correlação de ranking. Especificamente, emprega a correlação de Spearman (pela velocidade) e a correlação de Kendall Tau (para lidar com empates) para medir a similaridade entre os rankings de normalidade gerados por diferentes modelos.

3. Classificação via Vizinho Mais Próximo (Nearest Neighbor):
   A tarefa de classificação é realizada usando uma abordagem de Vizinho Mais Próximo (NN). Como o NN é um "aprendiz preguiçoso" (lazy learner), a fase de treinamento envolve o armazenamento dos rankings de modelos OCC rotulados. Durante a fase de teste, o ranking de um modelo desconhecido é comparado com os rankings de treinamento armazenados usando as métricas de correlação. O modelo desconhecido recebe o rótulo do modelo de treinamento mais similar (mais próximo).

Principais Contribuições

• Primeiro Artigo de Periódico sobre Classificação de Modelos de ML: Os autores afirmam que este é o primeiro artigo de periódico a classificar explicitamente modelos de ML, focando especificamente em modelos OCC.
• Solução Unificada: O método fornece um framework unificado para classificar três entidades distintas: modelos OCC, os conjuntos de dados usados para treiná-los e os próprios rankings.
• Insight Teórico: O artigo estabelece que classificar modelos OCC é essencialmente equivalente a classificar os conjuntos de dados que os treinaram, pois existe uma correspondência um-para-um entre um modelo OCC e seu conjunto de dados de treinamento.
• Experimentos Estendidos: Diferente de uma versão anterior de conferência, este trabalho inclui experimentos detalhados sobre modelos de ensemble, equilíbrio de dados (razões normal vs. anormal) e hiperparâmetros.

Resultos Experimentais
Os experimentos utilizaram quatro algoritmos base de OCC (OCSVM, LOF, Isolation Forest, GMM) e seus ensembles, treinados em subconjuntos do dataset KDD Cup.

• Classificação de Dataset: O método alcançou 100% de precisão ao distinguir modelos treinados em dados "normais" versus dados "anormais". Também alcançou alta precisão (99,3–99,4%) ao distinguir modelos treinados em dados mistos. A classificação de razões específicas de normal-para-anormal (11 classes) rendeu acurácias de 83,6% (leave-one-out) e 87,3% (2-fold).
• Classificação de Algoritmo: Ao distinguir entre os quatro algoritmos base, o método alcançou 100% de precisão. No entanto, a precisão caiu ao classificar modelos de ensemble (15 classes), atingindo 85,5% em dados normais e significativamente menor (23,7%) em dados anormais, sugerindo que os modelos de ensemble são mais similares entre si do que os aprendizes base.
• Classificação de Hiperparâmetros:
  • Hiperparâmetros Categóricos: Alta precisão foi alcançada para parâmetros categóricos (ex: kernels de OCSVM: 93,8–100%; tipos de covariância de GMM: 75%).
  • Hiperparâmetros Numéricos: A precisão foi baixa para parâmetros numéricos (ex: vizinhos de LOF: 2,8%; max features de IF: 27,9%). Os autores observam que, embora a precisão de classificação seja baixa, os resultados se assemelham a um problema de regressão onde as previsões são próximas dos valores reais, sugerindo que mudanças numéricas menores não alteram drasticamente o comportamento de ranking do modelo.
• Aplicações no Mundo Real:
  • Sinais Biométricos: O método foi aplicado a sinais de Balistocardiograma (BCG), detectando com sucesso anomalias (prender a respiração, mudanças de posição) ao analisar desvios nas correlações de ranking.
  • Registros de Sono: Em um cenário não supervisionado usando registros de sono de 1308 participantes, o método identificou comportamentos de sono "anormais" ao tratar os datasets individuais de usuários como modelos OCC e detectar outliers no espaço de ranking.

Significância e Limitações
O artigo afirma que a classificação de modelos OCC oferece uma nova perspectiva na IA Explicável (XAI), especificamente como um método para analisar modelos de caixa-preta através de seus rankings de saída. Sugere que classificar datasets (tratando múltiplos exemplos como uma única entrada) pode ser mais fácil do que a classificação tradicional amostra por amostra devido às maiores diferenças entre os datasets.

Contudo, os autores são modestos quanto às limitações:

• Escalabilidade: A abordagem enfrenta problemas de escalabilidade com grandes conjuntos de dados devido ao custo computacional de calcular correlações de ranking (O(n) para Spearman, O(n²) para Kendall Tau).
• Restrições de Caixa-Preta: O método requer acesso às funções de pontuação e um formato de entrada conhecido para gerar o conjunto de ranking. Em cenários do mundo real onde apenas saídas de classificação estão disponíveis ou os formatos de entrada são desconhecidos, criar um conjunto de ranking é um desafio.
• Trabalhos Futuros: O artigo afirma explicitamente que a classificação de modelos binários/multiclasse e o desenvolvimento de modelos de "terceira camada" (classificando os classificadores dos modelos) ficam para pesquisas futuras.

Em conclusão, o artigo demonstra que modelos OCC podem ser efetivamente meta-classificados usando correlações de ranking e vizinhos mais próximos, fornecendo uma abordagem unificada para analisar modelos, datasets e rankings, com potenciais aplicações em detecção de anomalias e caracterização de datasets.