Resumo Técnico: Decomposição de One-Class Support Vector Machine em um Ensemble de One-Data Support Vector Machines

1. Definição do Problema

A classificação de classe única (One-Class Classification - OCC) é uma tarefa de aprendizado supervisionado onde o conjunto de dados de treinamento contém apenas amostras de uma única classe conhecida, com o objetivo de distingui-las de classes desconhecidas. O One-Class Support Vector Machine (OCSVM) é um algoritmo líder neste domínio, conhecido por maximizar a margem entre os vetores de suporte e a origem no espaço do kernel.

No entanto, o OCSVM enfrenta desafios significativos de escalabilidade quando aplicado a conjuntos de dados de grande escala. O principal gargalo é o processo de otimização demorado necessário para resolver o problema dual, que envolve a otimização de pesos para todas as amostras de treinamento simultaneamente. Essa complexidade dificulta a aplicação do OCSVM a cenários de big data e processamento em tempo real. Embora pesquisas anteriores tenham tentado acelerar o OCSVM através de variantes como o Least Squares OCSVM ou por meio de agrupamento de dados (clustering), esses métodos ainda frequentemente exigem etapas de otimização em subconjuntos de dados.

2. Metodologia

A abordagem proposta, denominada One-Data Support Vector Machine (ODSVM), reestrutura fundamentalmente o processo de treinamento do OCSVM ao decompor o conjunto de dados em amostras individuais.

Conceito Central

O método postula que um OCSVM treinado em um único ponto de dado ($n=1$) não requer a resolução de um problema de otimização. No OCSVM padrão, o problema dual envolve a minimização de uma forma quadrática sobre $n$ amostras. Quando $n=1$, a otimização simplifica-se para um valor constante, e a função de pontuação torna-se uma aplicação direta da função kernel menos um limiar (threshold).

Estrutura Algorítmica

A estratégia proposta envolve três estágios principais:

1. Decomposição e Treinamento (Geração de ODSVM):

   • ODSVM-all: Uma abordagem direta onde um modelo OCSVM é treinado em cada amostra individual do conjunto de dados.
   • ODSVM-N (Redução de Dados): Para mitigar o custo computacional de treinar em cada amostra, os autores propõem uma estratégia de redução. Um OCSVM inicial é treinado na média do conjunto de dados para calcular "pontuações de normalidade" para todas as amostras. As $N$ amostras com as menores pontuações de normalidade (interpretadas como as mais "anormais" ou vetores de suporte críticos) são selecionadas. Modelos ODSVM são então treinados exclusivamente nesses $N$ vetores de suporte.

2. Aprendizado de Ensemble (Ensemble Learning):

   • Os modelos ODSVM individuais são combinados usando Bagging (especificamente, um ensemble de modelos treinados em diferentes pontos de dados).
   • Duas estratégias de ensemble são empregadas para agregar as pontuações:
     • Soma (Summation): A pontuação final é a soma das pontuações de todos os $N$ modelos ODSVM.
     • Máximo (Maximum): A pontuação final é a pontuação máxima obtida de qualquer único modelo ODSVM.

3. Inferência:

   • Para uma nova amostra de teste, o ensemble computa a pontuação baseada na estratégia de agregação escolhida, aproximando efetivamente a pontuação de um OCSVM tradicional treinado no conjunto de dados completo.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

• Estratégia de Decomposição: A originalidade reside na decomposição do OCSVM em um ensemble de ODSVMs, onde cada modelo é treinado em um único ponto de dado. Isso elimina a necessidade do complexo processo de otimização inerente ao OCSVM padrão.
• Eficiência de Desempenho: O ensemble de ODSVMs alcança velocidades de processamento significativamente mais rápidas que o OCSVM tradicional, mantendo um desempenho de classificação semelhante (medido pela Área Sob a Curva ROC, AUC).
• Correspondência Um-para-Um: O método estabelece uma correspondência teórica um-para-um entre amostras individuais e modelos. Isso permite aplicações únicas, como tratar amostras como modelos (ou vice-versa), o que tem implicações para proteção de privacidade e machine unlearning (desaprendizado de máquina).

4. Resultados Experimentais

Os autores avaliaram o método proposto utilizando 27 conjuntos de dados de classificação binária do pacote imbalanced-learn, tratando tanto as classes minoritárias quanto as majoritárias como a "classe única".

• Acurácia (AUC): Os ensembles ODSVM (tanto o ODSVM-all quanto o ODSVM-N com $N=200$ ou $1000$) alcançaram pontuações de AUC comparáveis ao OCSVM tradicional. Por exemplo, no conjunto de dados protein_homo, o AUC médio para OCSVM foi de 80,8%, enquanto o ODSVM-200 (Soma) atingiu 88,0% e o ODSVM-1000 (Soma) atingiu 78,0%.
• Velocidade de Processamento: O método proposto demonstrou melhorias drásticas no tempo de treinamento e no tempo total de processamento para grandes conjuntos de dados.
  • No conjunto de dados protein_homo (86.672 amostras de treinamento), o OCSVM tradicional levou 10 minutos e 28 segundos. Em contraste, o ODSVM-200 completou a tarefa em 1,7 segundos.
  • No conjunto de dados webpage (20.279 amostras), o OCSVM levou 1 minuto e 26 segundos, enquanto o ODSVM-200 levou 1,4 segundos.
• Uso de Memória: Embora o treinamento do ODSVM-all (um modelo por amostra) tenha aumentado o tamanho do arquivo em comparação ao conjunto de dados original, os modelos reduzidos (ODSVM-200 e ODSVM-1000) resultaram em tamanhos de arquivo significativamente menores (ex: 219,9 KB e 1,1 MB respectivamente) comparados ao modelo OCSVM tradicional (25 MB).
• Aplicação em Séries Temporais: O método foi aplicado com sucesso a um conjunto de dados de distúrbios respiratórios (sinais de Balistocardiograma), processando 720 segundos de dados em 25 segundos, demonstrando adequação para análise biométrica em tempo real.

5. Significância e Alegações

O artigo afirma que decompor o OCSVM em um ensemble de modelos de dados únicos é uma estratégia de aceleração viável que remove o gargalo computacional da otimização em larga escala. Os autores enfatizam que:

• A otimização dos pesos dos vetores de suporte no OCSVM tradicional pode ser redundante, uma vez que o ensemble de modelos de dados únicos sem pesos (ou com pesos uniformes) produz resultados de AUC semelhantes.
• O mapeamento um-para-um entre amostras e modelos oferece utilidade teórica para o machine unlearning, onde remover um modelo específico corresponde a "desaprender" um ponto de dado específico, um processo potencialmente mais simples do que os métodos tradicionais de desaprendizado.
• A abordagem é aplicável a várias funções de kernel (Linear, Polinomial, RBF, Sigmoid) sem perda significativa de desempenho.

Os autores concluem que, embora a implementação atual seja uma alternativa forte para velocidade, trabalhos futuros devem focar na otimização dos critérios de seleção de vetores de suporte e no refinamento das estratégias de ensemble para melhorar ainda mais as pontuações de AUC. Eles também sugerem o potencial de estender este conceito de decomposição para modelos de deep learning.