An novel efficient method of multi-class support vector machine with weighted multiple kernel learning

Imagine que você está tentando ensinar um robô a reconhecer diferentes animais em um zoológico lotado. Você poderia mostrar a ele uma foto de um leão e dizer: "Aquele é um leão", depois mostrar um tigre e dizer: "Aquele é um tigre". Mas e se o robô tiver que filtrar milhares de animais de uma só vez, alguns parecendo muito semelhantes, ou se as fotos estiverem borradas ou tiradas de ângulos estranhos? Este é o mundo do aprendizado de máquina (machine learning), especificamente um ramo chamado classificação, onde os computadores aprendem a separar dados em grupos.

Para fazer isso, os computadores costumam usar uma ferramenta inteligente chamada Máquina de Vetores de Suporte (SVM). Pense na SVM como um árbitro superinteligente que desenha linhas invisíveis no ar para separar diferentes grupos. Se os animais estiverem misturados em uma pilha bagunçada, o árbitro tenta encontrar o caminho mais largo e claro para separar os leões dos tigres. Geralmente, o árbitro usa uma única "lente" ou kernel para observar os dados. Uma lente pode ser boa para ver formas, ou boa para ver cores, mas raramente consegue fazer ambas perfeitamente. Se os dados forem complexos — como um zoológico com animais que têm listras, manchas e pelos ao mesmo tempo — uma única lente pode perder os detalhes.

É aqui que o Aprendizado de Múltiplos Kernels (MKL) entra. Em vez de depender de apenas uma lente, o MKL permite que o computador use um kit de câmeras completo com diferentes lentes ao mesmo tempo, misturando-as para ver a imagem mais clara possível. No entanto, há um porém: usar todas essas lentes em uma pilha massiva de dados é incrivelmente lento e computacionalmente caro. É como tentar separar todo o zoológico à mão, um animal por vez, usando cada lupa possível. A questão que os cientistas têm feito é: Podemos obter a visão superclara de múltiplas lentes sem o processo lento e exaustivo de verificar cada um dos animais?

---

O Novo "Super-Árbitro Tudo-em-Um"

Neste artigo, os pesquisadores Zijie Dong, Xingrui Gong e Fen Chen propõem uma nova maneira mais rápida de treinar esses classificadores multiclasse. Eles chamam o método de AIO-MSVM-WMK (que é um nome difícil de pronunciar, então vamos chamá-lo de "Árbitro Ponderado Tudo-em-Um").

A grande ideia deles é combinar duas estratégias poderosas em uma operação fluida:

1. Aprendizado de Múltiplos Kernels Ponderados: Em vez de usar uma única lente, eles misturam várias lentes diferentes (como kernels lineares, polinomiais e RBF) juntas. Mas aqui está o truque: eles não misturam essas lentes igualmente. Eles atribuem um "peso" a cada lente com base no quão boa ela é para o trabalho. Se a lente de "forma" é ótima para identificar leões, ela recebe um voto maior. Se a lente de "textura" é melhor para tigres, ela recebe mais peso. Isso acontece automaticamente enquanto o computador aprende, em vez de ser configurado previamente.
2. Otimização de Amostras: Este é o acelerador de velocidade. Em vez de forçar o computador a estudar cada um dos animais do zoológico (o que leva uma eternidade), o algoritmo escolhe inteligentemente os mais importantes. Ele foca nos animais que estão logo na borda dos grupos — aqueles complicados que são difíceis de distinguir — enquanto ignora os óbvios que são fáceis de classificar. Isso economiza uma quantidade enorme de tempo.

Como Eles Testaram

Para ver se o novo árbitro era realmente melhor, a equipe realizou experimentos em 9 conjuntos de dados públicos (coleções de dados do mundo real, como imagens de números escritos à mão, artigos de notícias e dados biológicos). Eles compararam seu método com outras quatro formas populares de classificação multiclasse:

• AIO-Mar: Um método "Tudo-em-Um" mais antigo.
• MK-MSVCR: Um método que utiliza múltiplos kernels de uma forma diferente.
• WMK-OVO: Um método que compara cada classe contra cada outra (Um-contra-Um).
• WMK-OVA: Um método que compara cada classe contra todas as outras de uma vez (Um-contra-Todos).

Eles testaram esses métodos em dois tamanhos diferentes de dados de treinamento: um com 10.000 amostras e outro com 26.000 amostras.

Os Resultados: Mais Rápidos e Mais Inteligentes

Os resultados mostraram que o novo método AIO-MSVM-WMK foi um vencedor claro em duas áreas principais:

1. Cometeu menos erros.
Quando os dados eram complexos, o novo método classificou os animais com mais precisão do que os outros. Por exemplo, no conjunto de dados "Twitter" (que envolve a classificação de texto), o novo método cometeu erros apenas 1,51% das vezes com 26.000 amostras. Em contraste, o segundo melhor método cometeu erros 1,78% das vezes, e os outros foram muito piores, cometendo erros de até 18,16%. No conjunto de dados "Mnist" (números escritos à mão), o novo método teve uma taxa de erro de 10,36%, superando os outros que variaram de 12,37% a 15,28%.

2. Foi significativamente mais rápido.
Foi aqui que a "Otimização de Amostras" realmente brilhou. Os pesquisadores mediram o tempo total para selecionar as amostras importantes e treinar o modelo.

• No teste de 10.000 amostras, o novo método levou um total de 64.730 segundos (cerca de 18 horas) para rodar em todos os conjuntos de dados. O próximo método mais rápido levou 75.796 segundos, e o mais lento levou 90.162 segundos.
• No teste de 26.000 amostras, a diferença aumentou. O novo método levou 119.671,96 segundos, enquanto o concorrente mais lento levou 181.262,97 segundos.

Os pesquisadores usaram um teste estatístico chamado teste de postos sinalizados de Wilcoxon para confirmar que essas diferenças não foram apenas sorte. O teste mostrou que o novo método foi estatisticamente superior a todos os quatro concorrentes, tanto em precisão quanto em velocidade.

O Que Isso Significa

O artigo sugere que, ao combinar múltiplos kernels ponderados (usando a melhor mistura de lentes) com a seleção inteligente de amostras (focando apenas nos casos mais difíceis), você pode construir um classificador que é ao mesmo tempo mais preciso e muito mais rápido do que os métodos atuais.

Os autores observam que esta abordagem é particularmente útil para "dados multiclasse complexos e maiores". Eles não alegaram resolver todos os problemas do mundo, mas demonstraram que, para os conjuntos de dados testados, superaram as técnicas existentes sem a necessidade de etapas extras de pré-processamento. Eles também mencionaram que trabalhos futuros poderiam envolver a aplicação desta ideia em redes neurais profundas ou o uso de computação paralela para torná-la ainda mais rápida, mas, por enquanto, o "Árbitro Ponderado Tudo-em-Um" representa uma forma mais eficiente de ensinar computadores a classificar os dados bagunçados do mundo.