POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification

Imagine que você esteja tentando encontrar a melhor rota através de uma floresta densa e com neblina para chegar a um destino específico. No mundo da ciência da computação, isso é um pouco como o "aprendizado de máquina" (machine learning), onde algoritmos tentam fazer suposições inteligentes baseadas em dados. Uma maneira popular de fazer isso é chamada de "k-vizinhos mais próximos" (kNN). Pense no kNN como um turista que pede direções às cinco pessoas mais próximas que ele vê. Se a maioria dessas cinco disser "vire à esquerda", o turista vira à esquerda. É simples e funciona bem em campos abertos, mas pode se confundir em uma floresta com caminhos sinuosos. Se as pessoas que dizem "vire à esquerda" estiverem paradas em uma linha longa e curva, um turista que olha apenas para quem está mais próximo em uma linha reta pode perder todo o grupo e se perder.

Este artigo aborda exatamente esse problema: como ajudamos nosso turista digital a navegar em camros sinuosos e complicados na floresta de dados sem ficar preso? Os pesquisadores estão construindo uma versão melhor da estratégia de "perguntar aos vizinhos". Eles não estão apenas procurando pelas pessoas mais próximas; eles estão procurando pelas pessoas que estão conectadas em uma cadeia lógica, como pedras de apoio atravessando um riacho. Eles também usam um truque inteligente chamado triagem "Out-of-Bag" (OOB), que é como ter um grupo de batedores testando seus próprios mapas em um treino antes da jornada real começar, mantendo apenas os mapas que não os deixaram perdidos.

A História do Artigo: Uma Maneira Melhor de Encontrar o Caminho

Os pesquisadores, Zardad Khan e sua equipe, introduziram um novo método chamado POSSE-kNN. Você pode pensar nisso como uma super equipe de exploradores tentando resolver um quebra-cabeça. Em vez de um único explorador olhando o mapa, eles criam 500 exploradores "candidatos" diferentes. Cada um é um pouco diferente: eles olham para a floresta através de uma lente ligeiramente diferente (subespaços de características aleatórias) e seguem um caminho único para encontrar seus vizinhos.

Aqui está como o método especial "Pathwise" (por caminho) deles funciona. Imagine que você é o explorador parado em um ponto de consulta (o lugar onde você precisa tomar uma decisão).

1. O Primeiro Passo: Você olha ao redor e encontra a única pessoa mais próxima de você.
2. A Reação em Cadeia: Em vez de procurar a próxima pessoa mais próxima de você, você procura a pessoa mais próxima da primeira pessoa que você acabou de encontrar. Então, você encontra a pessoa mais próxima daquela pessoa.
3. O Caminho: Você continua fazendo isso até ter uma cadeia de $k$ pessoas. Isso cria um "caminho" que segue a forma local da multidão, mesmo que essa multidão seja curva ou retorcida. Isso é muito mais inteligente do que apenas escolher as cinco pessoas mais próximas de você em uma linha reta, que poderiam estar todas paradas em um agrupamento estranho e pouco útil.

Mas espere, 500 exploradores é muita confusão. Alguns podem ser ruins em navegar. Por isso, a equipe usa a triagem Out-of-Bag (OOB). Antes da corrida final, eles enviam cada um dos 500 exploradores em um treino usando um conjunto de dados nos quais eles não foram treinados. Se um explorador se perder durante o treino, ele é expulso da equipe. Os pesquisadores mantiveram os 25% melhores dos exploradores (os melhores 125 de 500) e deixaram que eles votassem na resposta final. É como um reality show onde os juízes eliminam os concorrentes que falharam no desafio, deixando apenas os campeões para decidir o vencedor.

O Que Eles Descobriram

A equipe testou este novo método POSSE-kNN em dez conjuntos de dados diferentes (que são como dez tipos diferentes de florestas, variando de pequenos registros médicos a dados maiores de engenharia). Eles compararam o método com outros seis métodos estabelecidos, incluindo o kNN padrão, Florestas Aleatórias (Random Forests) e Máquinas de Vetores de Suporte (SVM).

Os resultados foram bastante promissores. Em todo o espectro, o POSSE-kNN ficou no topo nos rankings gerais.

• Precisão: Ele acertou a resposta 0,740 das vezes, em média. Esta foi a pontuação mais alta entre todos os métodos testados.
• Confiabilidade: Também obteve a melhor pontuação em Kappa de Cohen (0,412), uma medida de quão bem o método concorda com a verdade, e no escore Brier (0,175), que mede o quão confiáveis e corretas foram suas previsões de probabilidade.

O método venceu ou empatou em primeiro lugar em oito dos dez conjuntos de dados. No entanto, o artigo é cuidadoso ao não dizer que é uma solução mágica para tudo. Em dois conjuntos de dados específicos (um chamado ILPD e outro chamado Chscase Vine), outros métodos tiveram um desempenho ligeiramente superior. Por exemplo, no dado Chscase Vine, um método linear chamado SVM foi melhor, sugerindo que, às vezes, a "floresta" é na verdade uma linha reta, e um caminho complexo não é necessário.

A Pergunta "Quantos Vizinhos?"

Os pesquisadores também brincaram com o tamanho do grupo, alterando o número de vizinhos ($k$) para 3, 5 ou 7. Eles descobriram que, para algumas florestas (como o conjunto de dados "Heart"), o método funcionou muito bem, independentemente de qual número escolhessem. Mas para outras (como o "ILPD"), mudar o número não ajudou muito e, às vezes, uma estratégia diferente era melhor. Isso sugere que, embora o método por caminho seja poderoso, você ainda precisa ajustar suas configurações dependendo do problema específico que está resolvendo.

A Conclusão

O artigo conclui que o POSSE-kNN é uma ferramenta forte e competitiva. Sugere que, ao combinar uma maneira de "pedras de apoio" para encontrar vizinhos com um filtro rigoroso de "treino", podemos construir classificadores melhores para dados complicados. Não afirma ter resolvido todos os problemas no mundo do aprendizado de máquina, mas mostra que, quando os dados são curvos e complexos, seguir um caminho é frequentemente uma ideia melhor do que apenas olhar para quem está mais próximo em uma linha reta. Os autores observam que trabalhos futuros devem focar em como tornar isso ainda mais rápido e como ajustar as configurações automaticamente, mas, por enquanto, é um passo sólido à frente para ajudar os computadores a navegar nas florestas bagunçadas e sinuosas dos dados do mundo real.