POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification

Imagina que estás tratando de encontrar la mejor ruta a través de un bosque denso y neblinoso para llegar a un destino específico. En el mundo de la informática, esto es un poco como el "aprendizaje automático" (machine learning), donde los algoritmos intentan hacer conjeturas inteligentes basadas en datos. Una forma popular de hacer esto es el "k-vecinos más cercanos" (kNN). Piensa en el kNN como un turista que pregunta a las cinco personas más cercanas que ve por direcciones. Si la mayoría de esas cinco dicen "gira a la izquierda", el turista gira a la izquierda. Es simple y funciona bien en campos abiertos, pero puede confundirse en un bosque con senderos sinuosos. Si las personas que dicen "girar a la izquierda" están paradas en una línea larga y curva, un turista que solo mira a quién tiene más cerca en línea recta podría perder de vista a todo el grupo y perderse.

Este artículo aborda exactamente ese problema: ¿cómo ayudamos a nuestro turista digital a navegar por caminos curvos y complicados en el bosque de los datos sin quedarse atrapado? Los investigadores están construyendo una mejor versión de la estrategia de "preguntar a los vecinos". No solo están buscando a las personas más cercanas; están buscando a las personas que están conectadas en una cadena lógica, como piedras de paso a través de un arroyo. También utilizan un truco ingenioso llamado filtrado "Out-of-Bag" (OOB), que es como tener un grupo de exploradores probando sus propios mapas en un simulacro antes de que comience el viaje real, manteniendo solo los mapas que no los hicieron perderse.

La historia del artículo: Una mejor manera de encontrar el camino

Los investigadores, Zardad Khan y su equipo, introdujeron un nuevo método llamado POSSE-kNN. Puedes pensar en esto como un super equipo de exploradores tratando de resolver un rompecabezas. En lugar de un solo explorador mirando el mapa, crean 500 "candidatos" exploradores diferentes. Cada uno es un poco distinto: miran el bosque a través de un lente ligeramente diferente (subespacios de características aleatorias) y toman un camino único para encontrar a sus vecinos.

Así es como funciona su método especial "Pathwise" (por trayectoria). Imagina que eres el explorador parado en un punto de consulta (el lugar donde necesitas tomar una decisión).

1. El primer paso: Miras a tu alrededor y encuentras a la única persona más cercana a ti.
2. La reacción en cadena: En lugar de buscar a la siguiente persona más cercana a ti, buscas a la persona más cercana a la primera persona que acabas de encontrar. Luego, buscas a la persona más cercana a esa persona.
3. El camino: Sigues haciendo esto hasta que tienes una cadena de $k$ personas. Esto crea un "camino" que sigue la forma local de la multitud, incluso si esa multitud es curva o retorcida. Esto es mucho más inteligente que simplemente elegir a las cinco personas más cercanas a ti en línea recta, que podrían estar todas en un grupo extraño y poco útil.

Pero espera, 500 exploradores es mucha estática. Algunos podrían ser malos navegando. Así que el equipo utiliza el filtrado Out-of-Bag (OOB). Antes de la carrera final, envían a cada uno de los 500 exploradores a una carrera de práctica utilizando un conjunto de datos en los que no entrenaron. Si un explorador se pierde durante la práctica, es expulsado del equipo. Los investigadores mantuvieron al 25% superior de los exploradores (los mejores 125 de 500) y dejaron que votaran sobre la respuesta final. Es como un reality show donde los jueces eliminan a los concursantes que fallan el desafío, dejando solo a los campeones para decidir al ganador.

Lo que encontraron

El equipo probó este nuevo método POSSE-kNN en diez conjuntos de datos diferentes (que son como diez tipos diferentes de bosques, que van desde registros médicos pequeños hasta datos de ingeniería más grandes). Lo compararon con otros seis métodos establecidos, incluyendo el kNN estándar, Random Forests y Support Vector Machines (SVM).

Los resultados fueron bastante prometedores. En general, POSSE-kNN resultó ser el mejor en las clasificaciones generales.

• Precisión (Accuracy): Obtuvo la respuesta correcta 0.740 de las veces en promedio. Esta fue la puntuación más alta entre todos los métodos probados.
• Fiabilidad: También obtuvo la mejor puntuación en el kappa de Cohen (0.412), una medida de qué tan bien el método concuerda con la verdad, y en el Brier score (0.175), que mide qué tan confiables y correctas son sus predicciones de probabilidad.

El método ganó o empató en el primer lugar en ocho de los diez conjuntos de datos. Sin embargo, el artículo es cuidadoso de no decir que es una solución mágica para todo. En dos conjuntos de datos específicos (uno llamado ILPD y otro llamado Chscase Vine), otros métodos funcionaron ligeramente mejor. Por ejemplo, en los datos de Chscase Vine, un método lineal llamado SVM fue mejor, lo que sugiere que a veces el "bosque" es en realidad una línea recta y no se necesita un camino complejo.

La pregunta de "¿Cuántos vecinos?"

Los investigadores también jugaron con el tamaño del grupo, cambiando el número de vecinos ($k$) a 3, 5 o 7. Encontraron que para algunos bosques (como el conjunto de datos "Heart"), el método funcionó de maravilla sin importar qué número eligieran. Pero para otros (como "ILPD"), cambiar el número no ayudó mucho y, a veces, una estrategia diferente era mejor. Esto sugiere que, si bien el método de trayectoria es poderoso, aún necesitas ajustar tus configuraciones dependiendo del problema específico que estés resolviendo.

La conclusión fundamental

El artículo concluye que POSSE-kNN es una herramienta fuerte y competitiva. Sugiere que al combinar una forma de encontrar vecinos mediante "pasos de piedra" con un filtro estricto de "carrera de práctica", podemos construir mejores clasificadores para datos complicados. No afirma haber resuelto todos los problemas del mundo del aprendizaje automático, pero muestra que cuando los datos son curvos y complejos, seguir un camino es a menudo una mejor idea que solo mirar quién está más cerca en línea recta. Los autores señalan que el trabajo futuro debería centrarse en cómo hacer esto aún más rápido y cómo ajustar las configuraciones automáticamente, pero por ahora, es un paso sólido hacia adelante para ayudar a las computadoras a navegar por los bosques desordenados y sinuosos de los datos del mundo real.