An novel efficient method of multi-class support vector machine with weighted multiple kernel learning

Imagina que estás intentando enseñarle a un robot a reconocer diferentes animales en un zoológico concurrido. Podrías mostrarle una foto de un león y decirle: "Ese es un león", luego mostrarle un tigre y decirle: "Ese es un tigre". Pero, ¿qué pasa si el robot tiene que clasificar miles de animales a la vez, algunos de los cuales se ven muy similares, o cuyas fotos son borrosas o están tomadas desde ángulos extraños? Este es el mundo del aprendizaje automático (machine learning), específicamente de una rama llamada clasificación, donde las computadoras aprenden a organizar datos en grupos.

Para hacer esto, las computadoras suelen utilizar una herramienta ingeniosa llamada Máquina de Vectores de Soporte (SVM). Piensa en una SVM como un árbitro superinteligente que dibuja líneas invisibles en el aire para separar diferentes grupos. Si los animales están mezclados en un montón desordenado, el árbitro intenta encontrar el camino más ancho y claro para separar a los leones de los tigres. Por lo general, el árbitro utiliza una única "lente" o kernel para observar los datos. Una lente puede ser buena para ver formas, o buena para ver colores, pero rara vez ambas cosas perfectamente. Si los datos son complejos —como un zoológico con animales que tienen rayas, manchas y pelaje, todo al mismo tiempo—, una sola lente podría perderse los detalles.

Aquí es donde entra en juego el Aprendizaje de Múltiples Kernels (MKL). En lugar de depender de una sola lente, el MKL permite que la computadora utilice un kit de cámaras completo con diferentes lentes al mismo tiempo, mezclándolos para ver la imagen más clara posible. Sin embargo, hay un inconveniente: usar todas esas lentes en un enorme montón de datos es increíblemente lento y costoso computacionalmente. Es como intentar clasificar todo el zoológico a mano, un animal a la vez, usando cada posible lupa. La pregunta que los científicos se han estado haciendo es: ¿Podemos obtener la visión superclara de múltiples lentes sin el proceso lento y agotador de revisar cada uno de los animales?

---

El nuevo "Todo-en-Uno" Súper-Árbitro

En este artículo, los investigadores Zijie Dong, Xingrui Gong y Fen Chen proponen una nueva forma más rápida de entrenar estos clasificadores multiclase. Llaman a su método AIO-MSVM-WMK (que es un nombre difícil de pronunciar, así que simplemente lo llamaremos el "Árbitro Ponderado Todo-en-Uno").

Su gran idea es combinar dos estrategias poderosas en una sola operación fluida:

1. Aprendizaje de Múltiples Kernels Ponderados: En lugar de usar una sola lente, mezclan varias lentes diferentes (como kernels lineales, polinómicos y RBF) entre sí. Pero aquí está el truco: no solo las mezclan de forma equitativa. Asignan un "peso" a cada lente basándose en qué tan buena es para el trabajo. Si la lente de "forma" es excelente detectando leones, recibe un voto más grande. Si la lente de "textura" es mejor para los tigres, recibe más peso. Esto sucede automáticamente mientras la computadora aprende, en lugar de configurarse de antemano.
2. Optimización de Muestras: Este es el potenciador de velocidad. En lugar de obligar a la computadora a estudiar cada uno de los animales del zoológico (lo cual toma una eternidad), el algoritmo elige inteligentemente los más importantes. Se enfoca en los animales que están justo en el borde de los grupos —los complicados que son difíciles de distinguir— mientras ignora los obvios que son fáciles de clasificar. Esto ahorra una cantidad masiva de tiempo.

Cómo lo probaron

Para ver si su nuevo árbitro era realmente mejor, el equipo realizó experimentos en 9 conjuntos de datos públicos (colecciones de datos del mundo real como imágenes de números escritos a mano, artículos de noticias y datos biológicos). Compararon su método contra otras cuatro formas populares de clasificación multiclase:

• AIO-Mar: Un método "Todo-en-Uno" más antiguo.
• MK-MSVCR: Un método que utiliza múltiples kernels pero de una manera diferente.
• WMK-OVO: Un método que compara cada clase contra cada otra (Uno-contra-Uno).
• WMK-OVA: Un método que compara cada clase contra todas las demás a la vez (Uno-contra-Todos).

Probaron estos métodos en dos tamaños diferentes de datos de entrenamiento: uno con 10,000 muestras y otro con 26,000 muestras.

Los Resultados: Más Rápidos y Más Inteligentes

Los resultados mostraron que el nuevo método AIO-MSVM-WMK fue un claro ganador en dos áreas principales:

1. Cometió menos errores.
Cuando los datos eran complejos, el nuevo método clasificó los animales con mayor precisión que los otros. Por ejemplo, en el conjunto de datos "Twitter" (que implica clasificar texto), el nuevo método cometió errores solo el 1.51% de las veces con 26,000 muestras. En contraste, el siguiente mejor método cometió errores el 1.78% de las veces, y los otros fueron mucho peores, cometiendo errores de hasta el 18.16%. En el conjunto de datos "Mnist" (números escritos a mano), el nuevo método tuvo una tasa de error del 10.36%, superando a los demás que oscilaban entre el 12.37% y el 15.28%.

2. Fue significativamente más rápido.
Aquí es donde la "Optimización de Muestras" realmente brilló. Los investigadores midieron el tiempo total que tomó tanto elegir las muestras importantes como entrenar el modelo.

• En la prueba de 10,000 muestras, el nuevo método tomó un total de 64,730 segundos (unas 18 horas) para ejecutarse en todos los conjuntos de datos. El siguiente método más rápido tomó 75,796 segundos, y el más lento tomó 90,162 segundos.
• En la prueba de 26,000 muestras, la brecha se amplió. El nuevo método tomó 119,671.96 segundos, mientras que el competidor más lento tomó 181,262.97 segundos.

Los investigadores utilizaron una prueba estadística llamada prueba de rango con signo de Wilcoxon para confirmar que estas diferencias no se debían a la suerte. La prueba demostró que el nuevo método era estadísticamente mejor que los otros cuatro competidores tanto en precisión como en velocidad.

Qué significa esto

El artículo sugiere que al combinar múltiples kernels ponderados (usando la mejor mezcla de lentes) con una selección inteligente de muestras (enfocándose solo en los casos complicados), se puede construir un clasificador que es tanto más preciso como mucho más rápido que los métodos actuales.

Los autores señalan que este enfoque es particularmente útil para "datos multiclase complejos y de gran tamaño". No afirmaron que resuelva todos los problemas del mundo, pero demostraron que, para los conjuntos de datos que probaron, superaron las técnicas existentes sin necesidad de pasos de preprocesamiento adicionales. También mencionaron que el trabajo futuro podría incluir la aplicación de esta idea a redes neuronales profundas o el uso de computación paralela para hacerlo aún más rápido, pero por ahora, el "Árbitro Ponderado Todo-en-Uno" representa una forma más eficiente de enseñar a las computadoras a clasificar los datos desordenados del mundo.