Resumen Técnico: Descomposición de la Máquina de Vectores de Soporte de Una Clase en un Conjunto de Máquinas de Vectores de Soporte de Un Solo Dato

1. Planteamiento del Problema

La clasificación de una clase (OCC, por sus siglas en inglés) es una tarea de aprendizaje supervisado donde el conjunto de datos de entrenamiento contiene únicamente muestras de una única clase conocida, con el objetivo de distinguirlas de clases desconocidas. La Máquina de Vectores de Soporte de Una Clase (OCSVM) es un algoritmo líder en este dominio, conocido por maximizar el margen entre los vectores de soporte y el origen en el espacio de kernels.

Sin embargo, la OCSVM enfrenta desafíos significativos de escalabilidad cuando se aplica a conjuntos de datos de gran escala. El principal cuello de botella es el proceso de optimización laborioso requerido para resolver el problema dual, el cual implica optimizar los pesos para todas las muestras de entrenamiento simultáneamente. Esta complejidad dificulta la aplicación de la OCSVM a escenarios de Big Data y procesamiento en tiempo real. Si bien investigaciones previas han intentado acelerar la OCSVM mediante variantes como la OCSVM de Mínimos Cuadrados o mediante el agrupamiento de datos, estos métodos aún requieren a menudo pasos de optimización sobre subconjuntos de datos.

2. Metodología

El enfoque propuesto, denominado Máquina de Vectores de Soporte de Un Solo Dato (ODSVM), reestructura fundamentalmente el proceso de entrenamiento de la OCSVM mediante la descomposición del conjunto de datos en muestras individuales.

Concepto Central

El método postula que una OCSVM entrenada con un solo punto de datos ($n=1$) no requiere resolver un problema de optimización. En la OCSVM estándar, el problema dual implica minimizar una forma cuadrática sobre $n$ muestras. Cuando $n=1$, la optimización se simplifica a un valor constante, y la función de puntuación se convierte en una aplicación directa de la función kernel menos un umbral.

Marco Algorítmico

La estrategia propuesta involucra tres etapas principales:

1. Descomposición y Entrenamiento (Generación de ODSVM):

   • ODSVM-all: Un enfoque directo donde se entrena un modelo OCSVM en cada una de las muestras del conjunto de datos.
   • ODSVM-N (Reducción de Datos): Para mitigar el costo computacional de entrenar en cada muestra, los autores proponen una estrategia de reducción. Se entrena una OCSVM inicial sobre la media del conjunto de datos para calcular las "puntuaciones de normalidad" de todas las muestras. Se seleccionan las $N$ muestras con las puntuaciones de normalidad más bajas (interpretadas como los vectores de soporte más "anómalos" o críticos). Posteriormente, se entrenan modelos ODSVM exclusivamente sobre estos $N$ vectores de soporte.

2. Aprendizaje de Conjunto (Ensemble Learning):

   • Los modelos ODSVM individuales se combinan utilizando Bagging (específicamente, un conjunto de modelos entrenados en diferentes puntos de datos).
   • Se emplean dos estrategias de conjunto para agregar las puntuaciones:
     • Sumatoria: La puntuación final es la suma de las puntuaciones de todos los $N$ modelos ODSVM.
     • Máximo: La puntuación final es la máxima puntuación obtenida de cualquier modelo ODSVM individual.

3. Inferencia:

   • Para una nueva muestra de prueba, el conjunto computa la puntuación basándose en la estrategia de agregación elegida, aproximando efectivamente la puntuación de una OCSVM tradicional entrenada con el conjunto de datos completo.

3. Contribuciones Clave

El artículo describe tres contribuciones primarias:

• Estrategia de Descomposición: La originalidad reside en la descomposición de la OCSVM en un conjunto de ODSVMs, donde cada modelo se entrena en un solo punto de datos. Esto elimina la necesidad del complejo proceso de optimización inherente a la OCSVM estándar.
• Eficiencia de Rendimiento: El conjunto de ODSVMs logra velocidades de procesamiento significativamente más rápidas que la OCSVM tradicional manteniendo un rendimiento de clasificación similar (medido por el Área Bajo la Curva ROC, AUC).
• Correspondencia Uno-a-Uno: El método establece una correspondencia teórica uno-a-uno entre muestras individuales y modelos. Esto permite aplicaciones únicas como tratar muestras como modelos (o viceversa), lo cual tiene implicaciones para la protección de la privacidad y el desaprendizaje de la máquina (machine unlearning).

4. Resultados Experimentales

Los autores evaluaron el método propuesto utilizando 27 conjuntos de datos de clasificación binaria del paquete imbalanced-learn, tratando tanto a la clase minoritaria como a la mayoritaria como la "clase única".

• Precisión (AUC): Los conjuntos de ODSVM (tanto ODSVM-all como ODSVM-N con $N=200$ o $1000$) lograron puntuaciones de AUC comparables a la OCSVM tradicional. Por ejemplo, en el conjunto de datos protein_homo, el AUC promedio para OCSVM fue de 80.8%, mientras que ODSVM-200 (Suma) alcanzó un 88.0% y ODSVM-1000 (Suma) obtuvo un 78.0%.
• Velocidad de Procesamiento: El método propuesto demostró mejoras drásticas en el tiempo de entrenamiento y de procesamiento total para grandes conjuntos de datos.
  • En el conjunto de datos protein_homo (86,672 muestras de entrenamiento), la OCSVM tradicional tardó 10 minutos 28 segundos. En contraste, ODSVM-200 completó la tarea en 1.7 segundos.
  • En el conjunto de datos webpage (20,279 muestras), la OCSVM tardó 1 minuto 26 segundos, mientras que ODSVM-200 tardó 1.4 segundos.
• Uso de Memoria: Aunque el entrenamiento de ODSVM-all (un modelo por muestra) aumentó el tamaño del archivo en comparación con el conjunto de datos original, los modelos reducidos (ODSVM-200 y ODSVM-1000) resultaron en tamaños de archivo significativamente menores (por ejemplo, 219.9 KB y 1.1 MB respectivamente) comparados con el modelo OCSVM tradicional (25 MB).
• Aplicación en Series Temporales: El método se aplicó con éxito a un conjunto de datos de trastornos respiratorios (señales de Balistocardiograma), procesando 720 segundos de datos en 25 segundos, demostrando su idoneidad para el análisis biométrico en tiempo real.

5. Significado y Reivindicaciones

El artículo sostiene que descomponer la OCSVM en un conjunto de modelos de un solo dato es una estrategia de aceleración viable que elimina el cuello de botella computacional de la optimización a gran escala. Los autores enfatizan que:

• La optimización de los pesos de los vectores de soporte en la OCSVM tradicional puede ser redundante, ya que el conjunto de modelos de un solo dato sin ponderar (o con pesos uniformes) produce resultados de AUC similares.
• El mapeo uno-a-uno entre muestras y modelos ofrece utilidad teórica para el desaprendizaje de la máquina (machine unlearning), donde eliminar un modelo específico corresponde a "desaprender" un punto de dato específico, un proceso potencialmente más simple que los métodos tradicionales de desaprendizaje.
• El enfoque es aplicable a diversas funciones kernel (Lineal, Polinómica, RBF, Sigmoide) sin una pérdida significativa de rendimiento.

Los autores concluyen que, si bien la implementación actual es una alternativa sólida para la velocidad, el trabajo futuro debería centrarse en optimizar los criterios de selección de los vectores de soporte y refinar las estrategias de conjunto para mejorar aún más las puntuaciones de AUC. También sugieren la posibilidad de extender este concepto de descomposición a los modelos de aprendizaje profundo (deep learning).