Meta-classification of one-class classification models using ranking correlation and nearest neighbor

Resumen Técnico: Meta-clasificación de Modelos de Clasificación de Una Sola Clase

Planteamiento del Problema
Si bien las técnicas de Aprendizaje Automático (ML) se aplican ampliamente en diversos dominios, la aplicación de ML a los propios modelos de ML sigue siendo una dirección inexplorada. Específicamente, este artículo aborda el desafío de clasificar modelos de Clasificación de Una Sola Clase (OCC, por sus siglas en inglés). La OCC es un problema donde el conjunto de entrenamiento consiste únicamente en una clase. Los autores postulan que todos los modelos de ML pueden aproximarse como modelos OCC (por ejemplo, los modelos binarios o multiclase pueden verse como conjuntos de modelos OCC). La dificultad central radica en que los modelos OCC poseen funciones de puntuación y umbrales únicos que varían según el algoritmo, lo que hace imposible la comparación directa de su mecánica interna. El objetivo es desarrollar un método para clasificar estos modelos basándose en su comportamiento en lugar de sus parámetros internos.

Metodología
El marco propuesto trata a los modelos OCC como puntos de datos a ser clasificados. La metodología procede en tres etapas principales:

1. Representación como Clasificaciones de Normalidad:
   En lugar de comparar funciones de puntuación bruta (que difieren en variables y escalas entre algoritmos), el método construye "clasificaciones de normalidad" (normality rankings). Se introduce un "conjunto de clasificación" separado (un conjunto de muestras independientes) en los modelos OCC. Cada modelo genera una puntuación para cada muestra en este conjunto. Estas puntuaciones se convierten luego en rangos (ordenamientos) para cada modelo. Esto transforma al modelo en un vector de rangos, creando un espacio de representación común independientemente del algoritmo subyacente.

2. Medición de Similitud:
   Para comparar dos modelos OCC, el artículo utiliza métricas de correlación de rangos. Específicamente, emplea la correlación de Spearman (por velocidad) y la correlación de Kendall Tau (para el manejo de empates) para medir la similitud entre las clasificaciones de normalidad generadas por diferentes modelos.

3. Clasificación mediante Vecino Más Cercano:
   La tarea de clasificación se realiza utilizando un enfoque de Vecino Más Cercano (NN). Dado que el NN es un "aprendiz perezoso" (lazy learner), la fase de entrenamiento consiste en almacenar las clasificaciones de los modelos OCC etiquetados. Durante la fase de prueba, la clasificación de un modelo desconocido se compara con las clasificaciones de entrenamiento almacenadas utilizando las métricas de correlación. El modelo desconocido se asigna la etiqueta del modelo de entrenamiento más similar (el más cercano).

Contribuciones Clave

• Primer Artículo de Revista sobre Clasificación de Modelos de ML: Los autores afirman que este es el primer artículo de revista que clasifica explícitamente modelos de ML, centrándose específicamente en modelos OCC.
• Solución Unificada: El método proporciona un marco unificado para clasificar tres entidades distintas: modelos OCC, los conjuntos de datos utilizados para entrenarlos y las clasificaciones mismas.
• Perspectiva Teórica: El artículo establece que clasificar modelos OCC es esencialmente equivalente a clasificar los conjuntos de datos que los entrenaron, ya que existe una correspondencia uno a uno entre un modelo OCC y su conjunto de datos de entrenamiento.
• Experimentos Extendidos: A diferencia de una versión previa de conferencia, este trabajo incluye experimentos detallados sobre modelos de ensamble, equilibrio de datos (proporciones de normales vs. anormales) e hiperparámetros.

Resultados Experimentales
Los experimentos utilizaron cuatro algoritmos base de OCC (OCSVM, LOF, Isolation Forest, GMM) y sus ensambles, entrenados en subconjuntos del conjunto de datos KDD Cup.

• Clasificación de Conjuntos de Datos: El método logró una precisión del 100% al distinguir modelos entrenados con datos "normales" frente a datos "anormales". También logró una alta precisión (99.3–99.4%) al distinguir modelos entrenados con datos mixtos. La clasificación de proporciones específicas de normal a anormal (11 clases) arrojó precisiones de 83.6% (dejar uno fuera) y 87.3% (validación cruzada de 2 pliegues).
• Clasificación de Algoritmos: Al distinguir entre los cuatro algoritmos base, el método logró una precisión del 100%. Sin embargo, la precisión disminuyó al clasificar modelos de ensamble (15 clases), logrando un 85.5% en datos normales y significativamente menor (23.7%) en datos anormales, lo que sugiere que los modelos de ensamble son más similares entre sí que los aprendices base.
• Clasificación de Hiperparámetros:
  • Hiperparámetros Categóricos: Se logró una alta precisión para los parámetros categóricos (ej., núcleos de OCSVM: 93.8–100%; tipos de covarianza de GMM: 75%).
  • Hiperparámetros Numéricos: La precisión fue baja para los parámetros numéricos (ej., vecinos de LOF: 2.8%; características máximas de IF: 27.9%). Los autores señalan que, aunque la precisión de clasificación es baja, los resultados se asemejan a un problema de regresión donde las predicciones están cerca de los valores reales, sugiriendo que los cambios numéricos menores no alteran drásticamente el comportamiento de clasificación del modelo.
• Aplicaciones en el Mundo Real:
  • Señales Biométricas: El método se aplicó a señales de Balistocardiograma (BCG), detectando con éxito anomalías (contención de la respiración, cambios de posición) mediante el análisis de cambios en las correlaciones de clasificación.
  • Registros de Sueño: En un entorno no supervisado utilizando registros de sueño de 1308 participantes, el método identificó comportamientos de sueño "anormales" tratando los conjuntos de datos de usuarios individuales como modelos OCC y detectando valores atípicos en el espacio de clasificación.

Significancia y Limitaciones
El artículo afirma que la clasificación de modelos OCC ofrece una nueva perspectiva en la IA Explicable (XAI), específicamente como un método para analizar modelos de caja negra mediante sus clasificaciones de salida. Sugiere que clasificar conjuntos de datos (tratando múltiples muestras como una sola entrada) puede ser más fácil que la clasificación tradicional muestra por muestra debido a las mayores diferencias entre los conjuntos de datos.

Sin embargo, los autores son modestos respecto a las limitaciones:

• Escalabilidad: El enfoque enfrenta problemas de escalabilidad con grandes conjuntos de datos debido al costo computacional de calcular las correlaciones de clasificación (O(n) para Spearman, O(n²) para Kendall Tau).
• Restricciones de Caja Negra: El método requiere acceso a las funciones de puntuación y una forma de entrada conocida para generar el conjunto de clasificación. En escenarios del mundo real donde solo se dispone de las salidas de clasificación o las formas de entrada son desconocidas, crear un conjunto de clasificación es un desafío.
• Trabajo Futuro: El artículo establece explícitamente que la clasificación de modelos binarios/multiclase y el desarrollo de modelos de "tercer nivel" (clasificar los clasificadores de los modelos) quedan para investigaciones futuras.

En conclusión, el artículo demuestra que los modelos OCC pueden clasificarse eficazmente mediante correlaciones de clasificación y vecinos más cercanos, proporcionando un enfoque unificado para analizar modelos, conjuntos de datos y clasificaciones, con aplicaciones potenciales en la detección de anomalías y la caracterización de conjuntos de datos.