Resumen Técnico: SemiScope: Desentrañando el Ajuste del Clasificador y la Optimización Conjunta en la Clasificación de Seguridad Semi-supervisada

1. Planteamiento del Problema

Las tareas de clasificación de seguridad (por ejemplo, detección de malware, detección de intrusiones, phishing) enfrentan un cuello de botella crítico: los datos etiquetados fiables son escasos y costosos de producir debido a la necesidad de experiencia en el dominio, mientras que los datos no etiquetados son abundantes. El aprendizaje semi-supervisado (SSL, por sus siglas en inglés) se emplea comúnmente para propagar etiquetas desde un pequeño conjunto etiquetado a un conjunto no etiquetado más grande.

Sin embargo, las aplicaciones de seguridad actuales suelen tratar el SSL como un paso de preprocesamiento de "caja negra", utilizando hiperparámetros por defecto, clasificadores descendentes fijos y careciendo de mecanismos explícitos para manejar el desequilibrio de clases que suele verse exacerbado por el etiquetado pseudo-etiquetado. Aunque estudios recientes reportan mejoras de rendimiento mediante la optimización de los procesos de SSL (vía búsqueda conjunta de hiperparámetros, AutoML o ajuste de componentes), estas ganancias son difíciles de atribuir. No está claro si las mejoras provienen de las complejas interacciones entre el SSL y el clasificador (optimización conjunta) o simplemente del paso más simple y estándar de ajustar los hiperparámetros del clasificador descendente. Además, muchas evaluaciones previas utilizan protocolos asimétricos (por ejemplo, ajustando umbrales para algunos métodos pero no para otros) o presupuestos computacionales desiguales, lo que puede inflar el valor aparente de la optimización conjunta.

2. Metodología

Los autores introducen SemiScope, un instrumento de análisis diseñado no como una recomendación de despliegue, sino como un marco controlado para desentrañar los efectos de la optimización conjunta de la optimización del clasificador.

2.1 El Pipeline de SemiScope

SemiScope formula el proceso de SSL como un pipeline configurable donde la Optimización Bayesiana (usando el Estimador de Parzen Estructurado por Árbol mediante Optuna) busca conjuntamente sobre:

• Método SSL: Propagación de Etiquetas (LP), Propagación de Etiquetas (LS) o Auto-entrenamiento (ST).
• Hiperparámetros de SSL: Tipos de kernel, anchos de banda, factores de amortiguación (clamping) y límites de iteración específicos para el método elegido.
• Filtrado de Confianza: Un umbral ($t$) para filtrar pseudo-etiquetas basadas en puntuaciones de confianza, abordando el riesgo de propagar etiquetas ruidosas.
• Sobremuestreo: Una estrategia SMOTE dirigida a un ratio (inspirada en SMOTUNED) que se activa solo cuando la fracción de la clase minoritaria cae por debajo de un umbral (30%), con recuentos de vecinos ajustables y ratios de clase minoritaria objetivo.
• Selección y Ajuste del Clasificador: Elección de clasificadores basados en árboles (Random Forest, XGBoost, LightGBM) y sus hiperparámetros específicos.
• Umbral de Decisión: Ajuste del umbral de clasificación en el conjunto de validación para optimizar la $g$-medida.

2.2 El Protocolo de Descomposición

Para aislar la fuente de las ganancias de rendimiento, el estudio emplea un protocolo de control estricto:

1. SemiScope (Búsqueda Conjunta): Utiliza un presupuesto de 100 ensayos para optimizar todo el pipeline (SSL + Clasificador + Umbral).
2. Tuned-Clf (Control): Utiliza el mismo presupuesto de 100 ensayos y el mismo ajuste de umbral de validación, pero fija el componente SSL a sus configuraciones por defecto (por ejemplo, LP por defecto o ST por defecto). Solo busca sobre la familia de clasificadores y sus hiperparámetros.
3. Ajuste de Umbral Simétrico: Crucialmente, cada tratamiento (incluyendo las líneas base) ajusta su umbral de decisión en los datos de validación antes de la evaluación final. Esto evita confundir el rendimiento del modelo con artefactos de umbrales fijos, lo cual es vital para conjuntos de datos desequilibrados (12–20% de clase minoritaria).

El estudio evalúa este marco en cinco conjuntos de datos de seguridad tabulares binarios (CIC-IDS-2017, Drebin, NSL-KDD, Phishing, UNSW-NB15) utilizando la $g$-medida (media armónica de recall y especificidad) como métrica principal.

3. Contribuciones Clave

El artículo realiza tres contribuciones primarias:

1. Descomposición Controlada: Un protocolo que separa las ganancias debidas a la optimización conjunta SSL–clasificador de las ganancias debidas únicamente a la optimización de hiperparámetros del clasificador (HPO), utilizando presupuestos computacionales iguales y un ajuste de umbral simétrico.
2. Protocolo de Umbral Simétrico: Un estándar de evaluación riguroso donde todos los métodos ajustan sus umbrales de decisión en los datos de validación, evitando la distorsión causada por umbrales fijos en datos de seguridad desequilibrados.
3. Receta Accionable: Un flujo de trabajo empíricamente derivado, más simple, que alcanza un rendimiento cercano al óptimo sin la complejidad de la búsqueda conjunta completa.

4. Resultados

4.1 Efectividad (RQ1)

SemiScope supera a cada línea base de SSL por defecto (incluyendo LP, LS, ST por defecto y sus variantes de SMOTE) en todos los cinco conjuntos de datos al 10% de tasa de etiquetas. La mejora sobre la línea base por defecto más fuerte (ST por defecto + Random Forest) oscila entre +0.7 y +12.7 puntos de $g$-medida.

4.2 Descomposición (RQ2)

Al compararse contra el control Tuned-Clf (que optimiza solo el clasificador sobre la salida SSL por defecto):

• Equivalencia Estadística: En 4 de los 5 conjuntos de datos (CIC-IDS-2017, Drebin, NSL-KDD, UNSW-NB15), el pipeline conjunto completo (SemiScope) es estadísticamente equivalente al control ajustado del clasificador en un Tamaño de Efecto de Interés Mínimo (SESOI) de $\pm 1.0$ $g$-medida. El conjunto de datos de Phishing permanece inconcluso.
• Ganancia Recuperada: El HPO del clasificador por sí solo recupera un 86% mediano de la ganancia total de SemiScope sobre la línea base por defecto.
• Implicación: La mayor parte de la mejora observada en los pipelines conjuntos es atribuible al ajuste del clasificador descendente y del umbral de decisión, no a la búsqueda conjunta de los parámetros de SSL.

4.3 Ablación (RQ3)

La eliminación de componentes del pipeline completo revela:

• Selección del Clasificador: El componente de mayor apalancamiento. Su eliminación causa las mayores caídas de rendimiento.
• Selección del Método SSL: Tiene un efecto insignificante en la puntuación media, pero reduce significamente la varianza (mejora la robustez entre semillas).
• Filtrado de Confianza: Tiene un efecto promedio casi neutral; el optimizador suele desactivarlo (establece el umbral $\approx 0.5$) cuando no ayuda, lo que sugiere que los umbrales fijos son subóptimos.

4.4 Eficiencia de Etiquetas (RQ4)

SemiScope se sitúa a menos de 1 punto de $g$-medida de una referencia de Random Forest totalmente supervisada al 20–30% de etiquetas en cuatro conjuntos de datos y al 40% en Drebin. Esto ocurre a la misma o menor tasa de etiquetas que la línea base de ST por defecto + RF, siendo las mayores ganancias de eficiencia (reduciendo las etiquetas requeridas en 20–30 puntos porcentuales) visibles en CIC-IDS-2017 y UNSW-NB15.

4.5 Costo-Beneficio (RQ5)

El costo de optimización es de 13 a 28 minutos por configuración. Los autores argumentan que este costo se justifica más en conjuntos de datos donde las líneas base por defecto funcionan mal (por ejemplo, CIC-IDS-2017), donde la optimización conjunta genera ganancias significativas y un cruce más temprano hacia el rendimiento supervisado. En conjuntos de datos donde los valores por defecto ya son fuertes (por ejemplo, NSL-KDD), el beneficio marginal de la búsqueda conjunta completa es más débil.

5. Significado y Reivindicaciones

El artículo afirma modestamente que su contribución principal no es un nuevo optimizador, sino una descomposición empírica de dónde se originan las ganancias del pipeline de SSL.

• Reevaluación de las Ganancias: El estudio demuestra que las ganancias reportadas de los "pipelines de SSL conjuntos" en la literatura de seguridad pueden estar mal atribuidas. Sin controles emparejados (presupuestos iguales, ajuste de umbral simétrico), las mejoras del ajuste del clasificador suelen confundirse con los beneficios de una optimización de SSL conjunta compleja.
• Recomendación Práctica: Para los profesionales, los autores proponen una receta más simple y suficiente:
  1. Usar Auto-entrenamiento (Self-Training) como el método SSL por defecto.
  2. Aplicar Optimización Bayesiana para ajustar el clasificador descendente.
  3. Ajustar el umbral de decisión en los datos de validación.
     Esta receta logra un rendimiento dentro de 1 punto de $g$-medida de la referencia supervisada con tasas bajas de etiquetas, igualando o superando el rendimiento de los pipelines de SSL por defecto con mucha menos complejidad.

Los autores concluyen que la optimización conjunta completa debe reservarse para escenarios donde las etiquetas son extremadamente costosas o donde el SSL por defecto deja una brecha de rendimiento sustancial, en lugar de ser una estrategia de despliegue por defecto.