Robust Ensemble of Selectively Strengthened and Augmented Predictors

Resumen Técnico: RESSAP (Robust Ensemble of Selectively Strengthened and Augmented Predictors)

Planteamiento del Problema
Los clasificadores de aprendizaje automático, aunque exitosos en diversos dominios, poseen "puntos ciegos" inherentes en sus fronteras de decisión que pueden ser explotados por ataques de evasión adversarios. En estos ataques, los adversarios manipulan los datos de entrada en el momento de la inferencia para causar una clasificación errónea sin alterar el proceso de entrenamiento. Los mecanismos de defensa existentes suelen sufrir de una generalización limitada, requiriendo cambios arquitectónicos significativos o restringiendo la elección de los algoritmos de aprendizaje. Además, muchas defensas se evalúan bajo escenarios de ataque estrechos, fallando en proporcionar una robustez sistemática ante diversas amenazas. Existe una necesidad crítica de un marco de trabajo agnóstico al modelo que mejore la robustez contra ataques de evasión, manteniendo al mismo tiempo una alta precisión en datos benignos y encajando perfectamente en los flujos de trabajo de ML existentes (por ejemplo, SecDevOps).

Metodología
Los autores proponen RESSAP (Robust Ensemble of Selectively Strengthened and Augmented Predictors), un marco que transforma un clasificador preentrenado único ($clf_0$) en un conjunto de submodelos especializados. La metodología consta de cuatro componentes primarios:

1. Selección de Características y Generación de Subconjuntos:
   El marco introduce una Métrica de Resiliencia ($FSRI$) compuesta para guiar la selección de características. Esta métrica combina dos puntuaciones distintas para cada característica $j$:

   • Importancia de la Característica ($FSI$): Calculada mediante importancia por permutación, mide la caída en la precisión base cuando los valores de las características se barajan.
   • Robustez de la Característica ($FSR$): Calculada midiendo la sensibilidad de la precisión base a pequeñas perturbaciones de ruido aleatorio añadidas a la característica.
   • Resiliencia ($FSRI$): Definida como la suma de la $FSI$ normalizada y la $FSR$.

   Utilizando estas métricas, el marco genera $t$ subconjuntos de características diversos ($s_l$). Para asegurar la diversidad, los subconjuntos se construyen seleccionando las características mejor clasificadas basándose en tres estrategias: la mitad de los subconjuntos prioriza la $FSRI$ (resiliencia), una cuarta parte prioriza la $FSI$ (importancia) y el cuarto restante prioriza la $FSR$ (robustez).

2. Aumento de Datos:
   Para cada subconjunto de características, el correspondiente conjunto de datos de entrenamiento se corta verticalmente. Luego, se aplica un aumento de datos basado en ruido a estos subconjuntos añadiendo ruido gaussiano ($\epsilon \sim N(0, \sigma)$). Este proceso simula variaciones naturales y pequeñas perturbaciones adversarias, alentando a los submodelos a aprender fronteras de decisión más estables y generalizables.

3. Entrenamiento del Conjunto (Ensemble Training):
   Un clasificador débil ($f_l$) se entrena de forma independiente en cada subconjunto de características aumentado. Esto crea un conjunto de $t$ clasificadores, cada uno operando en un espacio de características distinto y resiliente.

4. Inferencia Aleatorizada:
   En el momento de la inferencia, el sistema no utiliza todos los clasificadores. En su lugar, se selecciona un subconjunto aleatorio de $k$ clasificadores para formar el conjunto de predicción $P$. La predicción final se deriva de la agregación de los vectores de probabilidad de los clasificadores seleccionados y eligiendo la clase con la mayor probabilidad agregada. Esta aleatorización aumenta la imprevisibilidad del sistema, obligando a los adversarios a consultar el sistema con mayor frecuencia para mapear las fronteras de decisión.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Marco RESSAP: Una novedosa arquitectura de conjunto que mejora la robustez adversaria integrando la diversidad a nivel de características con la aleatorización a nivel de clasificador, operando como un paso de mejora post-entrenamiento.
2. Selección de Características Basada en la Resiliencia: Un nuevo enfoque para la selección de características que unifica la importancia por permutación y la robustez en una única métrica ($FSRI$) para guiar la formación de subconjuntos de características diversos y resilientes.
3. Validación Empírica: Validación experimental en conjuntos de datos sintéticos que demuestra que el marco mejora significamente la resistencia a los ataques de evasión mientras preserva la precisión de los datos limpios.

Resultos
Los autores evaluaron RESSAP en un conjunto de datos sintético ($n=600$ instancias, $d=10$ características) utilizando una estrategia de ataque de Búsqueda Multi-Línea (MLS). Los resultados se compararon contra un SVM (Máquina de Vectores de Soporte) base y versiones abladas de RESSAP:

• Tasa de Éxito de Ataque: El modelo RESSAP completo redujo la tasa de éxito del ataque adversario al 32.49%, una mejora significativa respecto al SVM base (100%) y las variantes abladas (que oscilaron entre el 35.63% y el 51.45%).
• Precisión de Datos Limpios: RESSAP mantuvo una alta precisión en datos limpios (96.5%), comparable al baseline (94.2%) y otros variantes.
• Costo de Consulta: El marco aumentó significativamente el número de consultas requeridas para que un adversario logre evadir el modelo. En el 78.08% de los casos, el modelo RESSAP completo requirió más consultas para cambiar una predicción que el SVM base.
• Análisis de Ablación: Eliminar cualquier componente individual (selección de características, selección aleatoria de clasificadores o aumento de datos) resultó consistentemente en una menor robustez, confirmando que cada mecanismo contribuye a la defensa general.

Significancia y Reivindicaciones
El artículo afirma que RESSAP proporciona una estrategia de defensa escalable, flexible y agnóstica al modelo. Su significancia radica en su capacidad para mejorar la seguridad de los sistemas de aprendizaje automático sin requerir cambios mayores en las arquitecturas o procedimientos de entrenamiento existentes. Al transformar un modelo único en un conjunto aleatorizado, RESSAP aumenta el "costo de consulta" para los adversarios, haciendo que sea computacionalmente más costoso y difícil diseñar ejemplos de evasión exitosos. Los autores enfatizan que este enfoque equilibra la compensación entre robustez y precisión de clasificación, abordando una limitación clave en los mecanismos de defensa actuales.

Los autores reconocen modestamente las limitaciones, señalando que la evaluación actual depende de un conjunto de datos generado sintéticamente y aún no ha sido comparada contra otras arquitecturas robustas diseñadas específicamente para entornos adversarios. Identifican que el trabajo futuro se centrará en conjuntos de datos del mundo real más diversos y en el refinamiento adicional del proceso de selección de características.