CEAR: Certified Ensemble Adversarial Robustness in DNNs

Resumen Técnico: CEAR: Robustez de Conjunto Certificada en DNNs

Planteamiento del Problema
Las Redes Neuronales Profundas (DNN) logran una alta precisión en conjuntos de prueba estándar, pero siguen siendo altamente vulnerables a las perturbaciones adversarias —modificaciones de entrada imperceptibles que alteran drásticamente las predicciones—. Esta vulnerabilidad dificulta su despliegue en aplicaciones de seguridad crítica. Los mecanismos de defensa existentes se dividen en dos categorías:

1. Defensas Empíricas: Métodos como el entrenamiento adversario y la destilación defensiva mejoran la robustez durante el entrenamiento, pero carecen de garantías formales y suelen fallar ante ataques de caja blanca adaptativos y fuertes (p. ej., C&W, AutoAttack).
2. Defensas Certificadas: Métodos como el suavizado aleatorio proporcionan garantías demostrables de que las predicciones permanecerán invariantes dentro de un radio de perturbación específico. Sin embargo, los clasificadores individuales suelen tener dificultades para mantener una alta precisión certificada con radios de perturbación mayores.
   Aunque los métodos de conjunto han mostrado potencial para mejorar la robustez mediante la agregación, los enfoques actuales suelen sufrir de una alta transferibilidad adversaria (donde los ataques en una red tienen éxito en otras) y de descensos abruptos en la precisión certificada a medida que aumentan los presupuestos de perturbación.

Metodología
Los autores proponen CEAR (Robustez de Conjunto Certificada - Certified Ensemble Adversarial Robustness), un marco que unifica los mecanismos de defensa empíricos y certificados dentro de un flujo de entrenamiento de conjunto. El método opera en dos fases:

1. Entrenamiento Robusto:

   • Aumentación Gaussiana Variable (VGA): A diferencia de los conjuntos estándar que comparten un ruido uniforme, CEAR entrena cada red en el conjunto con un nivel de ruido distinto. Una desviación estándar base ($\sigma_{tr}$) es perturbada por una variable aleatoria $\beta$ muestreada de una distribución uniforme, lo que resulta en distribuciones de ruido únicas ($\sigma_{tr} + \beta$) para cada red estudiante. Esta diversidad reduce la transferibilidad adversaria.
   • Destilación con Escalamiento de Temperatura (DTS): Una red maestra (teacher) es entrenada para generar etiquetas suaves (distribuciones de probabilidad suavizadas por un parámetro de temperatura $t$). Las redes estudiantes son luego entrenadas utilizando entradas aumentadas por Gauss mediante estas etiquetas suaves. Este proceso suaviza las fronteras de decisión y captura similitudes entre clases, mejorando la generalización frente a ataques imprevistos.

2. Inferencia Robusta:

   • Logits Ruidosos: Para evitar que los atacantes recuperen los logits originales (una vulnerabilidad en la destilación estándar), se inyecta ruido Gaussiano en los datos de entrada en el momento de la inferencia. Esto crea logits inherentemente estocásticos sin modificar los parámetros del modelo, obfuscando los gradientes contra ataques iterativos como C&W.
   • Mecanismos de Agregación: CEAR emplea dos estrategias de votación dependiendo del régimen de confianza:
     • Mediana Geométrica (GM): Agrega las probabilidades de softmax utilizando la mediana geométrica. Es robusta a valores atípicos y efectiva en regiones de alta confianza y baja perturbación.
     • Conjunto Ponderado Robusto (RW): Asigna pesos a cada red estudiante basándose en su precisión certificada individual en un conjunto de validación excluido. Las redes con mayor precisión certificada contribuyen más a la predicción final. Este mecanismo está diseñado para manejar presupuestos de perturbación más grandes y regímenes de baja confianza.

3. Verificación Certificada:
   El artículo extiende el suavizado aleatorio para verificar clasificadores basados en conjuntos. Define un clasificador de conjunto suavizado $G$ y utiliza el muestreo de Monte Carlo para calcular un límite inferior de confianza sobre la probabilidad de la clase predicha. Si este límite supera 0.5, el modelo se certifica como robusto dentro de un radio calculado $R$.

Contribuciones Clave

1. Marco CEAR: Un marco de defensa unificado que combina DTS y VGA en un flujo de entrenamiento de conjunto para promover la suavidad de la frontera de decisión y la diversidad. Aprovecha los logits ruidosos en la inferencia para dificultar los ataques basados en gradientes y utiliza la votación GM y RW para recuperar la precisión limpia mejorando la robustez.
2. Verificación Extendida: Los autores extienden el método de verificación de suavizado aleatorio para verificar formalmente la robustez de los clasificadores basados en conjuntos, derivando un corolario para el radio de robustez de un conjunto.
3. Validación Empírica: Experimentos extensos en MNIST, CIFAR10 y TinyImageNet demuestran que CEAR logra una mayor precisión certificada promedio en radios más grandes y exhibe una mayor resiliencia contra ataques de caja blanca basados en gradientes en comparación con las líneas base de vanguardia (RandSmooth y SWEEN).

Resultados Experimentales

• Precisión Certificada: En MNIST y CIFAR10, las variantes de CEAR superan a las líneas base. Específicamente, CEAR(GM) logra una precisión certificada superior en regiones de alta confianza (radios pequeños), mientras que CEAR(RW) mantiene una mayor precisión a medida que los radios de perturbación aumentan y la confianza del modelo decae. Por ejemplo, en CIFAR10 con $\sigma_v=1.0$, CEAR(RW) logra un 20% de precisión certificada en $R=1.0$, superando a las líneas base.
• Radio de Robustez: CEAR(RW) logra consistentemente radios de robustez certificada más grandes que las líneas base, particularmente en regiones de baja confianza bajo altas perturbaciones.
• Transferibilidad: CEAR reduce significativamente las tasas de éxito de los atacantes contra ataques transferibles. En CIFAR10 bajo la norma $\ell_\infty$, CEAR(RW) redujo la tasa de éxito del atacante al 46.00%, comparado con el 96.56% de RandSmooth y el 60.10% de SWEEN.
• Sobrecarga Computacional: Como método de conjunto, CEAR incurre en un crecimiento computacional lineal con el número de redes ($M$). Sin embargo, los autores señalan que esta sobrecarga es aceptable para aplicaciones de seguridad crítica donde se requieren garantías verificables.

Significancia y Reivindicaciones
El artículo afirma que CEAR aborda el desafío fundamental de mejorar la robustez en radios de perturbación más grandes combinando eficazmente la diversidad del conjunto con mecanismos de defensa certificados. Los autores enfatizan que la elección de la estrategia de agregación es crítica: la agregación optimizada por mediana geométrica es preferible cuando las predicciones del conjunto son confiables, mientras que el peso robusto fijo es superior en regímenes adversarios de alta incertidumbre. El trabajo demuestra que integrar distribuciones de ruido variable durante el entrenamiento con mecanismos de votación adaptativos o robustos puede producir garantías demostrables que superan las defensas de red única y de conjunto uniforme. Los autores concluyen señalando que el trabajo futuro investigará la influencia sistemática del escalamiento de temperatura en la diversidad y calibración de la destilación DTS.