Robustness of neural networks to random noise perturbations of their inputs

Resumen Técnico: Robustez de las Redes Neuronales ante Perturbaciones de Ruido Aleatorio en sus Entradas

Planteamiento del Problema
El artículo aborda la evaluación de la robustez de las redes neuronales (NN), específicamente en lo que respecta a la estabilidad de las predicciones cuando los valores de entrada son perturbados por ruido aleatorio. Aunque la precisión (medida mediante el Error Cuadrático Medio, MSE, o el Puntuación de Brier Multiclase, MBS) es una métrica estándar de la calidad del modelo, esta no tiene en cuenta la estabilidad bajo condiciones como el ruido gaussiano aleatorio. Los autores señalan un compromiso conocido donde aumentar la precisión puede disminuir la robustez. La investigación existente suele centrarse en la modificación de los pesos de la red o se limita a problemas de clasificación; este trabajo trata a la NN entrenada como una "caja negra" y se centra en las perturbaciones de la entrada tanto para tareas de regresión como de clasificación.

Metodología
El enfoque propuesto implica una metodología de tres etapas:

1. Perturbación y Medida de Robustez ($\theta$-robustez):
   Los autores definen una medida de robustez, $\theta$, para una NN entrenada dado una desviación estándar $\sigma$ y un nivel de significancia $\alpha$. La medida $\rho(\sigma, \alpha, NN)$ representa el límite superior del MSE (o MBS) de la red bajo la perturbación de la entrada $\epsilon \sim N(0, \sigma^2)$ con una probabilidad de $1-\alpha$.

   • Computación: Esto se aproxima mediante un método de Monte Carlo (Algoritmo 1). El algoritmo genera $m$ vectores de ruido aleatorio, computa el MSE resultante para cada uno, los ordena y selecciona el valor en el percentil $(1-\alpha)m$ como el límite de robustez $\theta$.
   • Manejo de Entradas: Para conjuntos de datos del mundo real con tipos de características mixtos, el método perturba solo las características numéricas. La varianza del ruido para una característica numérica específica se escala por su desviación estándar empírica. Una probabilidad $p$ determina si una característica numérica específica en un elemento de datos es perturbada.

2. Curvas de Robustez:
   Para visualizar la relación entre la magnitud de la perturbación y el error, los autores introducen "curvas de robustez". Estas grafican la relación de robustez normalizada $\rho(\sigma, \alpha, NN) / \text{MSE}_0$ (donde $\text{MSE}_0$ es el error base) frente a la desviación estándar del ruido $\sigma$. Esta normalización permite una comparación independiente de la escala entre diferentes conjuntos de datos.

3. Modelado con la Función de Gompertz:
   Las curvas de robustez se ajustan a una función de Gompertz de cuatro parámetros, una curva sigmoidea utilizada para fenómenos de crecimiento y saturación. El ajuste se evalúa utilizando el coeficiente de determinación ($R^2$). Los puntos clave en la curva se identifican como:

   • Punto de Rodilla (Knee Point): El punto de máxima curvatura antes de la inflexión, que marca el final del régimen lineal donde el error crece lentamente.
   • Punto de Inflexión: El punto de máxima tasa de crecimiento.
   • Pendiente de Medio Máximo: Un umbral intermedio.

   Basándose en estos ajustes, los autores definen un Índice de Robustez ($G_i$). Al normalizar las curvas de Gompertz para eliminar las asíntotas verticales, comparan la "tasa de crecimiento" ($b$) y el "punto de inflexión" ($c$) de diferentes conjuntos de datos. Se calcula un índice de robustez relativo ($R_{ij}$) para determinar la fracción del intervalo $[0, 1]$ donde una curva se sitúa por debajo de otra (lo que indica un error menor y una mayor robustez).

Configuración Experimental y Resultados
El método fue validado en cinco conjuntos de datos del mundo real:

• Regresión: "Muertes por Cáncer" y "Tasas de vacunación contra la gripe" (conjuntos de datos pequeños, $n=31$).
• Clasificación: "Enfermedad cardíaca", "Cáncer de mama diagnóstico de Wisconsin" y "MNIST" (dígitos escritos a mano).

Se entrenaron Redes Neuronales Feedforward (FNN) para estos conjuntos de datos. Los autores verificaron que su rendimiento base (MSE, RMSE, puntuaciones F1) era comparable a los estándares de la literatura.

• Ajuste de Curvas: La función de Gompertz proporcionó excelentes ajustes para todos los conjuntos de datos ($R^2 > 0.99$), confirmando la degradación con forma de S del rendimiento a medida que aumenta el ruido.
• Análisis de Umbrales: Para las tareas de regresión, los autores encontraron que un umbral definido por el usuario de dos veces el MSE base ($y=2$) era una métrica sensata para la robustez. Para las tareas de clasificación, el "punto de rodilla" de la curva era más apropiado.
• Jerarquía de Robustez: Utilizando el Índice de Robustez calculado ($G_i$), los conjuntos de datos fueron clasificados por robustez. El conjunto de datos "Muertes por Cáncer" produjo el modelo más robusto ($G_1 = 0.9866$), seguido de "Tasas de vacunación contra la gripe", "Cáncer de mama", "Enfermedad cardíaca" y, finalmente, "MNIST" ($G_5 = 0.1708$). La jerarquía resultante es:
  $$\text{Muertes por Cáncer} > \text{Tasas de vacunación contra la gripe} > \text{Cáncer de mama} > \text{Enfermedad cardíaca} > \text{MNIST}$$

Significancia y Reivindicaciones
El artículo afirma proporcionar un método simple, eficiente y de caja negra para cuantificar la robustez de las redes neuronales sin requerir acceso a los pesos internos o modificaciones de la arquitectura. Las contribuciones clave incluyen:

1. Un Límite Superior Probabilístico: Un método para estimar un límite superior en MSE/MBS bajo ruido gaussiano con un nivel de confianza especificado.
2. Curvas de Robustez: Una herramienta de visualización para analizar la degradación del rendimiento del modelo a medida que aumenta el ruido, revelando regímenes lineales y puntos de saturación.
3. Métrica Comparativa: La introducción de un índice de robustez basado en los parámetros de la curva de Gompertz, permitiendo la comparación cuantitativa de la robustez a través de diferentes conjuntos de datos y modelos.

Los autores concluyen que, si bien su método es efectivo para los conjuntos de datos probados, el trabajo futuro debe validar este en conjuntos de datos adicionales y extender el concepto de robustez a modelos generativos como los Autoencoders Variacionales (VAEs). Expresan explícitamente que el método es válido para otros algoritmos de ML también, siempre que puedan ser tratados como cajas negras deterministas una vez entrenados.