Non-Parametric Probabilistic Robustness: A Conservative Risk Estimator under Unknown Perturbation Distributions

Resumen Técnico: Robustez Probabilística No Paramétrica (NPPR)

1. Planteamiento del Problema

Se sabe que los modelos de aprendizaje profundo (DL) son vulnerables a pequeñas perturbaciones en la entrada. Mientras que la Robustez Adversaria (AR) aborda ataques deterministas de caso peor, la Robustez Probabilística (PR) ha surgido como una métrica complementaria para cuantificar la probabilidad de que un modelo mantenga un comportamiento correcto bajo perturbaciones estocásticas o aleatorias (por ejemplo, ruido de sensores o ataques de fuerza bruta).

Sin embargo, las formulaciones actuales de PR sufren una limitación crítica: asumen que la distribución de la perturbación es fija y conocida a priori (por ejemplo, asumiendo ruido Gaussiano o Uniforme). En escenarios prácticos, la verdadera distribución de las perturbaciones rara vez es conocida. Depender de una distribución arbitraria y predefinida puede conducir a una subestimación del riesgo, ya que la distribución elegida puede no representar el comportamiento estocástico de "peor caso" dentro del presupuesto admisible. Existe la necesidad de una métrica de robustez que no dependa de supuestos distribucionales predefinidos, sino que derive una estimación conservadora directamente de los datos.

2. Metodología

El artículo propone la Robustez Probabilística No Paramétrica (NPPR), un marco que aprende una distribución de perturbación optimizada a partir de los datos para proporcionar una estimación conservadora (límite inferior) de la robustez.

Definciones Centrales:

• Métrica NPPR: Definida formalmente como el ínfimo de la PR sobre un conjunto de distribuciones de perturbación admisibles ($\mathcal{P}_\epsilon$). A diferencia de la PR estándar que utiliza un $\omega$ fijo, la NPPR busca la distribución $\omega \in \mathcal{P}_\epsilon$ que minimiza la probabilidad de que el modelo sea correcto:
  $$S_{NPPR}(x, y) \triangleq \inf_{\omega \in \mathcal{P}_\epsilon} \mathbb{E}_{\epsilon \sim \omega(\cdot|x)} [\mathbb{1}_{h(x+\epsilon)=y}]$$
• Límites Teóricos: Los autores establecen que $G_{AR} \le G_{NPPR} \le G_{PR}$, donde $G$ representa la robustez global. La NPPR sirve como una medida más conservadora que la PR estándar, pero es generalmente superior a la AR de peor caso.

Marco de Estimación:
Para estimar la NPPR, los autores desarrollan un estimador aprendible basado en un Modelo de Mezcla Gaussiana (GMM):

1. Modelado de la Distribución: La distribución de la perturbación se aproxima mediante un GMM finito con $K$ componentes. Los parámetros (pesos, medias, covarianzas) se aprenden para minimizar la robustez del modelo.
2. Escenarios de Dependencia: El marco admite cuatro estructuras de dependencia entre las perturbaciones y las entradas/etiquetas:
   • Independiente de la entrada: El ruido es estático para todas las entradas.
   • Dependiente de la etiqueta: El ruido varía según las etiquetas de verdad de campo (ground-truth).
   • Dependiente de la entrada: El ruido varía según las características de la entrada.
   • Dependencia conjunta: Una combinación de las anteriores.
3. Optimización y Entrenamiento:
   • El objetivo es minimizar la pérdida esperada (margen de logit) sobre la distribución aprendida.
   • Dado que el GMM implica un muestreo discreto (selección de un componente), se emplea el truco de Gumbel-Softmax para crear una relajación diferenciable, permitiendo el entrenamiento de extremo a extremo mediante el Descenso de Gradiente Estocástico (SGD).
   • Arquitectura: Una cabeza MLP (Perceptrón Multicapa) ligera parametriza el GMM. Para manejar espacios de imágenes de alta dimensión, las perturbaciones se modelan en un espacio de características de menor dimensión y se mapean de vuelta al espacio de entrada utilizando sobremuestreo bicúbico (bicubic up-sampling).
   • Restricción: Un mapeo tanh escalado asegura que las perturbaciones permanezcan dentro del presupuesto de norma $L_p$ prescrito.

3. Contribuciones Clave

1. Métrica Formal: El artículo extiende el concepto de Robustez Probabilística a un entorno no paramétrico, definiendo formalmente la NPPR y relacionándola teóricamente con la AR y la PR estándar.
2. Desarrollo del Estimador: Se desarrolla un estimador de NPPR práctico utilizando un GMM con relajación Gumbel-Softmax. Este aprende una distribución de perturbación conservadora sin asumir un prior fijo, con garantías teóricas sobre la convergencia del objetivo relajado.
3. Evaluación Exhaustiva: El enfoque se valida en múltiples conjuntos de datos (CIFAR-10, CIFAR-100, Tiny ImageNet) y arquitecturas (ResNet18/50, WideResNet50, VGG16).
4. Código Abierto: Los autores liberan la implementación completa y los detalles experimentales.

4. Resultados Experimentales

Los experimentos demuestran que la NPPR proporciona una estimación de robustez más realista y conservadora en comparación con los métodos de PR estándar que asumen distribuciones fijas (Gaussiana, Uniforme, Laplace).

• Estimaciones Conservadoras: En todos los modelos y conjuntos de datos probados, la NPPR global estimada ($\hat{G}_{NPPR}$) es consistentemente menor que las estimaciones de PR derivadas de distribuciones fijas (por ejemplo, en CIFAR-10 con ResNet18, $\hat{G}_{NPPR} \approx 76.29\%$ frente a $\hat{G}_{PR}^{Gaussiana} \approx 95.28\%$), aunque superior a la AR de peor caso (por ejemplo, $\approx 3.10\%$). Esto valida el límite teórico $G_{AR} \le G_{NPPR} \le G_{PR}$.
• Impacto de la Dependencia: El estudio muestra que permitir que la distribución de la perturbación dependa de las entradas o de las etiquetas (dependencia Conjunta o de la Entrada) genera generalmente estimaciones de robustez más conservadoras (menores) en comparación con los supuestos independientes de la entrada.
• Ablación: El aumento del número de componentes del GMM ($K$) generalmente mejora la expresividad de la distribución aprendida, lo que conduce a puntuaciones de NPPR más bajas (más conservadoras).
• Análisis de Radio Cruzado: Los estimadores entrenados con radios de perturbación más grandes tienden a producir estimaciones ligeramente más conservadoras cuando se evalúan en radios mayores, demostrando estabilidad a través de diferentes restricciones de presupuesto.

5. Significado y Reivindicaciones

El artículo posiciona a la NPPR no como un nuevo método de ataque, sino como un estimador de riesgo conservador para evaluadores. Su principal importancia radica en abordar la brecha de la "distribución desconocida" en la evaluación actual de la robustez.

• Practicidad: Al eliminar el supuesto poco realista de una distribución de perturbación conocida, la NPPR ofrece una métrica que es más implementable en escenarios del mundo real donde las fuentes de ruido (deriva de sensores, ruido ambiental) son complejas y desconocidas.
• Complementariedad: Los autores declaran explícitamente que la NPPR no reemplaza a la AR ni a la PR. En su lugar, las complementa al proporcionar una estimación del límite inferior de la robustez probabilística cuando la naturaleza exacta de las perturbaciones estocásticas es desconocida.
• Seguridad: Al identificar la distribución estocástica de "peor caso" dentro de un conjunto admisible, la NPPR ayuda a responder la pregunta crítica: "Si la entrada está sujeta a perturbaciones estocásticas desconocidas, ¿qué tan robusto puede ser el modelo, como mínimo?". Esto proporciona un margen de seguridad que las métricas de PR de distribución fija pueden pasar por alto.