Resumen Técnico: Robustez Adversarial Certificada vs. Empírica mediante Convoluciones Híbridas con Estocasticidad de Atención (HyCAS)

1. Planteamiento del Problema

Los modelos de aprendizaje profundo en visión por computadora siguen siendo vulnerables a ataques adversariales, lo que plantea riesgos significativos para aplicaciones críticas para la seguridad, como la conducción autónoma, la detección de fraudes y el apoyo a la toma de decisiones clínicas. Las estrategias de defensa existentes generalmente se dividen en dos categorías, ambas de las cuales sufren limitaciones significativas:

• Defensas Empíricas: Métodos como el Entrenamiento Adversarial (AT) maximizan la robustez frente a ataques específicos, pero a menudo carecen de garantías formales y son susceptibles a ataques más fuertes y personalizados (por ejemplo, APGD, AutoAttack).
• Defensas Certificadas: Técnicas como el Suavizado Aleatorio (RS) proporcionan garantías de robustez demostrables (típicamente bajo normas $\ell_2$), pero a menudo sufren de un compromiso rígido donde grandes presupuestos de ruido erosionan la precisión en datos limpios, o no logran generalizarse a ataques empíricos fuertes de tipo $\ell_\infty$.

Además, muchas defensas existentes se validan principalmente en conjuntos de datos de imágenes naturales, dejando incierta su eficacia en distribuciones específicas de dominio, como la imagenología médica. Existe una necesidad crítica de una defensa que reduzca simultáneamente la brecha entre los certificados $\ell_2$ demostrables y la robustez empírica $\ell_\infty$, manteniendo al mismo tiempo una fuerte generalización en diversos puntos de referencia de imágenes.

2. Metodología: HyCAS

Los autores proponen Convoluciones Híbridas con Estocasticidad de Atención (HyCAS), una arquitectura de defensa aleatorizada que unifica las restricciones Lipschitz deterministas con el suavizado estocástico. La innovación central es la inyección de aleatoriedad controlada e independiente de los datos dentro de la arquitectura de la red, en lugar de únicamente en la entrada, para crear una red globalmente Lipschitz con constante $\le 2$ que admita certificación formal.

Componentes Arquitectónicos

HyCAS reemplaza las capas convolucionales estándar con tres flujos paralelos, cada uno diseñado para ser Lipschitz con constante $\le 2$. Estos flujos se fusionan mediante una puerta convexa por canal, independiente de los datos.

1. FDPAN (Proyección Determinista Consciente de la Frecuencia con Ruido de Atención):

   • Combina un núcleo determinista 1-Lipschitz con dos residuos aleatorizados.
   • Núcleo: Utiliza una máscara de Transformada Discreta del Coseno (DCT) de paso bajo para eliminar bandas de alta frecuencia frágiles, seguida de una matriz jacobiana ortogonal (1-Lipschitz) para el mezclado de canales, y una convolución normalizada espectralmente (SNC).
   • Estocasticidad: Inyecta Ruido de Atención Aleatorizado (RANI) inmediatamente después del núcleo determinista y nuevamente como residuo, asegurando que el flujo permanezca Lipschitz con constante $\le 2$.

2. SNCAN (Convoluciones Normalizadas Espectralmente con Ruido de Atención):

   • Reemplaza las convoluciones estándar con Convoluciones Normalizadas Espectralmente (SNC) para imponer un límite 1-Lipschitz en el kernel.
   • Integra el módulo RANI para inyectar estocasticidad fina e independiente de los datos, transformando el bloque determinista en una defensa aleatorizada mientras mantiene el envolvente Lipschitz con constante $\le 2$.

3. RPFAN (Filtro de Proyección Aleatoria con Ruido de Atención):

   • Aprovecha las garantías de incrustación de Johnson-Lindenstrauss mediante filtros de proyección aleatoria.
   • Pre-mezcla: Utiliza un mezclador de canales ortogonal $1\times1$ para igualar la energía de los canales.
   • Normalización Espectral: Aplica un esquema de dos pasos de iteración de potencia consciente del lote para reescalar el filtro de proyección aleatoria, asegurando que sea 1-Lipschitz.
   • Estocasticidad: Combina la proyección 1-Lipschitz con el módulo RANI para lograr un límite Lipschitz con constante $\le 2$.

4. RANI (Inyección de Ruido de Atención Aleatorizado):

   • Un mecanismo que inyecta una máscara de atención acotada e independiente de los datos $M_\omega \in [0, 1]^d$ en los mapas de características.
   • Formalmente, para un mapa determinista $h$, la salida de RANI es $\hat{h} = h \odot M_\omega$.
   • El artículo demuestra que esta operación es 2-Lipschitz, convirtiendo efectivamente bloques deterministas 1-Lipschitz en bloques aleatorizados 2-Lipschitz.

Garantías Teóricas

• Constante Lipschitz: Los autores demuestran que cada flujo constituyente (FDPAN, SNCAN, RPFAN) es individualmente Lipschitz con constante $\le 2$. La fusión convexa de estos flujos preserva este límite.
• Certificado: Al promediar los logits sobre la aleatoriedad interna $\Omega$, el mapa de logits esperado $Z(x)$ permanece Lipschitz con constante $\le 2$. Esto permite un certificado $\ell_2$ basado en márgenes: si la brecha entre los dos logits esperados superiores es $\Delta(x)$, el modelo es demostrablemente robusto a cualquier perturbación $\delta$ donde $\|\delta\|_2 < \Delta(x)/4$.

Entrenamiento e Inferencia

• Entrenamiento: El modelo se entrena utilizando una función de pérdida estándar sobre entradas perturbadas por ruido gaussiano (estilo Suavizado Aleatorio) y la estocasticidad interna de los flujos. También se emplea entrenamiento adversarial para mejorar la robustez empírica.
• Inferencia: Se proporcionan dos certificados: un certificado estándar de Suavizado Aleatorio (RS) basado en probabilidades de clase y un certificado de margen Lipschitz determinista basado en los logits esperados.

3. Contribuciones Clave

1. Arquitectura HyCAS: Introducción de una defensa aleatorizada con restricciones Lipschitz que integra un núcleo determinista 1-Lipschitz con dos módulos estocásticos (filtros de proyección aleatoria normalizados espectralmente y ruido de atención aleatorizado).
2. Garantías Teóricas: Derivación de un certificado de robustez $\ell_2$ ajustado para HyCAS, demostrando que la red es globalmente Lipschitz con constante $\le 2$ y proporcionando un certificado válido punto a punto.
3. Diseño Plug-and-Play: Un diseño modular que puede integrarse en esqueletos CNN estándar (por ejemplo, ResNet) para formar una defensa aleatorizada que admita certificación formal.
4. Evaluación Exhaustiva: Experimentos extensos que demuestran que HyCAS supera a las defensas certificadas y empíricas líderes anteriores en ocho puntos de referencia diversos, incluidas imágenes naturales (CIFAR-10/100, ImageNet) y conjuntos de datos de imagenología médica (NIH Chest X-ray, HAM10000, EyePACS, NCT-CRC-HE-100K).

4. Resultados Experimentales

El artículo reporta resultados en ocho puntos de referencia, evaluando tanto la precisión certificada $\ell_2$ como la robustez empírica frente a ataques fuertes $\ell_\infty$ (APGD-20 y AutoAttack).

• Precisión Certificada: HyCAS logra precisión certificada de vanguardia en todos los niveles de ruido ($\sigma$) y radios ($r$).
  • En CIFAR-10, con $r=0.75$ y $\sigma=0.25$, HyCAS alcanza una precisión certificada del 44.3%, superando a la mejor línea base (ARS) entre 5.2–18.2%.
  • En ImageNet, con $r=1.5$ y $\sigma=0.50$, HyCAS alcanza el 32.7%, superando a las líneas base entre 2.1–32.7%.
  • En conjuntos de datos médicos, HyCAS muestra ganancias significativas, por ejemplo, hasta una mejora del 7.3% en NIH Chest X-ray y del 3.1% en HAM10000 en comparación con las líneas base líderes.
• Robustez Empírica: HyCAS mantiene una alta robustez frente a ataques fuertes $\ell_\infty$ sin sacrificar la precisión en datos limpios.
  • En NIH-CXR, HyCAS supera a la línea base líder (CTRW) entre 1.8–4.2% bajo APGD-20 y AutoAttack.
  • En HAM10000, mejora la precisión robusta entre 1.9–3.1%.
  • Bajo configuraciones de ataque más fuertes (aumentando el tamaño de la perturbación $\epsilon$ y los pasos de iteración), HyCAS se degrada de manera más gradual que las líneas base, manteniendo una ventaja del 7–12% en 100 pasos de ataque en CIFAR-100.
• Compromisos: El método ofrece un compromiso controlable entre el certificado y la robustez empírica. Aumentar el ruido de suavizado $\sigma$ mejora la precisión certificada de gran radio con un impacto mínimo en la precisión de pequeño radio o en datos limpios.

5. Significado y Afirmaciones

El artículo afirma que HyCAS cierra con éxito la brecha de larga data entre la robustez adversarial certificada y empírica. Al acoplar una arquitectura con restricciones Lipschitz deterministas con estocasticidad interna, el método logra:

• Mejora Simultánea: Mejora tanto la precisión certificada $\ell_2$ como la robustez empírica $\ell_\infty$, un logro raramente alcanzado por métodos anteriores que típicamente optimizan uno a expensas del otro.
• Generalización: El enfoque se generaliza efectivamente a través de diversos dominios de imágenes, incluidas imágenes naturales y conjuntos de datos médicos especializados, sugiriendo su utilidad para aplicaciones de alto riesgo.
• Seguridad: La capacidad de proporcionar garantías formales mientras se mantiene una fuerte resiliencia empírica respalda el despliegue más seguro de modelos profundos en sectores críticos.

Los autores reconocen limitaciones, señalando que el método es intensivo en cómputo (aumentando los FLOPs y el tiempo de inferencia en aproximadamente un orden de magnitud) y que las garantías teóricas están actualmente restringidas a perturbaciones $\ell_2$, con la robustez $\ell_\infty$ evaluada empíricamente. Se sugiere trabajo futuro para derivar certificados más ajustados y diseñar variantes más ligeras.