Solver-Integrated Adversarial Attacking and Training of Neural Operators

Resumen Técnico: Ataque Adversario e Entrenamiento Integrado con el Solucionador de Operadores Neuronales

Formulación del Problema
Los operadores neuronales (por ejemplo, los Operadores Neuronales de Fourier, DeepONets) sirven como sustitutos rápidos basados en datos para los solucionadores numéricos de ecuaciones diferenciales parciales (PDE), mapeando funciones de entrada (por ejemplo, condiciones iniciales, coeficientes) a funciones de solución. Aunque son efectivos, su capacidad de generalización y robustez en el entorno de aprendizaje de operadores sigue estando mal definida en comparación con la robustez adversaria tradicional en la clasificación.

Una distinción crítica en el aprendizaje de operadores de PDE es que la "verdad fundamental" (ground truth) no es una etiqueta fija, sino la salida de un solucionador numérico $G$. En la regresión o clasificación tradicional, los ataques adversarios asumen que la verdad fundamental permanece constante bajo la perturbación de la entrada. Sin embargo, en los entornos de PDE, perturbar la función de entrada $x$ cambia inherentemente la solución verdadera $G(x)$. Por consiguiente, no se espera que un modelo $F_\theta$ sea robusto de forma aislada (es decir, que su salida no cambie), sino que el discrepancia entre el modelo y el solucionador, definida como el operador de error $E_\theta = F_\theta - G$, debe ser robusta. Los métodos existentes a menudo fallan al no considerar esta verdad fundamental dinámica, ya sea tratando la salida del solucionador como una etiqueta fija o ignorando el gradiente del solucionador durante la generación del ataque.

Metodología

1. Formalización de la Generalización y la Robustez
Los autores definen la robustez y la generalización a través de la lente del operador de error modelo-solucionador $E_\theta$:

• Generalización: Definida estáticamente como la norma del operador de error en una entrada fija: $L_{gen}(x) = \|F_\theta(x) - G(x)\|_Y$.
• Robustez: Definida dinámicamente como cómo la salida del operador de error se amplifica bajo la perturbación de la entrada. El artículo propone tres métricas locales:
  • Norma del Operador Jacobiano: La norma inducida de la derivada del operador de error, $\|DE_\theta[x]\|$.
  • Incremento de Pérdida de Ataque Finito: El aumento máximo en la pérdida de error sobre una bola de perturbación acotada por la norma.
  • Métrica Jacobiano-Error: Una aproximación computacionalmente eficiente definida como $\|g_\theta(x)\|_X$, donde $g_\theta(x) = DE_\theta[x]^* e_\theta[x]$. Esta métrica combina el campo de error con el Jacobiano local y se alinea estrechamente con las direcciones de ataque de presupuesto finito en el límite de presupuesto pequeño.

2. Ataques Adversarios Integrados con el Solucionador
El artículo identifica que los objetivos de ataque estándar (por ejemplo, maximizar el cambio en la salida del modelo o comparar contra una verdad fundamental fija) son insuficientes porque no reflejan la verdadera discrepancia modelo-solucionador bajo perturbación. Los autores proponen una jerarquía de objetivos de ataque basada en el grado de integración del solucionador:

• $L_1$ (Solo el Modelo): Maximiza el cambio en la salida del modelo ($\|F_\theta(x+\delta) - F_\theta(x)\|$).
• $L_2$ (Verdad Fundamental Fija): Maximiza el error contra la salida limpia del solucionador ($\|F_\theta(x+\delta) - G(x)\|$).
• $L_3$ (Integración Total del Solucionador): Maximiza el error contra la salida perturbada del solucionador ($\|F_\theta(x+\delta) - G(x+\delta)\|$).

La contribución central es el objetivo $L_3$, que requiere que el solucionador numérico $G$ sea diferenciable e integrado en el bucle de ataque. Esto permite que el ataque calcule gradientes a través del solucionador ($DG$), asegurando que la perturbación $\delta$ se optimice para maximizar la divergencia entre el modelo y la solución real de la entrada perturbada. El artículo también detalla estrategias de optimización (por ejemplo, actualizaciones de "reemplazo" frente a "suma") que se adaptan a la geometría del paisaje de pérdida (amplio para Burgers, estrecho para Navier-Stokes).

3. Entrenamiento Adversario Integrado con el Solucionador
Basándose en el ataque $L_3$, los autores proponen un marco de entrenamiento adversario donde el bucle de entrenamiento opera como un problema min-max:
$$\min_\theta \mathbb{E}_{x \sim \mu_X} \left[ \max_{\|\delta\| \le \epsilon} \|F_\theta(x+\delta) - G(x+\delta)\|^2 \right]$$
En este proceso, el modelo actual se congela para generar muestras adversarias maximizando la pérdida $L_3$. Estas muestras, emparejadas con sus correspondientes salidas del solucionador (re-etiquetadas por el solucionador), se utilizan luego para actualizar el modelo. Este proceso actúa como una destilación "maestro-alumno", donde el solucionador numérico actúa como el maestro y el operador neuronal aprende a ser un gemelo de comportamiento fiel del solucionador a través de entradas perturbadas.

Contribuciones Clave

• Nueva Definición de Robustez: Una formalización de la generalización y la robustez en el aprendizaje de operadores basada en la discrepancia modelo-solucionador en lugar de la estabilidad exclusiva del modelo.
• Objetivo de Ataque Integrado con el Solucionador: Identificación del objetivo de pérdida $L_3$ (integración total del solucionador) como el objetivo más preciso para los ataques en entornos de PDE, demostrando que los ataques que ignoran la respuesta del solucionador a la perturbación ($L_1, L_2$) o que utilizan etiquetas fijas son subóptimos.
• Marco de Entrenamiento Adversario: Un método para generar lotes adversarios re-etiquetados por el solucionador en línea, mejorando tanto la generalización a distribuciones de entrada desplazadas como la robustez a las perturbaciones sin necesidad de selección manual de muestras.
• Análisis de Métricas: Demostración de que la métrica Jacobiano-error es una aproximación práctica y ligera del rendimiento de ataque de presupuesto finito y que las normas espectrales estándar son insuficientes para medir la robustez del operador de PDE.

Resultados Experimentales
El marco fue evaluado en tres bancos de pruebas de PDE canónicos: Burgers 1D, Flujo de Darcy 2D y Navier-Stokes 2D.

• Efectividad del Ataque: Los ataques que utilizan el objetivo completo $L_3$ lograron consistentemente incrementos de pérdida modelo-solucionador significativamente mayores en comparación con los ataques $L_1, L_2$, de residuo físico o basados en diccionarios. Los ataques $L_3$ también generaron perturbaciones de mayor frecuencia, exponiendo desajustes específicos entre el modelo y el solucionador.
• Rendimiento del Entrenamiento:
  • Generalización: Los modelos entrenados con el entrenamiento adversario $L_3$ mostraron un desempeño superior en distribuciones de entrada desplazadas (por ejemplo, diferentes longitudes de correlación, parámetros de núcleo o condiciones de contorno) en comparación con los modelos base y aquellos entrenados con perturbaciones aleatorias o pérdidas no integradas.
  • Robustez: Los modelos entrenados con $L_3$ exhibieron los menores incrementos de pérdida de ataque y las normas de Jacobiano-error más bajas, indicando una mayor robustez.
  • Eficiencia: Aunque la integración del solucionador aumenta el costo computacional (debido a las pasadas hacia adelante y hacia atrás a través del solucionador), el método produce muestras más informativas y una convergencia más rápida hacia soluciones robustas en comparación con los métodos de muestreo heurístico.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco general para el entrenamiento de operadores robustos que aprovecha el solucionador numérico existente como un "oráculo confiable". Al integrar el solucionador directamente en los bucles de ataque y entrenamiento, el método selecciona automáticamente muestras difíciles y alinea el comportamiento del operador neuronal con la física del solucionador, reduizando la necesidad de intervención manual o conjuntos de datos desplazados diseñados a mano.

Los autores reconocen que la principal limitación es el costo computacional, particularmente para las PDE dependientes del tiempo, donde diferenciar a través de ejecuciones largas del solucionador requiere una cantidad significativa de memoria GPU. Sugieren que trabajos futuros podrían explorar enfoques jerárquicos (por ejemplo, ejecuciones neuronales implícitas) para mitigar este costo. El artículo no pretende resolver todos los problemas de robustez en el aprendizaje automático científico, sino establecer que la integración del solucionador es un componente necesario para definir y lograr una verdadera robustez en el entorno de aprendizaje de operadores.