MiniFool -- Physics-Constraint-Aware Minimizer-Based Adversarial Attacks in Deep Neural Networks

Este artículo presenta MiniFool, un algoritmo de ataque adversarial consciente de las restricciones físicas que minimiza una función de costo que combina un estadístico de la prueba $\chi^2$ con la desviación del puntaje objetivo para evaluar la robustez de las redes neuronales profundas en la física de partículas y astropartículas, como se demuestra mediante aplicaciones en MNIST, datos de neutrinos tau de IceCube y CMS Open Data.

Lo esencial

Imagina que tienes un robot muy inteligente que mira imágenes y adivina qué son. Tal vez está mirando la foto de un gato y dice: "¡Eso es un perro!", o mirando una foto borrosa de una estrella y dice: "¡Eso es un planeta!".

Los científicos en el mundo de la física (donde estudian partículas diminutas y estrellas gigantescas) usan estos robots para dar sentido a cantidades masivas de datos. Pero hay un problema: estos robots pueden ser engañados fácilmente. Si cambias una imagen de una forma apenas invisible, el robot podría cambiar de opinión por completo.

Este artículo presenta una nueva herramienta llamada MiniFool. Piensa en MiniFool no como un "hacker" intentando romper al robot, sino como un inspector de pruebas de estrés. Su trabajo es preguntar: "¿Qué tanto tengo que mover realmente estos datos antes de que el robot cambie de opinión?"

Así es como funciona, usando analogías simples:

1. El truco de lo "Falso" frente a lo "Real"

La mayoría de las formas antiguas de engañar a los robots (llamadas "ataques adversarios") son como un mago sacando un conejo de un sombrero. Cambian los datos de formas matemáticamente pequeñas pero físicamente imposibles.

• La forma antigua: Imagina intentar engañar a un robot cambiando un píxel en una foto a un número negativo. En el mundo real, no puedes tener "luz negativa". Pero a los viejos trucos no les importaba eso; solo querían confundir al robot.
• La forma de MiniFool: MiniFool es como un estricto profesor de física. Dice: "Solo puedes cambiar los datos si el cambio tiene sentido en el mundo real". Si un sensor tiene un margen de error conocido (como una regla que es ligeramente imprecisa), MiniFool solo cambia los datos dentro de ese rango de imprecisión. Pregunta: "¿Puedo engañar al robot usando solo la 'imprecisión' natural de la medición?"

2. La prueba del "Espacio para el movimiento"

Los investigadores utilizan un control especial llamado "Parámetro de Ataque". Piensa en este control como un dial que controla cuánto "espacio para el movimiento" o incertidumbre permitimos en los datos.

• Gira el dial hacia abajo (Poco espacio para el movimiento): Si el robot cambia de opinión con un pequeño empujón, casi invisible, significa que el robot es frágil. Es como un castillo de naipes; una pequeña brisa lo derriba.
• Gira el dial hacia arriba (Mucho espacio para el movimiento): Si el robot solo cambia de opinión cuando sacudes los datos violentamente (mucho más que el error natural del instrumento), significa que el robot es robusto. Es como un muro de ladrillos; hace falta mucho para moverlo.

3. Tres pruebas del mundo real

Los investigadores probaron MiniFool en tres cosas diferentes para demostrar que funciona en todas partes:

• Los dígitos escritos a mano (MNIST): Mostraron al robot imágenes de números (como un "9").
  • Resultado: Cuando el robot acertaba, era difícil de engañar. Cuando ya estaba equivocado (pensando que un "9" era un "8"), era muy fácil engañarlo para que volviera a la respuesta correcta con un pequeño empujón. Esto demostró que MiniFool puede detectar qué suposiciones son inestables.
• El Telescopio de Hielo (IceCube): Este es un detector gigante en la Antártida que busca partículas fantasmales llamadas neutrinos. Querían encontrar un tipo específico llamado "neutrino tau".
  • Resultado: Usaron MiniFool con datos reales del telescopio. Encontraron que los eventos "buenos" (neutrinos tau reales) eran muy difíciles de engañar, mientras que los eventos "malos" (ruido de fondo) eran fáciles de engañar. Esto les ayudó a verificar que su descubrimiento era real y no solo un error fortuito.
• El Colisionador de Partículas (CMS): Esta es una máquina gigante que estrella partículas para encontrar "b-quarks" pesados.
  • Resultado: Probaron el robot que identifica estas partículas. Encontraron que si el robot estaba seguro y era correcto, se necesitaba un gran "empujón" para cambiar su opinión. Si estaba equivocado, un pequeño empujón lo corregía.

La gran conclusión

El punto principal de este artículo es que MiniFool ayuda a los científicos a confiar en sus robots.

Al usar esta herramienta, los científicos pueden mirar una pieza específica de datos y decir: "¿Es esta clasificación sólida, o es solo un golpe de suerte que se desmoronaría si la medición fuera ligeramente distinta?"

No solo te dice si se puede engañar al robot; te dice cuánto se necesita para engañarlo, basándose en las reglas reales de la física. Esto ayuda a los científicos a separar los descubrimientos sólidos y fiables de los inestables.

Resumen técnico

Resumen Técnico: MiniFool - Ataques Adversarios Basados en el Minimizador con Restricciones de Física

Planteamiento del Problema

En la física de partículas y astropartículas, las redes neuronales profundas (DNN) son cada vez más centrales en el análisis de datos, particularmente para clasificar eventos en categorías de señal y fondo. Sin embargo, estas redes se entrenan con simulaciones de Monte Carlo etiquetadas, las cuales pueden contener errores de modelado sutiles de los instrumentos experimentales. Tal modelado erróneo puede causar que las redes aprendan características no físicas, degradando su rendimiento cuando se aplican a datos experimentales reales.

Los algoritmos de ataque adversario estándar (por ejemplo, FGSM, PGD, DeepFool) están diseñados para encontrar perturbaciones mínimas que cambien una clasificación. Sin embargo, estos métodos típicamente minimizan métricas de distancia (como $L_\infty$ o $L_2$) sin considerar las incertidumbres experimentales o las condiciones de contorno físicas (por ejemplo, leyes de conservación, señales no negativas). Consecuentemente, las perturbaciones requeridas para engañar a una red en estos enfoques estándar suelen representar eventos de datos físicamente imposibles. Esto hace que la interpretación estadística y física de las tasas de éxito de los ataques sea difícil o imposible en el contexto de la física experimental. Existe la necesidad de una metodología de ataque que respete las incertidumbres experimentales para evaluar robustamente las decisiones de la red e identificar eventos mal clasificados.

Metodología: El Algoritmo MiniFool

Los autores presentan MiniFool, un nuevo algoritmo que implementa ataques adversarios inspirados en la física. A diferencia de los métodos tradicionales que buscan el cambio absoluto mínimo en los valores de los píxeles o las características, MiniFool minimiza una función de costo que equilibra el cambio en la puntuación de la clasificación objetivo frente a la plausibilidad física de la perturbación, cuantificada por las incertidumbres experimentales.

Formulación Central

El algoritmo opera en una tarea de clasificación con $m$ clases. Dada una entrada $\vec{x}_0$ y una puntuación objetivo $g$ (típicamente $g=0$ para revertir una clasificación de alta confianza), MiniFool busca una entrada adversaria $\vec{x}_a$ que minimice la métrica total $\lambda$:

$$\lambda(\vec{x}_0; \vec{x}_a; \vec{\theta}) = \eta(\vec{x}_0; \vec{x}_a) + \beta \cdot (f_{i^*}(\vec{x}_a; \vec{\theta}) - g)^2$$

Donde:

• $\eta$ (Métrica de Entrada): Una norma $L_2$ al cuadrado de las desviaciones de la media de las características perturbadas respecto a las características originales, normalizada por la incertidumbre experimental $\sigma_i$ de cada característica:
  $$\eta = \frac{1}{N} \sum_{i=1}^{N} \left( \frac{x_{0,i} - x_{a,i}}{\sigma_i} \right)^2$$
  Esta métrica es análoga a un estadístico $\chi^2$. Puede extenderse a características correlacionadas utilizando una matriz de covarianza.
• Término de Puntuación Objetivo: La diferencia al cuadrado entre la salida de la red para la clase objetivo $f_{i^*}$ y la puntuación deseada $g$.
• $\beta$: Un meta-parámetro ajustable (por defecto 1) para reponderar los términos, útil si las salidas no son probabilidades normalizadas.
• Parámetro de Ataque ($s$): Para evaluar la robustez, las incertidumbres nominales $\vec{\sigma}_0$ se escalan mediante un escalar $s$ ($\vec{\sigma} = s \cdot \vec{\sigma}_0$). Al escanear $s$, se puede determinar la magnitud de la incertidumbre necesaria para revertir una clasificación.

Optimización

La minimización se realiza utilizando el optimizador Adam. El proceso es computacionalmente más exigente que los métodos de gradiente-signo, tomando segundos por evento en una estación de trabajo, pero produce soluciones que son estadísticamente consistentes con las incertidumbres experimentales asumidas. El algoritmo está implementado tanto en TensorFlow como en PyTorch.

Contribuciones Clave y Resultados

El artículo valida MiniFool en tres dominios distintos:

1. Clasificación de Dígitos MNIST (Calentamiento)

• Configuración: Una red feedforward estándar entrenada en imágenes en escala de grises de 28x28 (precisión superior al 98%).
• Resultados:
  • MiniFool logró revertir clasificaciones (por ejemplo, de "9" a "4") y corregir clasificaciones erróneas (por ejemplo, corregir un "9" clasificado erróneamente como "8" a "9") con perturbaciones mínimas.
  • Análisis de Robustez: Al escanear el parámetro de ataque $s$, las imágenes mal clasificadas mostraron una rápida caída en las puntuaciones de confianza, mientras que las imágenes correctamente clasificadas se mantuvieron robustas hasta valores de $s$ mucho mayores. Esto confirma que las predicciones incorrectas son menos robustas ante perturbaciones consistentes con las incertidumbres de los datos.

2. Identificación de Neutrinos Tau en IceCube

• Contexto: Identificación de neutrinos tau astrofísicos ($\nu_\tau$) frente al fondo de neutrinos electrón ($\nu_e$) utilizando imágenes 2D de patrones de luz de Cherenkov en el detector IceCube.
• Configuración: Los ataques se aplicaron a eventos simulados y a siete eventos candidatos reales identificados en un análisis de 2024. Las incertidumbres se modelaron como el 10% de la amplitud registrada.
• Resultados:
  • Para los siete eventos candidatos reales, seis requirieron un parámetro de ataque $s \approx 10$ (lo que implica una incertidumbre del 100%) para revertir la clasificación, lo que indica una alta robustez.
  • Un evento se revirtió con $s < 1$, lo que sugiere que probablemente era un evento de fondo mal clasificado.
  • Esta distinción se alinea con la estimación de fondo de 0.5 eventos en el análisis original, demostando que MiniFool puede verificar independientemente la pureza de las muestras de eventos seleccionadas.

3. Etiquetado de B-Jets en CMS

• Contexto: Identificación de jets originados por quarks b utilizando la red DeepJet en datos abiertos de CMS.
• Configuración: La red procesa más de 600 cantidades de entrada. Debido a la dificultad de cuantificar las incertidumbres específicas para todas las entradas, se utilizó un modelo simplificado donde todas las incertidumbres se fijaron en la unidad y se escalaron por $s$.
• Resultados:
  • Prueba de Estrés: El Área Bajo la Curva (AUC) se degradó de 0.932 (nominal) a 0.752 a medida que $s$ aumentaba. La degradación significativa comenzó en $s = 3 \times 10^{-4}$.
  • Escaneo de Robustez: Para un subconjunto de 200 jets con alta confianza inicial ($P \ge 87\%$), los jets correctamente clasificados requirieron valores de $s$ significativamente mayores para ser revertidos en comparación con los jets inicialmente mal clasificados.
  • Esto confirma la generalizabilidad del algoritmo a datos de partículas de alta dimensión y heterogéneos.

Significado y Reivindicaciones

El artículo afirma que MiniFool proporciona una forma físicamente significativa de probar la robustez de las decisiones de las redes neuronales en la física de partículas. Su principal significado radica en:

1. Plausibilidad Física: Al incorporar las incertidumbres experimentales en la función de costo, las perturbaciones resultantes representan variaciones de datos físicamente posibles, a diferencia de los ataques estándar que pueden generar artefactos no físicos.
2. Evaluación de Robustez: La capacidad de escanear el parámetro de ataque $s$ permite a los investigadores cuantificar cuánta incertidumbre experimental puede soportar una clasificación antes de fallar. Esto sirve como una métrica para la fiabilidad de las clasificaciones de eventos individuales.
3. Detección de Clasificación Errónea: El método distingue consistentemente entre eventos correctamente y erróneamente clasificados; los eventos mal clasificados son "revertibles" con escalas de incertidumbre menores que las clasificaciones correctas y robustas.
4. Aplicabilidad General: El algoritmo no está limitado a un detector o tipo de datos específico, como lo demuestra su éxito con datos de imágenes (MNIST), datos de detector 2D/series temporales (IceCube) y datos cinemáticos de alta dimensión (CMS).

Los autores señalan que, aunque la implementación actual es más lenta que los ataques basados en gradiente, ofrece una herramienta única para validar análisis de física. Sugieren que el trabajo futuro debería centrarse en aplicar modelos de incertidumbre más complejos y realistas y explorar la integración de este método en el proceso de entrenamiento (entrenamiento adversario), aunque los costos computacionales actuales limitan esto a conjuntos de datos más pequeños.