Shapes are not enough: CONSERVAttack and its use for finding vulnerabilities and uncertainties in machine learning applications

Este artículo propone el CONSERVAttack, un nuevo ataque adversarial diseñado para explotar las desviaciones hipotéticas no detectadas entre simulaciones y datos en física de altas energías, revelando vulnerabilidades en modelos de aprendizaje profundo que evaden las validaciones estándar y subrayando la necesidad de considerar la robustez ante tales efectos.

Lo esencial

Imagina que los físicos de partículas son como detectives que intentan resolver el misterio más grande del universo: cómo funciona la materia. Para hacerlo, usan dos herramientas principales:

1. La realidad: Los datos reales que capturan de las colisiones de partículas en el Gran Colisionador de Hadrones (LHC).
2. La simulación: Un "mundo virtual" creado por superordenadores que intenta imitar exactamente cómo deberían comportarse esas partículas según las leyes de la física.

Durante años, los detectives han comparado la realidad con la simulación. Si coinciden, ¡buen trabajo! Si no coinciden, buscan el error. Pero aquí es donde entra la Inteligencia Artificial (IA) y el problema que descubrieron los autores de este paper.

El Problema: "El Camuflaje Perfecto"

Hasta ahora, los físicos revisaban la simulación mirando cosas obvias, como:

• ¿La cantidad promedio de partículas es la misma? (Como contar cuántas manzanas hay en una caja).
• ¿Las manzanas rojas suelen estar cerca de las verdes? (Mirando si hay patrones simples).

Si la simulación coincidía en estas cosas "básicas", daban por hecho que estaba bien.

Pero los autores dicen: "¡Espera! La IA es muy lista. Puede aprender patrones ocultos y complejos que los humanos no vemos".

Para demostrarlo, crearon un ataque llamado CONSERVAttack. Imagina que eres un falsificador de cuadros muy experto.

• Tu objetivo es engañar a un experto para que crea que un cuadro falso es real.
• Normalmente, el experto miraría el color de la pintura o el tipo de lienzo (las "distribuciones marginales").
• Pero tú, el falsificador, cambias algo tan sutil en la pincelada (la IA) que el experto no nota nada en el color o el lienzo, pero el cuadro se ve completamente diferente para la IA.

En el lenguaje del paper, crearon eventos (datos) que:

1. Parecen normales: Si miras los gráficos básicos de la simulación, todo está perfecto. Los números coinciden con la realidad.
2. Son trampas: Sin embargo, cuando la IA intenta clasificarlos, se equivoca estrepitosamente.

Es como si alguien cambiara el código de un semáforo para que, aunque la luz siga pareciendo roja a simple vista, el coche autónomo la interprete como verde y choque.

¿Por qué es peligroso?

En la física de partículas, si la simulación tiene un "camuflaje" así, los físicos podrían sacar conclusiones erróneas sobre el universo. Podrían pensar que descubrieron una nueva partícula cuando en realidad es solo un error de la simulación que la IA no detectó.

Las Soluciones Propuestas

Los autores no solo señalaron el problema, sino que ofrecieron tres formas de arreglarlo:

1. Entrenar a la IA con "Trampas" (Entrenamiento Adversarial)

Imagina que entrenas a un perro policía para detectar drogas. Si solo le enseñas a oler drogas reales, podría fallar si alguien usa un perfume que huele igual pero no es droga.
Pero, si le enseñas también a oler los perfumes falsos (los ataques), el perro se vuelve mucho más listo y no se deja engañar.

• En el paper: Agregaron los datos "falsos" al entrenamiento de la IA para que aprendiera a no caer en la trampa.

2. El "Detector de Mentiras" (Adversarial Detector)

Crearon una segunda IA, un "vigilante", cuya única tarea es mirar los datos y decir: "Esto parece normal" o "Esto huele a trampa".

• Funciona como un detector de mentiras en una entrevista de trabajo. Aunque el candidato (el dato) parezca perfecto en su currículum (las estadísticas básicas), el detector nota un micro-tic en su voz (una estructura oculta) y dice: "¡Ese dato es sospechoso!".
• Resultado: Este detector fue muy bueno, incluso con datos reales que nunca había visto antes.

3. Usar las trampas para mejorar (Aumento de Datos)

Curiosamente, si tienes muy pocos datos para entrenar (como un estudiante que solo tiene un libro de texto), usar estas "trampas" controladas para entrenar a la IA la hace más fuerte y lista, mejorando su rendimiento incluso en datos normales.

La Analogía Final: El Examen de Conducción

Imagina que estás aprendiendo a conducir y el instructor te da un examen.

• La forma antigua: El instructor te pregunta: "¿Qué hace el semáforo rojo?" y "¿Cuántos metros hay hasta la parada?". Si respondes bien, apruebas.
• El ataque CONSERVAttack: Es como si el examen tuviera una pregunta trampa: "Si el semáforo es rojo, pero el coche de enfrente tiene un adhesivo de un gato, ¿qué haces?". La respuesta lógica es "Parar", pero la IA (el estudiante) que solo estudió las reglas básicas podría decir "Acelerar" porque no vio el patrón oculto del gato.
• La solución: El nuevo método enseña al estudiante a mirar todo el contexto, no solo las reglas básicas, y le da un "detective" que revisa si el estudiante está pensando de forma extraña antes de aprobarlo.

Conclusión

Este paper nos dice: "No confíes ciegamente en que la simulación es perfecta solo porque los gráficos básicos coinciden".

La Inteligencia Artificial puede tener "puntos ciegos" muy sofisticados. Para estar seguros en la ciencia, necesitamos:

1. Intentar engañar a nuestros propios modelos para ver dónde fallan.
2. Usar detectores para encontrar esos fallos.
3. Reconocer que siempre puede haber una incertidumbre oculta que debemos medir y tener en cuenta.

Es una llamada a la humildad y a la vigilancia constante en la ciencia moderna.

Resumen técnico

Resumen Técnico: CONSERVAttack y la Evaluación de Vulnerabilidades en Física de Altas Energías

1. Planteamiento del Problema

En la Física de Altas Energías (HEP), el aprendizaje profundo se utiliza cada vez más para tareas como la simulación de detectores, la reconstrucción de eventos y la selección de eventos (clasificación). Tradicionalmente, la validación de estos modelos se basa en comparar distribuciones marginales y correlaciones lineales entre datos reales y simulados en "regiones de control".

Sin embargo, los autores identifican una brecha crítica:

• Invisibilidad de las desviaciones: Los métodos de validación actuales (distribuciones marginales y correlaciones lineales) no garantizan que se hayan detectado todas las fuentes de discrepancia.
• Vulnerabilidad no explorada: Es posible que existan fuentes de incertidumbre sistemática (desajustes de modelado) que alteren las fronteras de decisión del modelo sin modificar significativamente las estadísticas de bajo nivel (marginales y correlaciones) que los físicos revisan rutinariamente.
• Consecuencia: Un modelo podría parecer válido según los controles estándar, pero ser extremadamente frágil ante perturbaciones específicas que "engañan" al modelo, introduciendo un sesgo sistemático no cuantificado.

2. Metodología: CONSERVAttack

El artículo propone un nuevo ataque adversarial llamado CONSERVAttack, diseñado específicamente para el dominio de la HEP. A diferencia de los ataques adversariales tradicionales (como PGD o FGSM) que minimizan la norma $L_\infty$ por evento, este ataque opera a nivel de conjunto de datos.

Objetivo del ataque:
Generar perturbaciones en los eventos simulados que:

1. Maximicen la tasa de error (hagan que el modelo clasifique incorrectamente los eventos).
2. Minimicen la alteración de las distribuciones marginales de las características y las correlaciones entre características, manteniéndolas dentro de los límites de incertidumbre estadística esperados.

Algoritmo y Restricciones:

• Optimización Min-Max: Se busca maximizar la pérdida del clasificador mientras se minimiza una función de pérdida personalizada ($L$) que penaliza las desviaciones estadísticas.
• Métricas de Restricción:
  • Distancia de Jensen-Shannon (JSD): Para medir la divergencia entre las distribuciones marginales originales y las perturbadas.
  • Norma de Frobenius ($\Delta_{FN}$): Para medir la diferencia relativa entre las matrices de correlación de los datos limpios y los perturbados.
• Proceso Iterativo: El algoritmo genera candidatos de perturbación basados en el signo del gradiente de la pérdida, seleccionando aquellos que cumplen con los umbrales estrictos de JSD y $\Delta_{FN}$ definidos por el usuario.

3. Contribuciones Clave

1. Nueva Fuente de Incertidumbre Sistemática: Demostración de que es posible crear ejemplos adversarios que son indetectables para los controles de validación estándar de la HEP, pero que degradan severamente el rendimiento del modelo.
2. Flujo de Trabajo de Mitigación: Propuesta de un protocolo para cuantificar la vulnerabilidad de un modelo y reducir la incertidumbre asociada mediante el uso de detectores adversarios.
3. Uso de Datos Adversarios para Aumento: Demostración de que los ejemplos adversarios generados pueden utilizarse como aumento de datos en regímenes con pocos datos, mejorando la generalización del modelo en datos limpios.
4. Estrategias de Defensa: Evaluación de dos estrategias para aumentar la robustez:
   • Entrenamiento Adversarial: Incluir ejemplos adversarios en el conjunto de entrenamiento.
   • Detector Adversarial: Entrenar una red neuronal binaria para distinguir entre eventos "limpios" y "adversarios".

4. Resultados Experimentales

Los autores evaluaron CONSERVAttack en dos tareas de HEP: clasificación de bosones de Higgs (señal vs. fondo) y etiquetado de jets (Top vs. W).

• Eficacia del Ataque:
  • Se lograron tasas de engaño (Fooling Ratio) de hasta 0.9 en la tarea del Higgs y 0.67 en la tarea de jets.
  • Las perturbaciones introdujeron cambios mínimos en las distribuciones marginales (JSD < 0.02) y en las correlaciones ($\Delta_{FN}$ < 0.2), pasando desapercibidas para los controles de validación estándar.
• Validación en Datos Reales:
  • Se aplicó el Detector Adversarial a datos reales del experimento CMS (2012). El detector mantuvo una alta eficiencia en la clasificación de eventos reales como "limpios", sugiriendo que no hay una brecha de dominio masiva que haga que los datos reales se comporten como adversarios, aunque un subconjunto pequeño de eventos limpios muestra un comportamiento "pseudo-adversarial" sistemático.
• Mejora con Defensa:
  • El Entrenamiento Adversarial redujo la tasa de engaño de ~0.7 a ~0.2.
  • El Detector Adversarial fue aún más efectivo, reduciendo la tasa de engaño corregida a un rango de 0.05 - 0.08.
• Correlaciones No Lineales:
  • Se extendió el ataque para preservar también las correlaciones de distancia (no lineales). Esto hizo el ataque más difícil (tasa de engaño inicial más baja), pero el detector adversarial siguió siendo capaz de identificar estos ejemplos, indicando que la vulnerabilidad no se debe solo a correlaciones no lineales no capturadas.

5. Significado e Implicaciones

El trabajo tiene un impacto fundamental en cómo se debe interpretar la incertidumbre en los modelos de aprendizaje profundo aplicados a la ciencia:

• Reevaluación de la Incertidumbre Sistemática: Los autores proponen que la vulnerabilidad a ataques adversarios indetectables debe considerarse como una fuente de incertidumbre sistemática.
• Protocolo de Validación Propuesto:
  1. Entrenar un modelo base.
  2. Generar ejemplos adversarios con CONSERVAttack.
  3. Entrenar un Detector Adversario.
  4. Calcular la tasa de engaño corregida (después de filtrar eventos detectados como adversarios).
  • Criterio de decisión: Si la tasa de engaño corregida se mantiene dentro de los límites de las incertidumbres sistemáticas físicas conocidas, no se necesita asignar incertidumbre adicional. Si excede estos límites, se debe investigar la causa (posibles omisiones en la simulación) o asignar una incertidumbre adicional.
• Herramienta Diagnóstica: El detector adversarial puede servir como herramienta para identificar eventos simulados que tienen comportamientos estructurales anómalos, ayudando a refinar los generadores de eventos y los modelos de simulación.

En conclusión, el artículo argumenta que las formas (distribuciones marginales) no son suficientes para validar modelos de IA en física; es necesario evaluar la robustez del modelo frente a perturbaciones que respetan la estadística de bajo nivel pero explotan las dependencias de alta dimensionalidad del modelo.