🤖 AI

Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models

Este estudio demuestra que la Tasa de Éxito del Ataque (ASR) es una métrica insuficiente para evaluar la robustez y transferibilidad adversarial en modelos de inteligencia artificial médica, ya que no correlaciona con la calidad perceptual de la imagen, por lo que se propone adoptar un marco de evaluación multi-métrico que considere tanto la eficacia del ataque como sus distorsiones visuales.

Autores originales: Emily Curl, Kofi Ampomah, Md Erfan, Sayanton Dibbo

Publicado 2026-04-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Emily Curl, Kofi Ampomah, Md Erfan, Sayanton Dibbo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este artículo es como una investigación forense sobre un nuevo tipo de "trampa" que pueden usar los hackers contra los médicos que usan Inteligencia Artificial (IA) para diagnosticar enfermedades.

Aquí tienes la explicación en español, usando analogías sencillas:

🕵️‍♂️ El Problema: La "Trampa Invisible"

Imagina que tienes un doctor robot muy inteligente que mira radiografías o fotos de la piel para decirte si tienes algo malo. Los investigadores descubrieron que puedes ponerle una "trampa" a este robot.

Esta trampa consiste en añadir un poco de "ruido" o cambios casi invisibles a la foto. Para un ojo humano, la foto sigue pareciendo normal (como si le pusieras un filtro de Instagram muy sutil), pero el robot se confunde y dice: "¡Esto es un tumor!" cuando en realidad es sano, o viceversa.

📏 La Medida Antigua: Solo mirar si "Ganó"

Hasta ahora, los científicos medían si esta trampa funcionaba usando una sola regla: La Tasa de Éxito del Ataque (ASR).

La analogía: Es como si un entrenador de fútbol solo mirara si el equipo ganó o perdió el partido, sin importar cómo jugaron.
El problema: Si el equipo ganó, el entrenador dice "¡Fue un gran partido!". Pero, ¿y si ganaron porque el árbitro estaba ciego? ¿O si ganaron pero el equipo jugó tan mal que se lastimaron? La regla "Ganó/Perdió" no te dice nada sobre la calidad del juego, la fuerza de los golpes ni si el equipo se veía bien.

En el mundo de la IA médica, esto es peligroso. Solo saber que el ataque "funcionó" no nos dice si la imagen se veía extraña o cuánto esfuerzo costó crear la trampa.

🔍 La Nueva Investigación: Mirando más allá del resultado

Los autores de este papel (Emily, Kofi, Md y Sayanton) decidieron dejar de mirar solo si el ataque "ganó". Quisieron medir tres cosas a la vez, como si evaluaran un examen de conducir no solo por si llegaste al destino, sino también por:

¿Qué tan bien manejaste? (Calidad de la imagen: ¿Se ve la foto borrosa o extraña?).
¿Qué tan fuerte fue el golpe? (Fuerza de la perturbación: ¿Cuánto cambiaste la foto?).
¿Funcionó el truco? (Si el robot se confundió).

Lo hicieron probando con 7 modelos diferentes (algunos como redes neuronales tradicionales, otros como los nuevos "Transformers" que son como cerebros más modernos) y con 4 tipos de imágenes médicas (piel, ojos, pulmones, patología).

🧪 Los Hallazgos Sorprendentes: ¡El resultado no tiene nada que ver con la apariencia!

Aquí viene la parte más interesante, como un giro en una película de misterio:

La desconexión total: Descubrieron que no hay relación entre si el ataque funcionó y qué tan fea o fuerte fue la trampa.
- La analogía: Imagina que intentas abrir una puerta con una llave. A veces, una llave muy torcida y fea (perturbación fuerte) abre la puerta. Otras veces, una llave casi invisible y perfecta (perturbación débil) también la abre. Pero, a veces, una llave fea no abre nada.
- El resultado: Saber que la trampa funcionó (el ataque tuvo éxito) no te dice nada sobre si la imagen se veía rara o si el cambio fue enorme. Son dos cosas totalmente separadas.
Los nuevos cerebros (ViT) son más "contagiosos":
- Probaron dos tipos de arquitecturas: las viejas (CNN) y las nuevas (Transformers o ViT).
- La analogía: Las redes viejas (CNN) son como un grupo de amigos que se conocen bien; si uno te engaña, los otros quizás no. Pero las redes nuevas (ViT) son como un coro donde todos cantan la misma nota. Si logras engañar a uno, casi seguro engañarás a todos. Los ataques saltan de un modelo a otro con mucha más facilidad en los sistemas modernos.
Más fuerza no significa más éxito:
- Pensarías que si haces la trampa más fuerte (cambias más la imagen), el ataque funcionará mejor.
- La realidad: Aumentaron la fuerza de la trampa 16 veces, pero el éxito apenas subió un poquito. Es como intentar romper una pared golpeándola 16 veces más fuerte: a veces solo necesitas un toque suave en el punto exacto para que se caiga.

💡 ¿Por qué importa esto para los médicos?

Si un médico confía solo en la métrica antigua ("¿Funcionó el ataque?"), cree que el sistema es seguro o inseguro basándose en una sola cifra. Pero este estudio dice: "¡Ojo! Necesitas mirar todo el cuadro".

Un ataque puede ser muy exitoso y la imagen seguir pareciendo perfecta (¡peligro silencioso!).
Otro ataque puede fallar pero dejar la imagen tan deformada que el médico humano se daría cuenta.

🏁 Conclusión: La nueva regla del juego

El mensaje final es que no podemos usar una sola regla para medir el peligro en la IA médica. Necesitamos una "caja de herramientas" completa que mida:

Si el ataque funcionó.
Si la imagen se ve bien.
Cuánto esfuerzo costó hacer el ataque.

Solo así podremos construir sistemas médicos que sean realmente seguros, no solo "parezcan" seguros en un papel. Es como decir que un coche no es seguro solo porque no tuvo un accidente; hay que revisar también los frenos, los neumáticos y la calidad de la carretera.

A continuación presento un resumen técnico detallado del artículo "Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models", estructurado según los puntos solicitados.

1. El Problema

La evaluación de la vulnerabilidad de los sistemas de aprendizaje profundo en el análisis de imágenes médicas se ha basado tradicionalmente en una métrica binaria: la Tasa de Éxito del Ataque (ASR, por sus siglas en inglés). Esta métrica indica simplemente si un ataque adversarial logró engañar al modelo o no.

El artículo identifica varias limitaciones críticas en este enfoque:

Incompletitud: La ASR ignora factores cruciales como la magnitud de la perturbación, la calidad perceptual de la imagen resultante y los costos computacionales.
Falta de correlación: No está claro si el éxito del ataque está intrínsecamente ligado a la distorsión perceptual o a la fuerza de la perturbación.
Nuevas Arquitecturas: Con el auge de los Transformers de Visión (ViT) que desafían a las Redes Neuronales Convolucionales (CNN), existe incertidumbre sobre si una sola métrica (ASR) puede capturar adecuadamente el comportamiento adversarial en arquitecturas heterogéneas.
Riesgo Clínico: En entornos médicos, una evaluación incompleta puede subestimar el riesgo real, ya que un ataque puede ser exitoso (alta ASR) pero con perturbaciones imperceptibles, o viceversa, afectando la confianza en el despliegue clínico.

2. Metodología

Los autores realizaron un estudio empírico sistemático y a gran escala para analizar la transferencia de ataques adversariales entre diferentes arquitecturas y conjuntos de datos médicos.

Conjuntos de Datos: Se utilizaron cuatro datasets médicos públicos:
- PathMNIST: Histopatología (9 clases).
- DermaMNIST: Dermatología (7 clases).
- RetinaMNIST: Oftalmología (5 clases).
- CheXpert: Radiografía de tórax (14 etiquetas, clasificación multi-etiqueta).
Arquitecturas de Modelos: Se evaluaron dos familias de modelos:
- CNNs: VGG-16, ResNet-50, DenseNet-121, Inception-v3.
- ViTs: DeiT, Swin Transformer, ViT-B/16.
Métodos de Ataque: Se probaron 7 técnicas de ataque, desde métodos de un solo paso hasta iterativos y basados en ensemble:
- FGSM, PGD, I-FGSM, MI-FGSM, NI-FGSM, VMI-FGSM y Ataque Ensemble.
Configuración Experimental:
- Se generaron ejemplos adversarios utilizando un modelo sustituto (surrogate) y se evaluaron contra modelos objetivo (targets) dentro de la misma familia (blanco) y entre familias (negro).
- Se probaron 5 presupuestos de perturbación ( $\epsilon$ ): $\{2/255, 4/255, 8/255, 16/255, 32/255\}$ .
- Total de configuraciones experimentales: 3,500.
Métricas de Evaluación: Además de la ASR, se midieron:
- Precisión de Clasificación (ACC).
- Calidad Perceptual: SSIM (Índice de Similitud Estructural) y PSNR (Relación Señal-Ruido de Pico).
- Magnitud de Perturbación: Normas L2.
Análisis Estadístico: Se calcularon coeficientes de correlación de Pearson y Spearman para determinar las relaciones entre las métricas en CNNs, ViTs y combinados.

3. Contribuciones Clave

Marco de Evaluación Multi-métrica: Se propone abandonar la dependencia exclusiva de la ASR, argumentando que se requiere un marco que integre eficacia del ataque, calidad perceptual y costo de perturbación.
Estudio Comparativo CNN vs. ViT: Se proporciona una de las primeras evaluaciones sistemáticas de la transferencia adversarial cruzada entre arquitecturas CNN y ViT en dominios médicos.
Descubrimiento de la Desacoplamiento (Decoupling): Se demuestra empíricamente que la ASR está fundamentalmente desacoplada de las métricas de calidad de imagen y magnitud de perturbación.
Análisis de Transferibilidad: Se revela una diferencia estructural significativa en cómo los ataques se transfieren entre modelos CNN (asimétrica) y ViT (uniformemente alta).

4. Resultados Principales

A. Desacoplamiento de la ASR

El hallazgo más significativo es que la ASR tiene una correlación casi nula con las métricas de calidad perceptual y magnitud de perturbación:

Correlaciones ASR vs. SSIM/PSNR/L2: Los coeficientes de correlación (Pearson y Spearman) fueron consistentemente bajos ( $|r| \leq 0.17$ para CNNs y $|r| \leq 0.05$ para ViTs).
Correlación entre métricas de calidad: Por el contrario, SSIM, PSNR y L2 mostraron una fuerte interrelación interna ( $|r| \geq 0.87$ ), confirmando que miden aspectos coherentes de la distorsión de la imagen.
Implicación: Un aumento en la magnitud de la perturbación (hacer la imagen más "ruidosa") no garantiza un aumento proporcional en la tasa de éxito del ataque.

B. Comportamiento de Transferibilidad

ViTs (Transformers): Exhiben una transferibilidad uniformemente alta. Los ataques generados en un ViT se transfieren a otros ViTs con una ASR de black-box entre 91.1% y 93.4%, independientemente de la arquitectura específica.
CNNs: Muestran una estructura asimétrica y variable.
- Inception-v3 es el objetivo más fácil de atacar.
- ResNet-50 es el más resistente (ASR de black-box más baja, ~72-73%).
Anomalía en CheXpert: En el dataset CheXpert (multi-etiqueta), la ASR de black-box para CNNs cayó drásticamente a 52.8%, mientras que los ViTs mantuvieron un 100%. Esto sugiere que las arquitecturas basadas en atención manejan mejor la complejidad de los límites de decisión multi-etiqueta en ataques de transferencia.

C. Efecto del Presupuesto de Perturbación ( $\epsilon$ )

A pesar de aumentar el presupuesto de perturbación en 16 veces (de $2/255$ $2/255$ a $32/255$ $32/255$ ), la ASR apenas varió.
- CNNs (Black-box): 75.5% $\to$ 79.0%.
- ViTs (Black-box): 91.4% $\to$ 92.8%.
Esto refuerza que la ASR y la magnitud de la perturbación capturan dimensiones diferentes del comportamiento adversarial.

D. Eficacia de los Ataques

El Ataque Ensemble (que combina gradientes de múltiples modelos sustitutos) demostró ser la estrategia más efectiva para la transferencia, reduciendo la brecha entre ASR de white-box y black-box a solo 1.1 puntos porcentuales.

5. Significado e Impacto

Reevaluación de la Robustez: La ASR por sí sola es una métrica engañosa e insuficiente para evaluar la seguridad de la IA médica. Un sistema puede parecer robusto según la ASR pero ser vulnerable a perturbaciones imperceptibles, o viceversa.
Seguridad Clínica: En entornos médicos, la capacidad de un ataque para mantener alta calidad perceptual (SSIM/PSNR altos) mientras logra una ASR alta es una amenaza crítica, ya que los radiólogos o patólogos no detectarían visualmente la manipulación.
Necesidad de Nuevos Marcos: Los autores concluyen que es imperativo desarrollar marcos de evaluación multi-métrica que consideren conjuntamente la eficacia del ataque, la degradación perceptual y el costo de la perturbación para una evaluación de riesgo holística.
Implicaciones para ViTs: La alta transferibilidad uniforme de los ViTs sugiere que, en el futuro, la seguridad de los sistemas basados en Transformers podría ser más crítica y difícil de mitigar mediante la diversificación de arquitecturas, ya que un ataque exitoso contra uno probablemente funcionará contra todos.

En resumen, el artículo demuestra que la comunidad de investigación debe evolucionar más allá de la simple búsqueda de maximizar o minimizar la ASR, adoptando una visión multidimensional para garantizar la fiabilidad de la IA en aplicaciones de vida crítica como la medicina.