Resumen Técnico: Scooter – Un Marco de Evaluación Humana para Ejemplos Adversariales Sin Restricciones

Declaración del Problema

Los ataques adversariales sin restricciones buscan engañar a los modelos de visión por computadora (CV) alterando imágenes de maneras que no están limitadas por cotas de norma $\ell_p$, como cambiar el color o la textura de un objeto. A diferencia de los ataques restringidos, estas modificaciones pueden ser semánticamente coherentes y pasar fácilmente desapercibidas para los humanos, permitiendo a los atacantes eludir defensas tradicionales basadas en normas, como el entrenamiento adversarial o la robustez certificada. Sin embargo, la falta de restricciones basadas en normas significa que no existe garantía matemática de imperceptibilidad. En consecuencia, verificar si estos ejemplos adversariales (AE) parecen auténticos para los humanos requiere una evaluación humana.

La literatura existente a menudo depende de métricas automatizadas o estudios humanos a pequeña escala que carecen de rigor estadístico. Muchas obras anteriores omiten por completo la evaluación de la calidad de la imagen o se basan en métricas automatizadas que no se alinean con la percepción humana. Además, los protocolos de evaluación humana existentes a menudo carecen de insights estadísticamente significativos, informes transparentes de demografía, análisis de potencia y filtrado robusto para participantes inatentos. Esto crea una brecha en la capacidad de comparar y validar de manera fiable la imperceptibilidad de los ataques sin restricciones.

Metodología: El Marco Scooter

Para abordar estas brechas, los autores introducen Scooter (Sistematización de la Confusión sobre Observaciones para Evaluar la Realidad), un marco de código abierto y con potencia estadística para evaluar ejemplos adversariales sin restricciones. El marco se estructura en torno a un pipeline de tres fases diseñado para garantizar la calidad de los datos y la validez estadística:

1. Verificaciones Preliminares:

   • Prueba de Daltonismo: Los participantes deben clasificar correctamente cinco imágenes similares a las de Ishihara para asegurar que pueden percibir modificaciones basadas en el color, un vector principal para ataques sin restricciones.
   • Verificación de Comprensión: Los participantes revisan ejemplos de imágenes modificadas frente a no modificadas y deben identificar correctamente la imagen modificada en al menos 5 de 6 pares. Esto asegura la comprensión de la tarea y filtra a los hablantes no fluidos de inglés.

2. Fase Principal de Anotación:

   • Los participantes califican 106 imágenes (50 reales, 50 adversariales) en una escala Likert de 5 puntos que va desde "Definitivamente Modificada" (-2) hasta "Definitivamente Real" (+2).
   • El diseño utiliza un enfoque de medidas repetidas dentro del sujeto donde los participantes califican tanto imágenes reales como modificadas.
   • Verificaciones de Atención: El estudio incluye "elementos falsos" (imágenes obviamente modificadas) y "verificaciones de manipulación de instrucciones" (IMC) para detectar participantes inatentos. Los participantes que fallan 2 o más de las 6 verificaciones de atención son marcados.
   • Filtrado: Métricas adicionales como el tiempo promedio por imagen, estadísticas de cadenas largas y Variabilidad de Respuesta Intraindividual (IRV) se utilizan para filtrar datos de baja calidad.

3. Análisis Estadístico e Informes:

   • Pruebas de Equivalencia: En lugar de probar diferencias significativas (lo que implicaría detectabilidad), Scooter emplea el procedimiento de Pruebas de Dos Lados Únicos (TOST) para probar la equivalencia. El objetivo es demostrar que la puntuación media de las imágenes adversariales ($\mu_{modified}$) es prácticamente equivalente a la puntuación media de las imágenes reales ($\mu_{real}$) dentro de una tolerancia predefinida ($\Delta$).
   • Límites: Basándose en simulaciones empíricas, los autores establecen límites de equivalencia práctica de $\Delta_L = -0.2$ y $\Delta_U = +0.2$. Si la diferencia entre $\mu_{real}$ y $\mu_{modified}$ cae dentro de este rango, el ataque se considera imperceptible.
   • Informes: El marco exige informar sobre la demografía de los participantes, la compensación, el compromiso de tiempo y resultados estadísticos detallados para garantizar la reproducibilidad.

Configuración Experimental

Los autores aplicaron el marco Scooter para evaluar seis ataques sin restricciones:

• Ataques Basados en Color: SemanticAdv (SemAdv), cAdv y Natural Color Fool (NCF).
• Ataques Basados en Difusión: DiffAttack (DA), AdvPP y ACA.

Modelo Víctima: Los ataques se evaluaron contra un ResNet-50 entrenado adversarialmente (ResNet-50-AT), un modelo base robusto conocido por resistir ataques estándar acotados por normas.
Conjunto de Datos: Un subconjunto curado de imágenes de validación de ImageNet-1k, denominado ImageNet S-R50-N, que contiene 2.966 imágenes clasificadas correctamente por el modelo víctima y libres de artefactos preexistentes.
Participantes: Se reclutó un total de 346 participantes a través de Prolific, resultando en más de 34.000 calificaciones humanas.

Resultados Clave

El estudio produjo evidencia estadísticamente significativa que contradice la afirmación de que los ataques sin restricciones actuales son imperceptibles:

1. Fallo de la Imperceptibilidad: Para los seis ataques, el procedimiento TOST no logró rechazar la hipótesis nula de que las imágenes no son equivalentes. Específicamente, los valores p para la prueba del límite superior ($\Delta > \Delta_U$) fueron 1.000 para todos los ataques. Esto indica que las imágenes reales recibieron puntuaciones significativamente más altas (más "reales") que los ejemplos adversariales, con brechas que superan ampliamente la tolerancia de $\pm 0.2$.
2. Rendimiento del Ataque:
   • Los ataques basados en difusión generalmente superaron a los ataques basados en color en términos de imperceptibilidad (por ejemplo, AdvPP tuvo un $\mu_{modified}$ de -0.5188, más cercano a las imágenes reales que otros), pero aún no lograron alcanzar la equivalencia estadística.
   • SemAdv, a pesar de ser el ataque más simple, funcionó sorprendentemente bien, superando a otros cuatro ataques en puntuaciones modificadas brutas, aunque aún falló en la prueba de equivalencia.
   • NCF produjo las modificaciones más obvias, con la mayor brecha entre las calificaciones de reales y modificadas.
3. Discrepancia con el Éxito del Modelo: No hay correlación entre la tasa de éxito de un ataque contra el modelo víctima y su imperceptibilidad para los humanos. Por ejemplo, NCF tuvo una alta tasa de éxito del ataque (0.922) pero fue altamente perceptible, mientras que AdvPP tuvo una baja tasa de éxito (0.081) pero fue el menos perceptible.
4. Proxies Automatizados:
   • GPT-4o: El modelo de visión y lenguaje mostró cierta capacidad para señalar ataques imperceptibles, pero no se alineó perfectamente con las calificaciones humanas, particularmente para AdvPP y ACA.
   • Métricas Objetivas: Las métricas estándar de calidad de imagen (por ejemplo, FID, FD, KD) no lograron correlacionarse con la percepción humana. Cabe destacar que las métricas a menudo clasificaron a NCF (el ataque más perceptible) como teniendo la mayor calidad de imagen, contradiciendo directamente los juicios humanos. La métrica por imagen TOPIQ mostró la mejor alineación, pero aún así falló en ser un proxy fiable del juicio humano en todos los ataques.

Significado y Afirmaciones

El artículo afirma proporcionar el primer punto de referencia disponible públicamente y con potencia estadística que vincula rigurosamente la percepción humana con la calidad de los ejemplos adversariales sin restricciones. Sus contribuciones principales son:

• Estándar Metodológico: Establece directrices de mejores prácticas para la potencia de estudios crowdsourcing, compensación y análisis estadístico (específicamente TOST) para evaluar la imperceptibilidad, abordando la falta de insights estadísticamente significativos en trabajos anteriores.
• Evidencia Empírica: Demuestra que los ataques sin restricciones actuales de última generación, incluidos aquellos basados en modelos de difusión, no son imperceptibles para los humanos. Los autores concluyen que los humanos pueden distinguir fácilmente imágenes auténticas de aquellas modificadas por estos ataques.
• Desacoplamiento de Objetivos: Los hallazgos sugieren que engañar a un modelo de visión por computadora y engañar a un observador humano son objetivos en gran medida ortogonales; un alto éxito del ataque no implica alta imperceptibilidad.
• Limitaciones de las Métricas Automatizadas: El estudio refuerza que las métricas objetivas de calidad de imagen existentes son proxies insuficientes para la percepción humana en el contexto de ejemplos adversariales.

Los autores posicionan a Scooter como una herramienta para permitir investigaciones reproducibles centradas en el humano, instando a la comunidad a ir más allá de las métricas automatizadas y las afirmaciones no verificadas de imperceptibilidad. Publican el código fuente, el conjunto de datos ImageNet S-R50-N y más de 34.000 calificaciones humanas para facilitar la investigación futura en este dominio.