🤖 machine learning

Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks

Este artículo propone los ataques adversarios de caja negra como un referente moderno y a gran escala para la optimización global con el fin de abordar las limitaciones de las actuales suites de funciones analíticas de pequeña escala y desactualizadas, demostrando la efectividad de diversos algoritmos evolutivos y metaheurísticas para resolver estos desafíos de alta dimensionalidad.

Autores originales: Wojciech Zarzecki, Jarosław Arabas

Publicado 2026-08-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wojciech Zarzecki, Jarosław Arabas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer animales. Le muestras miles de fotos de caballos, gatos y perros hasta que se vuelve muy bueno adivinando. Pero, ¿qué pasaría si alguien pudiera engañar al robot? ¿Qué pasaría si alguien añadiera una pequeña e invisible mota de "ruido" a la foto de un caballo y, de repente, el robot pensara que está viendo un gato? Esto se llama un ataque adversarial. Es como un truco de magia para las computadoras: el ojo humano ve un caballo, pero el cerebro de la computadora ve un gato debido a un secreto empujón matemático.

Para descubrir cómo hacer que estos trucos funcionen (o cómo detenerlos), los científicos necesitan probar diferentes "estrategias de búsqueda". Imagina que estás en una gigantesca cordillera nublada buscando el valle más profundo. Algunas estrategias de búsqueda son como caminar en línea recta hasta chocar con una pared; otras son como enviar un enjambre de abejas para explorar cada rincón y grieta. Durante décadas, los científicos probaron estas estrategias usando montañas simples y ficticias (funciones matemáticas) que eran fáciles de dibujar pero que tal vez no se parecían al mundo real. La gran pregunta es: ¿Son estas viejas y simples pruebas suficientes para decirnos qué estrategia de búsqueda es realmente la mejor para el mundo desordenado y complejo de la IA moderna?

Este artículo, escrito por Wojciech Zarzecki y Jarosław Arabas de la Universidad Tecnológica de Varsovia, dice "No, no lo son". Los autores argumentan que el problema de engañar a una IA (el ataque adversarial) es en realidad una prueba perfecta del mundo real para estas estrategias de búsqueda. Tratan el ataque como un rompecabezas gigante: encontrar el cambio más pequeño e invisible en una imagen que logre engañar a la computadora. Probaron varios métodos de búsqueda de tipo "enjambre" (como Algoritmos Evolutivos y el Optimizador de Lobo Gris) para ver cuál de ellos podía resolver este rompecabezas mejor.

Aquí está lo que encontraron:

El rompecabezas es difícil
Primero, los autores quisieron demostrar que este no es un rompecabezas simple con una sola respuesta. Utilizaron un método de búsqueda local (una estrategia que solo mira el vecindario inmediato) en miles de imágenes. Descubrieron que cuando partían de diferentes puntos aleatorios, terminaban con diferentes "soluciones". Algunas soluciones cambiaban unos pocos píxeles aquí, otras cambiaban unos pocos píxeles allá. Esto demostró que el paisaje es "multimodal", lo que significa que tiene muchos valles y picos, no solo uno. No es un deslizamiento suave hacia el fondo; es una cordillera dentada y confusa donde puedes quedarte atrapado en una pequeña depresión que no es la más profunda. Esto confirma que necesitas métodos de búsqueda "global" potentes para encontrar la mejor trampa.

Los buscadores
El equipo puso a prueba varios algoritmos de búsqueda en dos famosos conjuntos de datos de imágenes: CIFAR-10 (imágenes pequeñas de 32x32 píxeles) e ImageNet (imágenes enormes de alta resolución). Le dieron a cada algoritmo un presupuesto de cuántas veces podía "echar un vistazo" a la imagen para ver si había sido engañada.

Los buscadores "codiciosos": Algunos métodos, como el optimizador INFO, actuaron un poco como una búsqueda local codiciosa. Encontraron soluciones rápidamente, pero a menudo se quedaban estancados con trucos más débiles (menores tasas de éxito).
Los buscadores de "enjambre": Los métodos como DE (Evolución Diferencial), GEN (Algoritmo Genético) y SHADE fueron mucho mejores. Exploraron el espacio de manera más exhaustiva. Por ejemplo, en el conjunto de datos CIFAR-10, cuando el "ruido" permitido (perturbación) se fijó en 0.2, el método GEN engañó a la computadora el 97.40% de las veces, mientras que SHADE lo hizo el 89.61% de las veces.
El "Lobo" tuvo dificultades: El GWO (Optimizador de Lobo Gris) tuvo problemas cuando las reglas eran estrictas. Sin una configuración de "regularización" especial (una regla para mantener el ruido pequeño), solo tuvo éxito aproximadamente un 10–15% de las veces. Sin embargo, cuando los autores añadieron una regla específica para equilibrar el ruido, el GWO se puso al nivel y funcionó mucho mejor.

El tamaño importa
El tamaño de la imagen marcó una gran diferencia. En las imágenes pequeñas de CIFAR-10, incluso una cantidad mínima de ruido permitido (0.01) era casi imposible de usar; los algoritmos fallaron casi por completo. Pero en las enormes imágenes de ImageNet, el mismo ruido diminuto era aún más difícil de usar (0% de éxito para todos). Sin embargo, una vez que permitieron un poco más de ruido (0.1 o 0.2), los algoritmos se volvieron muy efectivos. En ImageNet con un ruido de 0.2, el algoritmo DE logró una tasa de éxito del 100%, lo que significa que pudo engañar a la computadora en cada una de las imágenes que intentó.

La conclusión
El artículo sugiere que el uso de estos ataques adversariales de "caja negra" es una forma fantástica de probar qué tan buenos son realmente los métodos de optimización global. Es un desafío más difícil y realista que los viejos y simples problemas matemáticos. Los resultados muestran que, si bien algunos métodos son mejores que otros, el campo aún está aprendiendo. Los autores no pretendían haber encontrado el algoritmo "perfecto"; en su lugar, proporcionaron un nuevo patio de juegos donde los investigadores pueden probar sus herramientas. También señalaron que, en el futuro, podrían querer probar no solo en hacer que la computadora se confunda, sino en hacer que elija una respuesta incorrecta específica, y podrían usar una forma diferente de medir el "ruido" que se parezca más a lo que el ojo humano notaría.

En resumen, los autores demostraron con éxito que engañar a una IA es una escalada de montaña compleja y con múltiples picos, y aunque algunos equipos de búsqueda (como GEN y SHADE) son actualmente los mejores excursionistas, todavía hay mucho territorio por explorar.

Resumen Técnico: Métodos de Optimización Global de Gran Escala con Ataques Adversarios de Caja Negra

Definición del Problema
Los autores identifican un estancamiento en el desarrollo de los métodos de optimización global debido a la dependencia de conjuntos de pruebas compuestos por un número limitado de funciones analíticas, muchas de las cuales datan de la década de 1970 y 1980 (por ejemplo, Ackley, Griewank, Rosenbrock). Estos problemas "sintéticos" corren el riesgo de sesgar el desarrollo de los métodos. El artículo propone que los Ataques Adversarios de Caja Negra (BBAA, por sus siglas en inglés) sobre modelos de clasificación de imágenes sirven como un robusto benchmark de optimización global de alta dimensión.

En un escenario BBAA, un atacante busca encontrar un vector de perturbación $\delta$ añadido a una imagen de entrada $x$ tal que la clasificación del modelo cambie (clasificación errónea), mientras que la perturbación permanece imperceptible para los humanos. El problema se formula como una minimización con restricciones de cota donde la función objetivo $L(\delta)$ combina el logaritmo negativo de la probabilidad de la clase real con un término de regularización $L_2$ para minimizar la magnitud de la perturbación:
$L(\delta) = -\log p_{c(x)}(x + \delta) - \alpha\|\delta\|_2^2$
El conjunto factible es un hipercubo $[-\epsilon, \epsilon]^n$ , donde $n$ corresponde al número de píxeles (por ejemplo, 3,072 para CIFAR-10, 150,528 para ImageNet).

Metodología
Para validar el BBAA como un problema de optimización global, los autores primero demostraron su multimodalidad. Emplearon un método de búsqueda local, Ataque de Crecimiento Estocástico con Refinamiento de Búsqueda Binaria (SGA-BSR), a través de 100 ejecuciones independientes con diferentes semillas aleatorias por imagen. Los resultados mostraron que las ejecuciones independientes convergieron a diferentes vectores de perturbación con distintos valores de la función objetivo, confirmando la existencia de numerosos óptimos locales y la necesidad de estrategias de búsqueda global.

La fase experimental central consistió en probar varios algoritmos de optimización global metaheurísticos en tareas BBAA utilizando dos conjuntos de datos: CIFAR-10 e ImageNet. Los modelos utilizados fueron un ResNet-18 preentrenado estándar para ImageNet y una arquitectura tipo VGG personalizada para CIFAR-10. Los algoritmos de optimización probados incluyeron:

Algoritmo Evolutivo Clásico (GEN)
Variantes de Evolución Diferencial: DE, JADE, SADE, SHADE
Optimizador de Lobo Gris (GWO)
INFO (Optimizador eficiente basado en la media ponderada de vectores)

Los experimentos se realizaron con diversos hiperparámetros:

$\epsilon$ (Perturbación máxima): 0.01, 0.1, 0.2
$\alpha$ (Peso de regularización): 0.0, 0.1, 1.0, 10.0, 100.0
Presupuesto: Tamaño de población de 500 e 500 iteraciones por ejecución.

Resultos Clave
Los experimentos arrojaron las siguientes observaciones:

Multimodalidad: La búsqueda local SGA-BSR produjo soluciones diversas a través de las ejecuciones, confirmando que el paisaje de BBAA es altamente multimodal.
Impacto de los Hiperparámetros:
- El límite de perturbación $\epsilon$ fue el factor más decisivo. Con $\epsilon=0.01$ , la mayoría de los optimizadores fallaron en tener éxito tanto en ambos conjuntos de datos. Las tasas de éxito aumentaron significamente en $\epsilon=0.1$ y $\epsilon=0.2$ .
- El peso de la regularización $\alpha$ tuvo un efecto no monotónico. Un valor moderado ( $\alpha=0.1$ ) generalmente mejoró el rendimiento al equilibrar el cruce de la frontera de decisión con la minimización de la perturbación.
Desempeño de los Algoritmos:
- GEN (Algoritmo Genético) y SHADE lograron consistentemente altas tasas de éxito manteniendo una baja fuerza de perturbación (norma $L_2$ ).
- GWO tuvo un desempeño deficiente sin regularización (éxito cercano a cero con $\epsilon$ bajo) pero mejoró significativamente con $\alpha=0.1$ , alcanzando a otros métodos basados en población.
- INFO se comportó como una búsqueda local codiciosa (greedy), estancándose en tasas de éxito más bajas pero demostrando eficiencia de consultas (queries).
- DE y GWO tendieron a derivar hacia las esquinas del área admisible, probablemente debido a la falta de mecanismos de autoadaptación presentes en SADE, JADE o SHADE.
Comparación de Datasets: Los ataques fueron uniformemente más fáciles en ImageNet que en CIFAR-10 con configuraciones $(\epsilon, \alpha)$ equivalentes. Los autores atribuyen esto a la mayor dimensionalidad de entrada de ImageNet y a su mayor conjunto de etiquetas, lo que estadísticamente reduce el margen hacia la clase competidora más cercana.

Significancia y Contribuciones
El artículo afirma dar un paso hacia la alineación de la investigación en optimización global con los desafíos del aprendizaje automático moderno. Sus principales contribuciones son:

Propuesta de Benchmark: Establecer el BBAA como un valioso benchmark de optimización global de alta dimensión que va más allá de las funciones sintéticas tradicionales.
Validación Empírica: Demostrar que BBAA es un problema multimodal que requiere capacidades de búsqueda global, verificado mediante experimentos de búsqueda local.
Línea Base de Desempeño: Proporcionar un análisis de eficiencia comparativa de varias metaheurísticas (incluyendo EAs clásicos, variantes de DE, GWO e INFO) en tareas BBAA sin un ajuste extensivo de parámetros.
Marco Abierto: Liberar un marco de trabajo para permitir que la comunidad pruebe nuevos métodos de optimización contra estos desafíos adversarios.

Los autores concluyen que, si bien los métodos actuales muestran promesa, el trabajo futuro debería centrarse en ajustar estos métodos para una mayor eficiencia, expandir el portafolio de optimizadores y, potencialmente, reformular la función objetivo para incluir términos de pérdida perceptual que reflejen mejor la distorsión visible para los humanos.

Más como este