🤖 machine learning

Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks

Este artículo presenta Random Logit Scaling (RLS), una defensa de postprocesamiento plug-and-play que contrarresta eficazmente los ataques adversarios de caja negra basados en puntuaciones mediante el escalado aleatorio de los logits para confundir a los atacantes mientras preserva la precisión del modelo, y simultáneamente expone la vulnerabilidad de la defensa de vanguardia AAA ante ataques adaptativos.

Autores originales: Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la inteligencia artificial como una biblioteca gigante y superinteligente donde las computadoras aprenden a reconocer cosas, como detectar un gato en una foto o identificar una canción. Durante mucho tiempo, estas computadoras fueron como estudiantes tímidos que solo respondían preguntas si les mostrabas el libro de texto (el código interno). Pero en el mundo real, a menudo simplemente les hacemos preguntas y obtenemos respuestas sin ver cómo piensan. Esto se llama una "caja negra".

El problema comienza cuando un hacker travieso intenta engañar a la computadora. No necesitan irrumpir en la biblioteca; solo necesitan susurrar un cambio diminuto, casi invisible, en una imagen—como añadir unas pocas motas de polvo a la foto de un panda. A nuestros ojos, sigue pareciendo un panda, pero la computadora de repente grita: "¡Eso es una tostadora!". Esto se llama un "ataque adversarial". Es un problema enorme porque si no podemos confiar en que estos sistemas inteligentes vean el mundo correctamente, no podemos usarlos para trabajos importantes como coches autónomos o diagnósticos médicos. Los hackers han encontrado formas ingeniosas de hacer esto incluso cuando no pueden ver el cerebro de la computadora, simplemente haciéndole preguntas una y otra vez y observando cómo cambia de opinión.

Ahora, entran los héroes de esta historia: un equipo de investigadores que decidió contraatacar con su propio truco. Llaman a su nueva defensa "Escalamiento de Logit Aleatorio" (RLS, por sus siglas en inglés). Piensa en el cerebro de la computadora como un chef que prueba una sopa y decide si está "muy salada" o "ligeramente salada". Normalmente, el chef da un número preciso, como "8 de 10". Pero el hacker utiliza ese número para averiguar exactamente cómo ajustar la receta para que la sopa sepa a algo más.

La idea de los investigadores es simple pero brillante: ¿qué pasaría si el chef miente? Cada vez que el hacker pregunta: "¿Qué tan salada está esto?", el chef decide aleatoriamente multiplicar la respuesta por un número secreto. A veces el chef dice "16 de 10" (haciendo que parezca súper salada) y otras veces "0.8 de 10" (haciendo que parezca apenas salada). El chef todavía sabe que la sopa está salada, por lo que sigue sirviendo el plato correcto (la respuesta correcta), pero los números que grita están completamente desordenados.

Aquí es donde ocurre la magia. El hacker, que está intentando resolver un rompecabezas matemático para engañar a la computadora, de repente encuentra que las pistas que recibe están por todas partes. Un segundo los números suben, al siguiente bajan, y el patrón es tan caótico que el hacker se confunde por completo. Es como intentar encontrar un tesoro escondido cuando el mapa cambia la ubicación de la X cada vez que miras. Los investigadores probaron esto contra algunos de los hackers más inteligentes y agresivos del mundo. Descubrieron que este simple truco hizo que la tasa de éxito de los hackers cayera drásticamente—a veces hasta un 80%—sin hacer que la computadora fuera más lenta o menos precisa en su trabajo real.

Sin embargo, el artículo también nos advierte que no todas las defensas son perfectas. Analizaron otra defensa popular llamada "AAA", que intenta remodelar los números de una manera específica y predecible para confundir a los hackers. Los investigadores demostraron que si un hacker conoce este truco, puede adaptarse y romperlo, algo así como un cerrajero que aprende el patrón específico de una nueva cerradura. Pero la defensa de Escalamiento de Logit Aleatorio es diferente porque utiliza pura aleatoriedad, lo que la hace mucho más difícil de predecir o romper.

En resumen, el artículo sugiere que al añadir una capa de ruido aleatorio a las puntuaciones de confianza de la computadora, podemos crear una "niebla de guerra" para los atacantes. La computadora se mantiene aguda y precisa, pero el hacker se queda tropezando en la oscuridad, incapaz de encontrar el camino para engañarla. Es un escudo ligero y fácil de usar que no requiere reconstruir toda la computadora, solo un simple ajuste en la forma en que comunica sus respuestas. Si bien esto cambia los números que la computadora grita (lo que podría importar para algunas tareas muy específicas), mantiene la decisión final correcta y hace que sea increíblemente difícil para los hackers causar problemas.

Resumen Técnico: Escalamiento de Logit Aleatorio (RLS)

Planteamiento del Problema

Las redes neuronales profundas (DNN) se despliegan cada vez más en dominios críticos como la clasificación de imágenes, el reconocimiento facial y la detección de malware. Sin embargo, estos modelos siguen siendo vulnerables a los ataques de ejemplos adversarios, donde las entradas son perturbadas con ruido imperceptible para causar una clasificación errónea. Si bien las investigaciones iniciales se centraron en escenarios de caja blanca (white-box), avances recientes han producido potentes ataques basados en puntuación de caja negra (black-box score-based attacks). En estos escenarios, los adversarios carecen de acceso a los parámetros del modelo, pero pueden consultar al modelo para obtener vectores de confianza (vectores de probabilidad). Ataques notables, como el ataque Square, pueden generar ejemplos adversarios exitosos con solo docenas de consultas, lo que representa una amenaza significativa para el despliegue confiable de los modelos de ML.

Las defensas existentes enfrentan un compromiso crítico. El Entrenamiento Adversario (AT) mejora la robustez, pero a menudo degrada la precisión en muestras benignas e incurre en altos costos computacionales. Los métodos de ensamble aumentan la robustez, pero elevan la sobrecarga de almacenamiento y despliegue. Las defensas basadas en la aleatorización (por ejemplo, añadir ruido a las entradas o a los logits) ofrecen una alternativa más ligera, pero frecuentemente sufren de una reducción en la precisión del modelo y una distorsión significativa de las puntuaciones de confianza, lo cual puede ser perjudicial en aplicaciones que dependen de probabilidades calibradas. Además, se ha demostrado que las defensas deterministas como Adversarial Attack on Attackers (AAA) son vulnerables a ataques adaptativos.

Metodología

1. Escalamiento de Logit Aleatorio (RLS)

La contribución principal de este trabajo es el Escalamiento de Logit Aleatorio (RLS), una defensa de post-procesamiento "plug-and-play" diseñada específicamente para ataques de caja negra basados en puntuación.

Mecanismo: RLS opera escalando los logits de salida del modelo ( $z$ ) por un coeficiente aleatorio ( $m$ ) muestreado de una distribución uniforme continua $U(a, b)$ , donde $a, b > 0$ . Los logits escalados se definen como $z' = m \times z$ .
Intuición Central: La defensa tiene como objetivo confundir al atacante mediante la salida de puntuaciones de confianza falsificadas, preservando al mismo tiempo el ranking (ordenamiento) de las clases. Dado que el factor de escala $m$ es positivo, el orden relativo de los logits permanece sin cambios, asegurando que la etiqueta predicha (clase top-1) se mantenga igual. Sin embargo, los valores absolutos de los logits y las brechas entre clases fluctúan aleatoriamente con cada consulta.
Impacto en los Ataques:
- Estimación de Gradientes: Los ataques que dependen de la optimización de orden cero (por ejemplo, NES, ZOO) intentan estimar gradientes basados en diferencias de puntuación. RLS introduce ruido en estas diferencias de puntuación, lo que conduce a estimaciones de gradiente falsificadas.
- Búsqueda Aleatoria: Ataques como el ataque Square utilizan métodos de búsqueda para encontrar direcciones que reduzcan la pérdida. RLS causa que los valores de la función objetivo fluctúen de manera impredecible (por ejemplo, una consulta con un $m$ pequeño podría emitir una puntuación engañosamente baja), induciendo al atacante a seleccionar direcciones subóptimas o saltarse otras válidas.
Despliegue: RLS no requiere el reentrenamiento del modelo subyacente. Es una adición ligera y de mínimo esfuerzo que puede implementarse sobre cualquier modelo de ML existente.

2. El Ataque Péndulo (Pendulum Attack)

Para demostrar la vulnerabilidad de las defensas no aleatorizadas existentes, los autores introducen un nuevo ataque adaptativo llamado ataque Péndulo, dirigido contra AAA-sine (una defensa de vanguardia que reformatea la función de pérdida en una curva similar a un seno).

Mecanismo: Los ataques estándar se quedan atrapados en mínimos locales creados por la función de pérdida con forma de seno. El ataque Péndulo supera esto cambiando de dirección iterativamente. Si el atacante falla en reducir la pérdida durante $k$ iteraciones consecutivas, cambia a la dirección opuesta (aumentando la pérdida). Si falla en aumentar la pérdida durante otras $k$ iteraciones, vuelve a cambiar. Esta oscilación permite al atacante escapar de los mínimos y máximos locales generados por la defensa.
Resultado: Esta estrategia adaptativa logra evadir AAA-sine, aumentando la tasa de éxito del ataque en más de un 35% en comparación con los ataques estándar.

Contribuciones Clave

Propuesta de RLS: Una defensa ligera y de mínimo esfuerzo que reduce significativamente la tasa de éxito de los ataques de caja negra basados en puntuación más avanzados, preservando la precisión del modelo.
Análisis de Escalamiento de Logit: El artículo proporciona un análisis teórico y empírico que muestra cómo el escalamiento de logit aleatorio corrompe las funciones objetivo utilizadas por atacantes tanto basados en gradientes como en búsqueda, sin alterar la clase predicha.
Ataque Adaptativo (Pendulum): La introducción del ataque Péndulo demuestra la vulnerabilidad de las defensas deterministas como AAA ante estrategias adaptativas, resaltando la ventaja de las defensas aleatorizadas como RLS.
Evaluación Exhaustiva: Experimentos extensos en los conjuntos de datos CIFAR-10 e ImageNet utilizando seis ataques SOTA (NES, Bandit, Square, SignHunter, ZO-signSGD y BruSLe) a través de espacios de norma $\ell_\infty$ , $\ell_2$ y $\ell_0$ .

Resultados Experimentales

Los autores evaluaron RLS frente a cuatro líneas base: Random Noise Defense (iRND), Randomized Feature Defense (RFD), Boundary Defense (oRND) y AAA.

Robustez: RLS supera significativamente a las líneas base en la resistencia a ataques. Por ejemplo, en el conjunto de datos CIFAR-10 usando ResNet-18, RLS redujo la tasa de éxito del ataque Square del 100% (sin defensa) al 59.85% (con rango 0.5–10) y aún más al 43.05% (con rango 0.5–1000). Contra el ataque Bandit, RLS redujo las tasas de éxito hasta tan solo el 1.56%.
Preservación de la Precisión: A diferencia de iRND, RFD y oRND, que causan caídas de precisión que van desde el 0.32% al 3.95%, RLS mantiene un 0% de caída de precisión en todos los modelos y configuraciones probadas porque preserva el ranking de clases.
Distorsión de la Puntuación de Confianza: Aunque RLS distorsiona las puntuaciones de confianza, generalmente causa menos distorsión (medida por la norma L2 de las diferencias de los vectores de probabilidad) que iRND y RFD. Sin embargo, el artículo señala que RLS aumenta el Error de Calibración Esperado (ECE) más que RFD y AAA, aunque menos que iRND.
Eficiencia de Consultas: RLS obliga a los atacantes a utilizar significativamente más consultas para tener éxito. Por ejemplo, contra el ataque Square en ResNet-18, el número promedio de consultas requeridas para un ataque exitoso aumentó de ~115 (sin defensa) a ~735 (RLS 0.5–10).

Significado y Reivindicaciones

El artículo afirma que RLS ofrece una solución única al compromiso entre robustez y rendimiento. Al desacoplar la defensa del proceso de entrenamiento y utilizar la aleatorización que preserva el ranking de clases, RLS permite el despliegue de defensas en tiempo de prueba sin:

Sacrificar la precisión del modelo en muestras benignas.
Incurrir en la sobrecarga computacional del entrenamiento adversario o de los métodos de ensamble.
Requerir cambios arquitectónicos complejos.

Los autores posicionan a RLS como particularmente adecuado para aplicaciones donde mantener la precisión de la predicción top-1 es primordial. Reconocen un compromiso: si bien RLS mejora la robustez, la distorsión de las puntuaciones de confianza puede requerir técnicas de calibración adicionales para aplicaciones que dependen fuertemente de estimaciones de probabilidad precisas (por ejemplo, diagnóstico médico o detección de fuera de distribución). El trabajo concluye que las defensas aleatorizadas como RLS proporcionan una barrera más resiliente contra atacantes adaptativos en comparación con los métodos deterministas como AAA.