💻 computer science

A Survey of Adversarial Efficiency Degradation for Vision Transformer by Exploiting Input-adaptive Optimization

Este artículo analiza los ataques de degradación de la eficiencia adversarial contra los Vision Transformers que explotan mecanismos adaptativos de entrada, como la poda de tokens y la detención temprana, para aumentar los costos computacionales sin perjudicar significativamente la precisión, al tiempo que analiza métodos de ataque específicos, marcos vulnerables y posibles defensas ligeras.

Autores originales: Anadi Goyal, Nandish Chattopadhyay, Anupam Chattopadhyay, Chandan Karfa

Publicado 2026-08-07

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anadi Goyal, Nandish Chattopadhyay, Anupam Chattopadhyay, Chandan Karfa

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde el cerebro de tu teléfono inteligente, la inteligencia artificial que te ayuda a reconocer rostros o navegar por mapas, es un chef superrápido pero hambriento. Este chef no cocina cada plato exactamente de la misma manera; es lo suficientemente inteligente como para observar primero los ingredientes. Si le entregas un sándwich simple y plano, podría saltarse el picado elegante y simplemente servirlo rápidamente para ahorrar energía. Pero si le entregas una lasaña compleja y de múltiples capas, sabe que debe sacar todos los cuchillos y dedicar más tiempo a cocinar. Este "chef inteligente" es un Vision Transformer (ViT), un tipo de IA que observa imágenes. Para hacer que estos chefs sean más rápidos y menos hambrientos de la batería, los ingenieros inventaron un truco llamado "token pruning" (poda de tokens). Piensa en una imagen como un mosaico hecho de miles de pequeñas teselas (tokens). El sistema de poda decide qué teselas son aburridas e insignificantes, las desecha y solo cocina con las interesantes. Es como un bibliotecario que solo lee la primera página de un libro para decidir si el resto vale la pena leerlo.

Sin embargo, al igual que cualquier sistema inteligente, este truco de eficiencia tiene una debilidad secreta. ¿Qué pasaría si alguien pudiera engañar al bibliotecario para que piense que un libro aburrido es en realidad un misterio emocionante? ¿O qué pasaría si pudieran pegar una pequeña pegatina invisible en un sándwich plano que haga que el chef piense que es un festín complejo? Este es el patio de recreo de los "ataques adversarios". Normalmente, los hackers intentan engañar a la IA para que vea un gato como un perro. Pero en este rincón específico de la ciencia, ha surgido un nuevo tipo de bromista. En lugar de intentar cambiar qué ve la IA, están intentando romper cómo funciona la IA, obligándola a gastar toda su energía y tiempo en una tarea sencilla. Es como un bromista que no cambia el menú, sino que convence al chef de usar toda la cocina para una sola rebanada de pan tostado.

La misión del artículo: Encontrando a los "bromistas de la energía"

Este artículo, titulado "Adversarial Efficiency Degradation for Vision Transformer by Exploiting Input-adaptive Optimization", es un estudio —un informe grande y organizado— que investiga a estos nuevos "bromistas de la energía". Los autores, un equipo de investigadores de la India y Singapur, querían entender cómo los hackers están explotando los trucos del "chef inteligente" (como la poda de tokens) para hacer que los modelos de IA trabajen más de lo necesario, agotando las baterías y ralentizando las cosas sin necesariamente cambiar la respuesta final.

Los dos principales bromistas

El artículo se centra en dos formas específicas en las que funcionan estos ataques, comparándolos como dos tipos diferentes de travesuras:

La "Pegatina Universal" (SlowFormer): Imagina una pequeña y específica pegatina que puedes pegar en cualquier imagen del mundo. No importa si es una foto de un gato, un coche o un atardecer, si pegas este parche en la esquina, el sistema de "poda inteligente" de la IA se confunde. De repente, piensa: "¡Oh, no, esto parece súper complejo! ¡Mejor mantengo todas las teselas y hago el cálculo completo y pesado!". El artículo explica que esta pegatina es un "parche adversario universal". Se entrena una vez y luego funciona en todo. Es como una llave maestra que atasca el interruptor inteligente en todas las puertas de un edificio.
El "Ruido Personalizado" (DeSparsify): Este es un tipo de truco diferente. En lugar de una pegatina, este ataque añade un poco de ruido estático invisible a cada imagen específica. Es como susurrar un secreto al chef para cada pedido. "¡Oye, este sándwich en realidad necesita un picado extra!". El artículo señala que este método es muy preciso, adaptado a cada imagen para obligar a la IA a mantener más tokens de los que debería.

Los resultados: ¿Qué tan grave es el daño?

Los investigadores probaron estas bromas en tres sistemas de "poda inteligente" populares (llamados A-ViT, ATS y AdaViT) utilizando conjuntos de datos de imágenes estándar. Esto es lo que encontraron, manteniendo los números exactamente como los reportó el artículo:

El ataque de la "Pegatina" (SlowFormer): Cuando pegaron su parche universal en las imágenes, la eficiencia de la IA sufrió un golpe masivo. Por ejemplo, en el sistema A-ViT, la potencia de cómputo necesaria (medida en GFLOPs) saltó de un bajo 3.70 (cuando no hay ningún ataque ocurriendo) hasta 4.60. ¡Esa es la misma cantidad de potencia que la IA usaría si no fuera "inteligente" en absoluto! El ataque fue tan exitoso que logró una tasa de "Éxito de Ataque" del 100% en A-ViT, lo que significa que derrotó completamente el truco de eficiencia. Sin embargo, hubo un inconveniente: la precisión de la IA cayó significativamente (en un 76.5%), lo que significa que la IA se confundió mucho sobre lo que estaba mirando.
El ataque de "Ruido" (DeSparsify): Este método fue más sigiloso. Logró elevar el uso de potencia a 4.60 GFLOPs en A-ViT también, pero lo hizo mucho mejor ocultándose. La precisión solo cayó un 0.1%. La IA todavía sabía que estaba mirando un gato, pero estaba consumiendo su batería al hacerlo. En el sistema ATS, este ataque elevó la potencia a 4.20 GFLOPs con una tasa de éxito de ataque del 73.3%.

El artículo sugiere que, si bien la "pegatina" es poderosa, el ataque de "ruido" suele ser más peligroso en la vida real porque no rompe la capacidad de la IA para reconocer cosas, lo que lo hace más difícil de detectar.

Las contramedidas: ¿Podemos detenerlos?

Los autores también analizaron cómo defenderse de estas bromas. Encontraron que aún no existe un escudo perfecto, pero hay algunas ideas prometedoras:

Enseñar a la IA a esperar problemas (Entrenamiento Adversario): Para el ataque de la "pegatina", el artículo sugiere entrenar a la IA con un grupo de estas pegatinas malas. Es como practicar para una tormenta simulando una en una habitación segura. Cuando lo hicieron, la tasa de éxito del ataque para la pegatina en A-ViT cayó de un 100% a un 34%. La IA se volvió mucho más resistente, aunque no se volvió invencible.
El "Chequeo de Confianza" (Defensa basada en la Confianza): Para el ataque de "ruido", los investigadores sugirieron una regla donde la IA comprueba su propia confianza. Si piensa que una decisión es dudosa, se obliga a sí misma a mantener más tokens, pero si está muy segura, se ciñe al plan. Esto funcionó sorprendentemente bien. En el sistema ATS, esta defensa redujo la tasa de éxito del ataque de un 73.5% a solo un 5.3%.

Los límites y el futuro

El artículo es cuidadoso al señalar que estas defensas no son varitas mágicas. Sugieren que, si bien estos métodos reducen el daño, no restauran completamente la velocidad y la duración de la batería originales. Los autores también destacan grandes debilidades en los ataques actuales:

Necesitan conocimiento interno: La mayoría de estas bromas solo funcionan si el hacker sabe exactamente cómo está construido el sistema de "poda inteligente". Si el sistema es una "caja negra" (oculta a la vista), el ataque podría fallar.
No se transfieren bien: Una broma diseñada para un tipo de sistema de poda (como ATS) a menudo no funciona en otro (como A-ViT).
Solo funcionan en sistemas "inteligentes": Estos ataques no funcionan en sistemas de IA más antiguos o "torpes" que realizan la misma cantidad de trabajo sin importar la imagen.

En conclusión, este artículo traza un nuevo frente de riesgos de seguridad. Muestra que, a medida que hacemos que la IA sea más inteligente y eficiente al permitirle saltarse pasos, accidentalmente le damos a los hackers una nueva forma de engañarla para que corra en círculos. Los autores sugieren que, si bien podemos construir mejores vallas (defensas), necesitamos seguir estudiando a estos "bromistas de la energía" para asegurar que nuestra futura IA sea tanto inteligente como segura.

Resumen Técnico: Degradación de la Eficiencia Adversaria en Vision Transformers mediante la Explotación de la Optimización Adaptativa al Input

1. Planteamiento del Problema

Los Vision Transformers (ViTs) han alcanzado un éxito notable en la visión por computador, pero enfrentan desafíos significativos de eficiencia, particularmente en entornos con recursos limitados como dispositivos móviles y embebidos. Para mitigar el costo computacional cuadrático de la auto-atención, los investigadores han desarrollado técnicas de inferencia adaptativa al input, tales como la poda de tokens (eliminación dinámica de tokens no informativos) y el parada temprana (detener la inferencia para tokens específicos una vez que se alcanza un umbral de confianza). Los marcos de trabajo prominentes incluyen Adaptive Token Sampling (ATS), AdaViT y A-ViT.

Si bien estos métodos reducen el promedio de computación (FLOPs), energía y latencia, introducen una nueva vulnerabilidad de seguridad: la Degradación de la Eficiencia Adversaria. A diferencia de los ataques adversarios tradicionales que buscan la clasificación errónea de los inputs, estos ataques apuntan al proceso computacional mismo. Al explotar las señales diferenciables y dirigidas por el contenido que gobiernan las decisiones adaptativas (por ejemplo, mapas de atención, puntuaciones de parada), un adversario puede diseñar inputs que fuercen al modelo a retener más tokens o ejecutar capas más profundas de lo necesario. Esto resulta en un aumento agudo en los costos de tiempo de inferencia (latencia, energía, memoria) sin necesariamente degradar la precisión de la predicción del modelo, lo que potencialmente puede causar fallos del sistema en aplicaciones de tiempo real como el monitoreo de salud o drones autónomos.

2. Metodología y Mecanismos de Ataque

El artículo unifica y analiza dos clases representativas de ataques que apuntan a los marcos de poda de tokens (ATS, AdaViT, A-ViT):

A. DeSparsify (Perturbaciones por Imagen)

DeSparsify emplea perturbaciones $\ell_\infty$ a nivel de píxel diseñadas para imágenes específicas. Optimiza una perturbación $\delta$ para maximizar el costo computacional mientras preserva la etiqueta de clasificación original.

Mecanismo: Utiliza una función de pérdida compuesta que combina un término orientado al cómputo ( $L_{atk}$ ) y un término de preservación de la clasificación ( $L_{cls}$ ).
Apuntando a Marcos Específicos:
- A-ViT: El ataque minimiza las puntuaciones de parada acumuladas a través de las capas, evitando que los tokens alcancen el umbral de parada, forzando así una ejecución de profundidad completa.
- AdaViT: Empuja las redes de decisión (relajaciones Gumbel-Softmax) para activar todos los bloques, cabezales y parches, desactivando efectivamente las máscaras de dispersión.
- ATS: Aplana la distribución de la puntuación de importancia de los tokens (maximizando la entropía), dificultando que el mecanismo de muestreo distinga y pode los tokens.
Optimación: Utiliza el descenso de gradiente proyectado (PGD) para actualizar la perturbación.

B. SlowFormer (Parche Adversario Universal)

SlowFormer introduce un parche adversario universal —un parche de imagen de tamaño fijo y pequeño entrenado una sola vez en un conjunto de datos y aplicable a cualquier imagen de entrada sin optimización por muestra.

Mercanismo: El parche se optimiza mediante el ascenso de gradiente sobre una pérdida de maximización de cómputo específica para el método de poda objetivo, mientras que los pesos del backbone permanecen congelados.
Apuntando a Marcos Específicos:
- A-ViT: Niega los objetivos de entrenamiento (por ejemplo, minimizar la pérdida de ponderación) para retrasar la parada.
- AdaViT: Niega la pérdida de uso para aumentar la probabilidad de mantener activos los parches, cabezales y bloques.
- ATS: Uniformiza la distribución de atención del token de clase sobre los parches para maximizar el número de supervivientes únicos.
Practicidad: Se argumenta que este enfoque agnóstico al input es más práctico para ataques físicos del mundo real en comparación con las perturbaciones por imagen.

3. Contribuciones Clave

El artículo realiza las siguientes contribuciones al campo de la seguridad de los ViT:

Sistematización de Ataques de Eficiencia: Define y categoriza una nueva clase de ataques que apuntan a la eficiencia del sistema (cómputo/energía) en lugar de la precisión, centráéndose específicamente en la inferencia adaptativa al input.
Análisis Unificado: Proporciona un análisis comparativo de dos vectores de ataque distintos (SlowFormer y DeSparsify) a través de tres marcos principales de poda de tokens (A-ViT, ATS, AdaViT) utilizando métricas estandarizadas.
Métricas de Evaluación Estandarizadas: Los autores introducen la métrica de Éxito del Ataque (AS) para cuantificar la efectividad de un ataque. AS mide qué tanto de los ahorros de cómputo potenciales del modelo son negados por el ataque, calculado como:
$AS = \frac{F_{attack} - F_{min}}{F_{max} - F_{min}} \times 100\%$
Donde $F_{attack}$ son los GFLOPs bajo ataque, $F_{min}$ son los GFLOPs limpios (podados) y $F_{max}$ son los GFLOPs densos (no podados).
Evaluación de Defensa: El artículo evalúa estrategias de defensa existentes, incluyendo topes de retención de tokens basados en la confianza y el entrenamiento adversario con parches universales, cuantificando su capacidad para restaurar la eficiencia.

4. Resultados Experimentales

Los experimentos se realizaron en ImageNet y CIFAR-10 utilizando backbones ViT-Small y DeiT-Small.

Degradación de la Eficiencia: Ambos ataques lograron forzar a los modelos adaptativos a operar cerca de su línea base densa.
- A-ViT: DeSparsify aumentó los GFLOPs de 3.70 a 4.60 (100% AS), mientras que SlowFormer logró el mismo 100% AS.
- ATS: DeSparsify alcanzó un 73.3% AS (4.20 GFLOPs), mientras que SlowFormer alcanzó un 60.0% AS (4.00 GFLOPs).
- AdaViT: DeSparsify alcanzó un 43.4% AS (3.27 GFLOPs), y SlowFormer un 40.4% AS (3.20 GFLOPs).
Impacto en la Precisión: Los ataques fueron optimizados para preservar la precisión. DeSparsify generalmente mantuvo la pérdida de precisión por debajo del 1.2% en los marcos de trabajo. En contraste, SlowFormer causó caídas significativas de precisión en algunas configuraciones, como una pérdida del 76.5% en A-ViT, aunque esto se señaló como un efecto secundario y no como el objetivo principal del ataque.
Impacto en el Hardware: El artículo señala que DeSparsify puede aumentar el uso de memoria en un ~37% y el consumo de energía en un ~72% en relación con los inputs limpios.
Efectividad de la Defensa:
- Defensa basada en Confianza (DeSparsify): Redujo significativamente el Éxito del Ataque (por ejemplo, el AS de A-ViT cayó de 100% a 36.9%; de ATS de 73.5% a 5.3%).
- Entrenamiento Adversario (SlowFormer): Redujo el AS de A-ViT de 100% a 34% y bajó los GFLOPs más cerca del punto de operación limpio.

5. Significado y Reivindicaciones

El artículo sostiene que comprender estos ataques es crucial para diseñar contramedidas que sigan siendo ligeras, ya que los ViT suelen desplegarse en entornos de baja potencia. La importancia radica en:

Revelar una Nueva Superficie de Ataque: Demostrar que las optimizaciones adaptativas al input, destinadas a ahorrar recursos, crean inherentemente un camino de cómputo "dirigible" que puede ser manipulado desde el espacio de los píxeles para maximizar el consumo de recursos.
Resaltar el Compromiso (Trade-off): Mostrar que, si bien existen defensas (por ejemplo, limitar los conteos de tokens, entrenamiento adversario), estas a menudo solo restauran parcialmente la eficiencia e introducen sus propios costos de overhead o compromisos de precisión.
Identificar Limitaciones: Los autores señalan modestamente que los ataques actuales sufren de una transferencia limitada entre diferentes marcos de poda, una dependencia del conocimiento de caja blanca de los mecanismos internos y una aplicabilidad estrecha a métodos adaptativos (ineficaces contra la poda estática).
Direcciones Futuras: El artículo concluye haciendo un llamado a defensas que proporcionen límites certificados de "robustez de eficiencia" y ataques que puedan transferirse entre diferentes optimizaciones de inferencia y escenarios físicos.

En resumen, el artículo establece que las ganancias de eficiencia de los Vision Transformers son frágiles frente a adversarios que pueden manipular la lógica de inferencia dinámica, lo que requiere un nuevo enfoque en la "robustez de la eficiencia" junto con la tradicional robustez de la precisión.