MOAT: Model-Agnostic Randomized Transformations for preventing Efficiency Degradation Attacks on ViTs

Imagina un mundo donde las computadoras han aprendido a "ver" tal como nosotros, detectando gatos en fotos o leyendo señales de tráfico. Durante mucho tiempo, la mejor manera de hacer esto era con un tipo de cerebro llamado Red Neuronal Convolucional (CNN). Pero recientemente, un nuevo y superpotente cerebro llamado Vision Transformer (ViT) ha tomado el control. Es increíblemente inteligente, pero tiene una debilidad secreta: es un poco glotón. Intenta mirar cada pequeña pieza de una imagen a la vez, lo que consume una cantidad masiva de batería y potencia de cómputo. Para solucionar esto, los ingenieros inventaron un truco ingenioso llamado Poda de Tokens (Token Pruning). Piensa en ello como un portero en un club: en lugar de dejar que cada píxel (los "tokens") entre a la zona VIP, el portero revisa su identificación y solo deja entrar a los más importantes, expulsando a los aburridos para ahorrar energía.

Sin embargo, al igual que cualquier sistema de seguridad, este portero puede ser engañado. Un hacker astuto puede añadir "ruido" invisible a una imagen —como unos pocos granos de arena digital— que parece perfectamente normal para nuestros ojos pero confunde al portero. En lugar de expulsar los tokens aburridos, el portero confundido piensa que todo es importante y deja entrar a todo el mundo. De repente, la computadora vuelve a comerse toda su batería y ralentiza el proceso, aunque la imagen no haya cambiado mucho. Esto se llama un Ataque de Degradación de Eficiencia (Efficiency Degradation Attack). No intenta que la computadora vea un perro en lugar de un gato; solo intenta hacer que la computadora trabaje lo más duro posible, agotando la batería de teléfonos, drones o cámaras de vigilancia.

La solución "MOAT": Un foso digital contra porteros ineficientes

En este artículo, los investigadores presentan una nueva defensa llamada MOAT (Transformaciones Aleatorizadas Agnósticas al Modelo). Puedes pensar en MOAT como un foso mágico y cambiante que rodea el sistema de visión de la computadora. En lugar de intentar parchar al portero o enseñar a la computadora a ser más dura (lo cual es difícil y costoso), MOAT simplemente lava la imagen "sucia" antes de que llegue al portero.

Así es como funciona, paso a paso, usando una analogía lúdica:

1. El Encogimiento y Estiramiento Aleatorio: Imagina que el hacker ha dibujado un mapa perfecto e invisible sobre la imagen para confundir al portero. MOAT primero agarra la imagen, la encoge o la estira aleatoriamente, y luego la recorta para que vuelva a su tamaño original. Es como tomar un mapa, arrugarlo y luego volverlo a aplanar. El mapa perfecto del hacker ahora está todo arrugado y es inútico. Debido a que el tamaño cambia aleatoriamente cada vez, el hacker no puede predecir exactamente cómo dibujar su truco.
2. El Filtro de Mediana (La Esponja de Suavizado): A continuación, MOAT pasa la imagen a través de una "esponja de suavizado". Si el hacker intentó esconder su truco en una mota de ruido diminuta y aguda, esta esponja la limpia, reemplazándola con el color promedio de sus vecinos. Es como suavizar un camino con baches para que un coche pueda circular sin quedarse atascado, pero manteniendo intactas las grandes colinas y valles (las partes importantes de la imagen).
3. La Compresión JPEG (El Rayo Encogedor Digital): Finalmente, MOAT comprime la imagen en un formato comprimido (como un JPEG). Este proceso desecha los detalles diminutos de alta frecuencia que a menudo esconden el ruido del hacker. Es como tomar un dibujo detallado y fotocopiarlo varias veces; las líneas finas y complicadas se vuelven borrosas y desaparecen, mientras que la imagen principal permanece clara.

Lo que encontraron

Los investigadores probaron este flujo de trabajo "MOAT" en dos modelos populares de Vision Transformer (DeiT-Tiny y DeiT-Small) utilizando un ataque de hacker específico llamado DeSparsify.

• El Problema: Sin ninguna defensa, el ataque del hacker fue muy exitoso. En el modelo DeiT-Small, el ataque obligó a la computadora a mantener casi todos los tokens, elevando el costo energético (medido en GFLOPs) de unos magros 3.12 hasta 3.98. Esto significó que la computadora perdió aproximadamente el 31% de sus ahorros de eficiencia, reduciendo sus "ahorros" a solo un 12.4%. El ataque fue tan bueno que tuvo éxito el 60.6% de las veces (medido por una métrica llamada Tasa de Éxito del Ataque, o ASR).
• La Solución: Cuando añadieron la defensa MOAT, la magia del hacker se rompió. La computadora volvió a ser eficiente. El costo energético cayó de nuevo a 3.26, y los ahorros de eficiencia se restauraron al 28.2%. La tasa de éxito del ataque se desplomó a solo un 7.5%.
• Lo Mejor: El hallazgo más emocionante es que MOAT no necesitó cambiar el cerebro de la computadora en absoluto. No requirió reentrenar el modelo ni cambiar las reglas del portero. Simplemente se sentó al frente, realizando sus tres trucos simples. Es más, fue increíblemente ligero. Mientras que otras defensas (como un modelo de difusión complejo) añadían cientos de veces más trabajo para la computadora, MOAT solo añadió aproximadamente un 0.15% a un 0.57% de trabajo extra. Es un precio minúsculo a pagar para detener un drenaje gigante de batería.

Por qué esto importa

El artículo sugiere que este enfoque es un cambio de juego porque es "agnóstico al modelo", lo que significa que funciona en cualquier Vision Transformer sin necesidad de ser personalizado para cada uno. Los investigadores descubrieron que usar los tres pasos juntos (redimensionamiento, filtrado y compresión) era mucho mejor que usar solo uno. También probaron diferentes configuraciones y encontraron una versión "equilibrada" que mantenía a la computadora inteligente (alta precisión) mientras seguía bloqueando a los hackers.

Sin embargo, los autores advierten cuidadosamente que esto no es un escudo mágico que detendrá todo para siempre. Admiten que si un hacker sabe exactamente cómo funciona la defensa, podría intentar construir un ataque más inteligente. Pero debido a que MOAT utiliza cambios aleatorios y pasos que son difíciles de calcular (no diferenciables), hace que sea muy difícil y costoso para los hackers descubrir cómo romperlo.

En resumen, MOAT es un escudo inteligente y ligero que lava los trucos invisibles que los hackers usan para hacer que nuestras cámaras inteligentes y teléfonos trabajen demasiado, manteniéndolos rápidos y amigables con la batería sin necesidad de una revisión completa de la tecnología.