Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

Imagina un mundo donde las computadoras tienen ojos superpotentes, entrenados con millones de fotos para entender qué es lo "normal". Estos detectives digitales se utilizan en todas partes, desde la detección de grietas diminutas en piezas de automóviles en una línea de producción hasta el hallazgo de tumores ocultos en escaneos médicos. Trabajan comparando una nueva imagen contra una biblioteca de ejemplos perfectos y normales. Si la nueva imagen se ve demasiado diferente, la computadora hace sonar la alarma. Pero aquí está el truco: estos ojos digitales pueden ser engañados. Al igual que un mago puede engañar a un observador humano con un juego de manos, un hacker astuto puede añadir "ruido" invisible —cambios diminutos, casi imperceptibles, que confunden a la computadora—. Para el ojo humano, la imagen se ve igual; para la computadora, se ve completamente normal cuando en realidad está rota, o rota cuando es perfecta. Esta es la aterradora realidad de los "ataques adversarios", y es un problema importante para los sistemas críticos de seguridad.

Ahora, imagina un nuevo tipo de detective que no necesita ser entrenado con miles de ejemplos. En su lugar, aprende de solo un puñado de fotos —tal vez solo una o cuatro—. Esto es "detección de pocos disparos" (few-shot detection), y es un cambio de juego porque es rápido, barato y flexible. El artículo que estás a punto de leer aborda una pregunta crucial y sin respuesta: si usamos estos detectives de pocos disparos que son superrápidos, ¿están seguros de los hackers? Los autores descubrieron que, sin protección, estos detectives eficientes son sorprendentemente frágiles. Un pequeño empujón invisible puede hacer que fallen por completo. Pero no te preocupes —no solo encontraron el problema; construyeron un escudo—. Crearon un sistema de defensa de dos partes que actúa como un par de gafas y un filtro mental, permitiendo que estos detectives de pocos disparos vean a través de los trucos y se mantengan fiables, todo sin necesidad de reentrenar sus cerebros.

El Problema: El Detective de "Un Solo Disparo" y el Truquero Invisible

En el mundo de la seguridad industrial, las empresas a menudo necesitan detectar defectos de inmediato. Esperar a reunir miles de fotos de cada posible defecto no es práctico. Por ello, los investigadores recurrieron a los "Modelos de Fundación de Visión" (Vision Foundation Models)—cerebros de IA masivos y preentrenados (como DINOv2) que ya conocen mucho sobre formas y texturas—. Estos modelos pueden emparejarse con un sistema simple de "k-vecinos más cercanos" (k-NN). Piensa en este sistema como un bibliotecario que tiene un estante de muestras de parches "perfectos". Cuando llega una nueva imagen, el bibliotecario la divide en pequeños cuadrados (parches) y pregunta: "¿A qué de mis muestras perfectas se parece más este cuadrado?". Si el nuevo cuadrado se ve muy diferente de todos los perfectos, se marca como una anomalía.

Esta configuración es brillante porque no requiere entrenamiento. No necesitas enseñarle nada nuevo al bibliotecario; solo le das algunas fotos de referencia. Sin embargo, los autores descubrieron una vulnerabilidad masiva. Debido a que la decisión del bibliotecario se basa en una fórmula matemática simple (distancia), un hacker puede calcular exactamente cómo retocar los píxeles de una imagen "perfecta" para que parezca "rota" ante el bibliotecario, o viceversa. Es como un falsificador que sabe exactamente cuánta tinta añadir a una firma para que parezca auténtica ante un juez específico, incluso si el juez es muy estricto.

El artículo confirma que estos sistemas eficientes de pocos disparos son increíblemente quebradizos. Cuando son atacados con un tipo específico de ruido digital (llamado PGD-20 con una fuerza de $\epsilon = 8/255$), la capacidad del sistema para distinguir entre imágenes normales y rotas colapsa. En un conjunto de pruebas estándar llamado MVTec-AD, la precisión del sistema cayó de un sólido 97.5% a un desastroso 25.8%. Las imágenes "buenas" de repente fueron etiquetadas como "malas", y las "malas" como "buenas". La computadora había sido completamente engañada.

La Solución: Un Escudo de Dos Capas

Los autores se dieron cuenta de que no podían simplemente reentrenar al bibliotecario (el modelo de fundación) porque el objetivo de este sistema es que sea congelado y esté listo para usar. Necesitaban una defensa que funcionara alrededor del bibliotecario. Construyeron un escudo de dos pasos: PatchShift y FeaturePurifier.

Paso 1: El truco de "Sacudir la Alfombra" (PatchShift)
Imagina que tienes una alfombra con un patrón específico, y alguien ha dibujado una línea perfecta e invisible sobre ella para engañarte. Si desplazas la alfombra un poco, esa línea ya no se alinea con el patrón de la manera en que el truquero pretendía. Los autores usaron esta idea. Toman la imagen y la desplazan ligeramente en diferentes direcciones (arriba, abajo, izquierda, derecha) antes de pasarla al detector. Hacen esto ocho veces, creando ocho "vistas" ligeramente diferentes de la misma imagen.

Debido a que el truco del hacker fue diseñado para una alineación específica, desplazar la imagen rompe el truco. Algunas vistas podrían seguir viéndose un poco extrañas, pero otras se verán normales. El sistema toma entonces la "mediana" (el valor central) de los ocho resultados. Esto es como pedirle a ocho personas que adivinen la respuesta; incluso si algunas están confundidas por el truco, la mayoría verá la verdad. Este simple paso de "sacudir" ayuda, pero no es suficiente para atrapar todos los trucos.

Paso 2: El "Filtro Mental" (FeaturePurifier)
Incluso después de desplazar la imagen, parte del ruido del hacker podría filtrarse en el "cerebro" de la computadora (el espacio de características). Para solucionar esto, los autores añadieron un "FeaturePurifier". Piensa en esto como un traductor especializado que se sitúa entre la imagen y el bibliotecario. Su trabajo es tomar la descripción "confusa" o "contaminada" de la imagen y traducirla de nuevo a una descripción "limpia".

Este traductor es una IA pequeña y ligera que aprende cómo limpiar el ruido. Se entrena utilizando las mismas pocas fotos de referencia que el sistema ya posee. Aprende a reconocer cómo se ve un parche "limpio" y cómo se ve un parche "contaminado", y luego aprende a empujar los contaminados de vuelta hacia los limpios. Es como un editor de fotos que elimina automáticamente los efectos de "glitch" añadidos por un hacker, restaurando la imagen a su estado real antes de que el bibliotecario siquiera la vea.

Los Resultados: Más Fuertes que Antes

Los autores probaron su nuevo escudo en tres conjuntos de datos industriales diferentes (MVTec-AD, VisA y MPDD) utilizando solo 4 fotos de referencia (una configuración de "4-shot"). Los resultados fueron impresionantes.

Sin ninguna defensa, el sistema hackeado era inútil. Pero con su escudo de dos capas (PatchShift + FeaturePurifier), el sistema se recuperó.

• Detección de Imágenes: En el conjunto de datos MVTec-AD, el sistema se recuperó de una tasa de éxito del 25.8% bajo ataque hasta alcanzar un 76.1% (AUROC a nivel de imagen).
• Precisión a Nivel de Píxel: El sistema experimentó un salto masivo de aproximadamente 51 puntos porcentuales en la precisión a nivel de píxel (PRO) en comparación con la línea base atacada sin defensa.
• Rendimiento "Limpio": Crucialmente, el escudo no dañó el sistema cuando no había hackers presentes. La precisión "limpia" se mantuvo casi exactamente igual, cayendo menos de un 3%. Esto significa que el sistema sigue siendo igual de bueno detectando defectos reales que antes, pero ahora también puede ignorar los falsos.
• Comparación: Su método funcionó tan bien o incluso mejor que sistemas mucho más pesados que requieren cantidades masivas de datos de entrenamiento y un entrenamiento adversarial complejo para ser robustos.

Por Qué Esto Importa

El artículo no pretende haber resuelto todos los problemas del universo, pero ha cerrado una brecha peligrosa. Demostró que el método popular y eficiente de usar modelos de IA congelados con solo unas pocas fotos es vulnerable a trucos invisibles. Más importante aún, demostró que no es necesario desechar esa eficiencia para obtener seguridad. Al utilizar una combinación inteligente de "sacudir" la imagen y "limpiar" la visión interna de la computadora, se pueden hacer que estos detectores rápidos y flexibles sean robustos contra los hackers.

Los autores utilizaron un tipo específico de ataque (caja blanca, donde el hacker conoce el sistema) para probar su defensa, y su método se mantuvo firme incluso cuando el hacker intentó adaptar sus trucos al nuevo escudo. Esto sugiere que la combinación "PatchShift + FeaturePurifier" es una solución sólida y práctica para mantener la honestidad de nuestros sistemas de IA industriales y médicos, incluso cuando alguien intenta engañarlos. Es un recordatorio de que, a veces, la mejor manera de proteger un sistema inteligente no es hacerlo más inteligente, sino darle mejores gafas y una mente más clara.