💻 computer science

ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models

ReACT-CLIP es una defensa de tiempo de prueba y sin entrenamiento para modelos de tipo CLIP que adapta dinámicamente la fuerza de corrección y determina la necesidad de intervención para cada entrada aprovechando la deriva de características de ruido cruzado relativo y la inestabilidad de la predicción, mejorando así significativamente la robustez adversarial ante diversos ataques mientras preserva la precisión en datos limpios.

Autores originales: Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo ven imágenes, sino que las entienden al hablar de ellas. Esta es la magia de los Modelos de Visión-Lenguaje, como el famoso "CLIP". Piensa en CLIP como un bibliotecario superinteligente que ha leído todos los libros y visto todas las fotos del universo. Si le muestras una foto de un golden retriever, no solo reconoce al perro; instantáneamente vincula la imagen con las palabras "golden retriever" en su vasta biblioteca mental. Esta capacidad de conectar imágenes y texto sin necesidad de ser reentrenado para cada nuevo trabajo ha convertido a estos modelos en la columna vertebral de la IA moderna, impulsando desde motores de búsqueda hasta coches autónomos.

Sin embargo, hay un inconveniente. Estos superbibliotecarios son sorprendentemente frágiles. Un atacante astuto puede añadir una capa de "ruido" diminuta y casi invisible a una imagen —como unos pocos píxeles de estática en una televisión— que confunde completamente al bibliotecario. De repente, el bibliotecario mira la foto de un perro y dice con total seguridad: "¡Eso es una tostadora!". Esto se llama un "ataque adversarial". Es un gran problema porque si la IA puede ser engañada tan fácilmente, no podemos confiar en ella para tomar decisiones importantes. Los científicos han estado intentando construir escudos para proteger estos modelos, pero la mayoría de sus soluciones actuales son como usar una armadura pesada de talla única. Es genial contra un lanzaplantas, pero si el atacante usa un cañón, la armadura es demasiado débil. Si el atacante solo usa un lanzaplantas, la armadura es tan pesada que ralentiza al bibliotecario, haciendo que pierda tareas sencillas.

Aquí es donde entra en juego un nuevo método llamado ReACT-CLIP, que ofrece una solución ingeniosa y ligera. En lugar de vestir una armadura fija, ReACT-CLIP actúa como un guardaespaldas altamente sensible que comprueba el nivel de amenaza antes de decidir cómo reaccionar. Los investigadores descubrieron que las defensas existentes fallan porque utilizan una "fuerza de corrección fija". Intentan arreglar cada problema con la misma cantidad de fuerza, lo que conduce a dos resultados negativos: o no corrigen lo suficiente los ataques fuertes, o sobrecorrigen los ataques débiles y arruinan la respuesta de las imágenes limpias.

ReACT-CLIP cambia las reglas del juego al ser "consciente de la respuesta". No adivina la fuerza del ataque; se lo pregunta al propio modelo. Así es como funciona: cuando llega una imagen, el sistema le da dos suaves "toques" con diferentes cantidades de ruido digital. Observa cuánto "deriva" o tambalea la comprensión del modelo de la imagen bajo estos toques.

Si la imagen está limpia (un perro real), se mantiene estable incluso cuando se le toca.
Si es un ataque débil, tambalea un poco más.
Si es un ataque fuerte, tambalea salvajemente.

Al medir la diferencia en cuánto tambalea la imagen entre un toque ligero y uno pesado, ReACT-CLIP obtiene una lectura precisa, muestra por muestra, de cuánta ayuda necesita la imagen. Luego construye un "ancla" personalizada (una versión estable de la imagen) y tira de la imagen confundida hacia la verdad con la fuerza justa. Si la imagen ya está bien, el sistema no la toca. Si está bajo fuego pesado, el sistema tira con fuerza.

El artículo demuestra que este enfoque es increíblemente efectivo. A través de 12 conjuntos de datos diferentes y bajo varios tipos de ataques (desde pequeños empujones hasta distorsiones masivas), ReACT-CLIP mantiene la precisión de la IA alta, manteniendo a menudo alrededor del 60% de éxito incluso cuando los ataques son muy fuertes. En contraste, otras defensas que utilizan una estrategia fija ven cómo su precisión cae en picado a medida que los ataques se fortalecen. Los investigadores también descubrieron que simplemente comprobar si el modelo está "confundido" no es suficiente; tuvieron que combinar la medición del "tambaleo" con una comprobación de la estabilidad de las predicciones del modelo ante cambios ligeros en la imagen. Esta combinación permite al sistema evitar corregir imágenes que no necesitan ser corregidas, preservando la inteligencia natural del modelo.

En resumen, ReACT-CLIP demuestra que no necesitas entrenar un nuevo modelo ni saber exactamente cómo planea atacar un atacante para defenderte de ellos. Simplemente escuchando cómo reacciona el modelo a un poco de ruido, el sistema puede ajustar automáticamente su defensa, actuando como un escudo inteligente y adaptable que es lo suficientemente fuerte para detener un cañón pero lo suficientemente suave como para no dañar a un lanzaplantas. Esto hace que la IA sea más segura y fiable sin sacrificar su velocidad o precisión.

Resumen Técnico: ReACT-CLIP

Declaración del Problema

Los modelos de visión-lenguaje (VLMs) como CLIP dependen de codificadores visuales congelados para diversas tareas de aplicación, lo que crea un punto de falla concentrado contra ataques adversarios. Aunque el entrenamiento adversario y el ajuste de prompts ofrecen robustez, a menudo requieren reentrenamiento, corren el riesgo de sobreajustarse a distribuciones de ataque específicas y sacrifican la precisión en datos limpios en favor de la robustez. En consecuencia, han surgido las defensas de tiempo de prueba (test-time) libres de entrenamiento como una alternativa práctica.

Sin embargo, las defensas de tiempo de prueba existentes sufren una limitación fundamental: emplean estrategias de intervención fijas. Ya sea mediante actualizaciones de prompts fijos, presupuestos de contraataque fijos o escalas de corrección de características fijas (por ejemplo, una escala de ruido gaussiano global para la construcción de anclas), estos métodos no pueden adaptarse a la severidad variable de los ataques durante la inferencia. El presupuesto de ataque ( $\epsilon$ ) es desconocido durante el despliegue, y la fuerza de corrección requerida varía significativamente entre muestras, incluso dentro de un mismo presupuesto nominal. Como demuestra el artículo, las configuraciones fijas que funcionan para ataques débiles suelen "quedarse cortas" ante ataques fuertes, mientras que aquellas ajustadas para ataques fuertes "se pasan" y degradan el rendimiento en entradas limpias o débilmente perturbadas. Este desajuste causa que las defensas existentes se degraden bruscamente a medida que aumenta la fuerza del ataque.

Metodología: ReACT-CLIP

ReACT-CLIP (Corrección Consciente de la Respuesta en Tiempo de Prueba para CLIP) aborda esto reformulando la defensa de tiempo de prueba como un proceso de decisión específico para cada muestra. En lugar de aplicar una corrección global fija, ReACT-CLIP determina dos propiedades distintas para cada entrada:

Si es necesaria una intervención defensiva.
Qué tan fuerte debe ser la corrección de la entrada.

El método opera sin modificar el modelo preentrenado ni requerir el entrenamiento de prompts. Se basa en dos mecanismos centrales:

1. Construcción de Anclas Condicionada por la Respuesta (Determinación de la Fuerza de Corrección)

Para estimar la fuerza de corrección requerida, ReACT-CLIP sondea la entrada con dos niveles de ruido gaussiano ( $\sigma_{low}$ y $\sigma_{high}$ ) y mide la deriva resultante en el espacio de características visuales.

Observación: Si bien la deriva absoluta en un solo nivel de ruido es ambigua (las características adversarias pueden parecer engañosamente estables bajo un ruido débil), la deriva relativa entre ruidos ( $r(x)$ ) proporciona una señal clara y graduada. Se define como el aumento relativo de la deriva del ruido bajo al alto:
$r(x) = \frac{d_{high}(x) - d_{low}(x)}{d_{low}(x)}$
Mecanismo: Esta deriva relativa sirve como un proxy específico de la muestra para la demanda de corrección. ReACT-CLIP mapea $r(x)$ a una escala de corrección específica de la muestra $\sigma_{corr}(x)$ mediante un mapeo lineal calibrado una sola vez en un único conjunto de datos (Caltech256).
Aplicación: Esta escala se utiliza para construir un ancla de característica promediada por ruido ( $f_{anc}$ ) a partir de vistas con ruido gaussiano. La característica visual original se extrapola entonces hacia y más allá de este ancla. Un $r(x)$ pequeño produce una escala de ruido pequeña y una corrección leve; un $r(x)$ grande produce una escala mayor y un mayor alcance correctivo.

2. Intervención Defensiva Selectiva (Determinación de la Necesidad)

Aplicar la corrección de forma incondicional puede dañar las entradas limpias que ya están clasificadas correctamente. Para decidir si intervenir, ReACT-CLIP combina la deriva relativa con una puntuación de inestabilidad de predicción.

Observación: Las entradas limpias mantienen distribuciones de probabilidad de clase estables bajo aumentos espaciales débiles, mientras que las entradas adversarias exhiben una mayor variación.
Mecanismo: Se calcula una puntuación de inestabilidad de predicción $J(x)$ utilizando la divergencia de Jensen–Shannon entre la predicción original y la predicción bajo un aumento estocástico débil $T(x)$ .
Decisión: La puntuación de intervención defensiva final es $s_{int}(x) = r(x) + J(x)$ . Si $s_{int}(x)$ supera un umbral $\tau$ , se aplica la corrección; de lo contrario, se conserva la característica original. Esto permite al sistema distinguir entradas limpias de entradas débilmente atacadas, un régimen donde la deriva relativa por sí sola suele ser ambigua.

Contribuciones Clave

Construcción de Anclas Condicionada por la Respuesta: El artículo identifica que las fuerzas de corrección globales y fijas son subóptimas. Introduce un método para convertir la deriva relativa entre ruidos en una escala de corrección específica de la muestra, permitiendo que el alcance defensivo se adapte tanto al presupuesto de ataque como a las características individuales de la muestra sin reentrenamiento.
Intervención Defensiva Selectiva: Los autores proponen una puntuación de intervención fusionada que combina la deriva relativa y la inestabilidad de la predicción. Esto mejora la detección de entradas adversarias en el régimen de ataque débil mientras preserva la precisión de los datos limpios, abordando la ambigüedad que plaga a los detectores basados solo en la deriva.
Evaluación Exhaustiva de Robustez: El método es evaluado en 12 conjuntos de datos de aplicación, ImageNet y sus variantes de cambio de distribución bajo PGD-10, PGD-100, C&W-10 y AutoAttack.

Resultados

Ganancias de Robustez: A través de 12 conjuntos de datos de aplicación bajo ataques PGD-10, ReACT-CLIP mantiene aproximadamente un 60% de precisión robusta en presupuestos de ataque desde $\epsilon=1/255$ hasta $\epsilon=16/255$ .
Comparación con Baselines: Supera al baseline existente más fuerte (Defend-CLIP) por hasta 46.50 puntos porcentuales en $\epsilon=16/255$ . Mientras que las defensas existentes se degradan bruscamente a medida que los ataques se fortalecen, ReACT-CLIP mantiene un rendimiento estable.
Precisión en Datos Limpios: El método preserva la precisión en datos limpios, manteniéndose dentro de un 0.76% del defensa más fuerte en entradas limpias.
Generalización: El mapeo lineal para la fuerza de corrección, calibrado en un solo conjunto de datos, se generaliza eficazmente a ImageNet y sus variantes fuera de la distribución (ImageNet-A, V2, R, Sketch) y se extrapola a presupuestos de ataque ( $\epsilon=24, 32$ ) más allá del rango de calibración, donde otras defensas colapsan.
Ablación: Los resultados confirman que la construcción de anclas condicionada por la respuesta impulsa la robustez en presupuestos de ataque moderados a fuertes, mientras que la puntuación de intervención selectiva protege principalmente la precisión de los datos limpios y mejora el rendimiento en el régimen de ataque débil.

Significado y Reivindicaciones

El artículo afirma que ReACT-CLIP establece un nuevo paradigma para la defensa de tiempo de prueba libre de entrenamiento al pasar de intervenciones globales y fijas a decisiones por entrada condicionadas por la respuesta. Al aprovechar la dinámica relativa de la deriva de características inducida por el ruido y la estabilidad de la predicción, el método se adapta a presupuestos de ataque desconocidos y a la severidad variable de las muestras sin requerir el conocimiento de los parámetros del ataque durante la inferencia.

Los autores enfatizan que este enfoque permite que una configuración única y fija permanezca efectiva a través de un amplio espectro de presupuestos de perturbación, desde ataques muy débiles hasta muy fuertes, preservando en gran medida las capacidades de cero disparos (zero-shot) del modelo CLIP preentrenado. El trabajo destaca que el "desajuste" entre las configuraciones de defensa fijas y los ataques de fuerza variable es una causa principal de falla en las defensas actuales de tiempo de prueba, y que el condicionamiento consciente de la respuesta es un paso necesario hacia los VLMs robustos y desplegables.