💻 computer science

Towards Fine-Grained Robustness: Attention-Guided Test-Time Prompt Tuning for Vision-Language Models

El artículo propone Ajuste de Prompts en Tiempo de Prueba Guiado por Atención (A-TPT), un método novedoso que aprovecha un despliegue de atención de gradiente refinado para identificar regiones semánticamente significativas bajo ataques adversarios, guiando así aumentaciones que varían espacialmente y conjuntos de múltiples vistas para mejorar la robustez de los Modelos Visuales-Lingüísticos en escenarios de granularidad fina.

Autores originales: Jia-Wei Hai, Yijun Wang, Xiu-Shen Wei

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jia-Wei Hai, Yijun Wang, Xiu-Shen Wei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un crítico de arte superinteligente (un Modelo Visión-Lenguaje como CLIP) que puede mirar una imagen y decirte instantáneamente qué es, incluso si nunca ha visto ese tipo específico de imagen antes. Por ejemplo, puede mirar una foto de un ave rara y decir: "Eso es un Águila Real", simplemente leyendo un libro sobre aves.

Sin embargo, este crítico tiene una debilidad: si alguien esconde una pequeña mancha casi invisible en la foto (un "ataque adversarial"), el crítico se confunde y podría pensar repentinamente que el águila es una tostadora.

Este artículo introduce un nuevo método llamado A-TPT (Ajuste de Prompts en Tiempo de Prueba Guiado por Atención) para ayudar al crítico a mantenerse calmado y preciso, incluso cuando alguien intenta engañarlo con manchas. Así es como funciona, desglosado en pasos simples:

1. El Problema: La Confusión de la "Mancha"

Cuando el crítico mira una foto, generalmente se enfoca en las partes más importantes (la cabeza del ave, las alas) para tomar una decisión. Pero cuando se añade una "mancha", el enfoque interno del crítico se desordena. Podría empezar a mirar el fondo o el ruido aleatorio en lugar del ave.

Los métodos existentes intentan solucionar esto mostrando al crítico muchas versiones diferentes de la foto (algunas volteadas, algunas recortadas, algunas con ruido). Esperan que, al promediar todas estas conjeturas, la respuesta correcta aparezca.

El Defecto: Estos métodos antiguos son como una persona vendada tratando de encontrar una aguja en un pajar lanzando puñados aleatorios de paja. A veces, tiran accidentalmente la aguja (la parte importante de la imagen) mientras intentan deshacerse del paja (el ruido). Esto es especialmente malo para tareas "de alta granularidad", como distinguir entre dos tipos de aves muy similares.

2. La Solución: La Estrategia de Tres Pasos de A-TPT

Los autores proponen una forma más inteligente de manejar las manchas. Tratan la imagen como un mapa y usan una "linterna" especial para encontrar los puntos importantes.

Paso A: Reparar la Linterna (Refinamiento de la Atención)

Primero, se dieron cuenta de que la "linterna" interna del crítico (llamada Atención de Gradiente) se rompe fácilmente cuando hay manchas. Comienza a brillar en puntos aleatorios.

La Reparación: Ajustaron la batería de la linterna (las matemáticas detrás de ella) para que se vuelva "a prueba de manchas". Ahora, incluso si la foto es atacada, la linterna sigue brillando con fuerza y estabilidad sobre la cabeza del ave, ignorando el ruido. Esto es su Refinamiento de la Atención.

Paso B: Proteger las Partes Importantes (Aumento Guiado)

A continuación, usan esta linterna reparada para crear nuevas versiones de la foto.

La Analogía: Imagina que estás haciendo un collage del ave. Con los métodos antiguos, podrías cortar por error la cabeza del ave porque estabas cortando al azar.
La Forma de A-TPT: Observan dónde brilla la linterna. Si la luz está sobre la cabeza del ave, dicen: "¡No toques esta parte!". Mantienen la cabeza perfectamente clara. Si la luz está sobre el fondo, dicen: "¡Adelante, mezcla eso!". Esto crea muchas vistas diferentes de la foto donde las partes importantes siempre están seguras, pero las partes poco importantes varían. Esto es Aumento Multi-Vista Guiado por Atención.

Paso C: El Jurado Inteligente (Ensemble Basado en TV)

Finalmente, el crítico mira todas estas nuevas versiones de la foto y hace una conjetura para cada una. Pero no todas las conjeturas son iguales. Algunas versiones podrían seguir pareciendo extrañas o tener demasiado ruido de fondo.

La Analogía: Imagina un jurado de 100 personas votando sobre qué ave es. Algunos jurados están distraídos mirando la pared; otros están mirando claramente al ave.
La Forma de A-TPT: Verifican la "suavidad" del haz de la linterna para cada versión. Si el haz está disperso y saltando (como una luz parpadeante), esa versión se ignora. Si el haz es suave y se enfoca en el ave, esa versión recibe un voto pesado. Esto es el Ensemble Basado en TV. Solo escucha a los "jurados confiables".

3. Los Resultados

Los autores probaron esto en muchos conjuntos de datos diferentes, incluyendo fotos de mascotas, coches, flores y aeronaves.

En Fotos Limpias: A-TPT ayudó al modelo a mejorar aún más en la identificación de cosas, incluso sin ninguna mancha.
En Fotos Atacadas: Cuando las fotos fueron atacadas con manchas, A-TPT mantuvo la precisión del modelo mucho más alta que cualquier otro método. Fue especialmente bueno para distinguir entre cosas muy similares (tareas de alta granularidad).

Resumen

En resumen, A-TPT es como darle al crítico de arte un par de gafas inteligentes. Estas gafas:

Reenfocan los ojos del crítico para que no se distraigan con el ruido.
Protegen los detalles importantes mientras mezclan el fondo.
Filtran las malas conjeturas y solo cuentan aquellas donde el crítico está mirando claramente.

Esto permite que el modelo se mantenga robusto y preciso, incluso cuando alguien intenta engañarlo con ataques diminutos e invisibles.

Resumen Técnico: Ajuste de Prompts en Tiempo de Ejecución Guiado por Atención para Modelos Visuales-Lingüísticos

Enunciado del Problema

Los Modelos Visuales-Lingüísticos (VLM), como CLIP, han demostrado un rendimiento notable en cero disparos (zero-shot) en diversas tareas posteriores. Sin embargo, muestran una vulnerabilidad significativa ante perturbaciones adversarias, donde incluso ataques sutiles pueden degradar drásticamente las capacidades de inferencia y desplazar las etiquetas verdaderas fuera de las predicciones top- $K$ . Si bien los métodos de adaptación en tiempo de entrenamiento (por ejemplo, VPT, FAP) ofrecen defensas, incurren en altos costos computacionales y requieren grandes cantidades de datos adversarios etiquetados, lo que limita su practicidad.

Los métodos existentes de adaptación en tiempo de ejecución (TTA), que suelen depender de la augmentación multi-vista y la minimización de la entropía, tienen dificultades en escenarios de granularidad fina. Estos métodos emplean a menudo la edición aleatoria de regiones o la augmentación en el espacio de características, lo que puede destruir inadvertidamente regiones semánticas discriminativas esenciales para el reconocimiento de granularidad fina. Además, las técnicas de augmentación que preservan la semántica suelen depender del aprendizaje en el espacio de características o de señales auto-supervisadas (como los logits originales) que pierden su capacidad de preservación de etiquetas bajo ataques adversarios, ya que el propio espacio de características se distorsiona más allá del límite de decisión original.

El desafío central abordado es: ¿Podemos diseñar un método de adaptación en tiempo de ejecución que identifique y preserve la información semántica discriminativa sin aprender en el espacio de características, incluso bajo ataques adversarios?

Metodología: A-TPT

Los autores proponen el Ajuste de Prompts en Tiempo de Ejecución Guiado por Atención (A-TPT), un marco diseñado para guiar la adaptación en tiempo de ejecución utilizando la atención visual robusta como un ancla semántica. El método opera sin priores o modelos adicionales de entrenamiento y consta de tres componentes principales:

Refinamiento de Atención por Gradiente (GAR):
Se demuestra que el Despliegue de Atención por Gradiente (GAR) estándar es sensible a las perturbaciones adversarias, produciendo mapas de atención dispersos e poco fiables. A-TPT refina este mecanismo sustituyendo la señal de gradiente basada en atención por una señal de gradiente basada en tokens.
- En lugar de ponderar directamente las matrices de atención con los gradientes del mapa de atención, A-TPT calcula un vector de ponderación basado en el producto interno de las incrustaciones de tokens y sus gradientes con respecto al logit objetivo.
- Este enfoque desacopla la ponderación de la sensibilidad de segundo orden del gradiente de atención, resultando en mapas de atención más suaves y fiables que destacan regiones discriminativas incluso bajo ataque.
- Para suprimir aún más el ruido, el método promedia las matrices de transición de los dos últimos bloques del transformador.
Augmentación Multi-Vista Guiada por Atención:
Utilizando el mapa de atención refinado como ancla semántica, A-TPT genera vistas diversas mientras preserva las partes semánticas críticas.
- El mapa de atención espacial se utiliza para dividir la imagen en regiones de alta atención y de baja atención.
- Las regiones de alta atención (que contienen partes discriminativas) se protegen con una intensidad de augmentación baja para evitar su corrupción.
- Las regiones de baja atención (a menudo fondo o detalles irrelevantes) se someten a una mayor intensidad de augmentación (por ejemplo, mediante AugMix) para generar diversidad.
- Esta augmentación que varía espacialmente asegura que las vistas generadas mantengan la integridad de las partes semánticas necesarias para la clasificación.
Ensemble Basado en TV:
Para seleccionar las vistas más fiables para la inferencia final, A-TPT emplea una estrategia de ponderación basada en la Variación Total (TV).
- El método calcula la Variación Total anisotrópica del mapa de atención para cada vista aumentada. Una TV alta indica distribuciones de atención fragmentadas o con picos, a menudo asociadas con características corruptas o fondos irrelevantes.
- Las vistas con TV más baja (atención más suave y continua) reciben pesos más altos, mientras que aquellas con TV alta se ponderan hacia abajo.
- La predicción final es un ensemble ponderado de las vistas de baja entropía, priorizando aquellas con distribuciones de atención semánticamente fiables.

Contribuciones Clave

Señal de Gradiente Robusta: El artículo refina el mecanismo de Despliegue de Atención por Gradiente introduciendo una señal de gradiente basada en tokens. Esta modificación simple identifica eficazmente la información semántica no perturbada bajo ataques adversarios, superando la sensibilidad de los mapas de atención estándar.
Primera TTA Guiada por Semántica para Robustez de Granularidad Fina: Se propone A-TPT como el primer método de adaptación en tiempo de ejecución que explota explícitamente regiones semánticas discriminativas para guiar el proceso de adaptación, abordando específicamente los desafíos del reconocimiento de granularidad fina donde preservar detalles pequeños y críticos es crucial.
Rendimiento Exhaustivo: Experimentos extensos demuestran que A-TPT no solo preserva las regiones discriminativas, sino que supera sustancialmente a los métodos de adaptación en tiempo de ejecución más avanzados (SOTA) tanto en distribuciones de datos limpios como adversarios.

Resultados Experimentales

Los autores evaluaron A-TPT en nueve conjuntos de datos, incluyendo ImageNet estándar y ocho benchmarks de granularidad fina (por ejemplo, OxfordPets, FGVC-Aircraft, StanfordCars).

Robustez Adversaria: En tareas de granularidad fina utilizando ViT-B/16, A-TPT alcanzó una precisión adversaria promedio del 45,7%, superando significativamente a métodos SOTA como R-TPT (40,7%) y MTA (39,9%). En ImageNet, alcanzó una precisión adversaria del 48,2% en comparación con el rendimiento cercano a cero de CLIP bajo ataque.
Precisión en Datos Limpios: A-TPT también mejoró la precisión en datos limpios, alcanzando un 63,0% en tareas de granularidad fina con ViT-B/16, superando a R-TPT (61,1%) y MTA (62,4%).
Generalización: El método mantuvo un rendimiento sólido en conjuntos de datos fuera de distribución (OOD) (ImageNet-A, V2, R, S) bajo condiciones adversarias, alcanzando una robustez adversaria promedio del 35,8% en comparación con el 0,3% del CLIP de referencia.
Estudios de Ablación: Los experimentos confirmaron que los tres componentes (Refinamiento, Augmentación y Ensemble-TV) son necesarios. La eliminación del paso de refinamiento provocó que los módulos de augmentación y ensemble fallaran en proteger las regiones discriminativas.
Eficiencia: Aunque el método requiere la extracción de atención por muestra, los autores señalan que reducir el número de vistas aumentadas (por ejemplo, de 64 a 16) reduce significativamente el tiempo de inferencia con una pérdida mínima de precisión.

Significado y Afirmaciones

El artículo afirma que A-TPT representa un paso significativo hacia la robustez de granularidad fina en los VLM. Al desacoplar la identificación semántica de la etapa de entrenamiento y aprovechar mecanismos de atención robustos, el método proporciona un paradigma de defensa efectivo que no requiere datos adversarios etiquetados.

Los autores enfatizan que la clave de la robustez en escenarios de granularidad fina radica en identificar y preservar partes semánticas discriminativas en lugar de simplemente optimizar las representaciones de características. El método propuesto demuestra que la adaptación en tiempo de ejecución puede ser tanto robusta frente a ataques adversarios como efectiva en datos limpios, siempre que el proceso de adaptación esté guiado por una atención fiable que preserve la semántica.

Limitaciones: Los autores reconocen que A-TPT depende de la augmentación multi-vista y la selección de vistas, lo que significa que no es completamente inmune a los ataques adversarios. Se sugiere trabajo futuro para explorar información semántica discriminativa directamente en el espacio latente.