SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

Resumen Técnico: SS-TPT

Planteamiento del Problema
Los modelos de visión y lenguaje (VLM), particularmente CLIP, demuestran sólidas capacidades de reconocimiento zero-shot, pero siguen siendo altamente vulnerables a las perturbaciones adversarias y a los cambios de distribución. Las defensas recientes de adaptación en tiempo de prueba (TTA) intentan mejorar la robustez aprovechando múltiples vistas aumentadas, pero introducen una ineficiencia crítica: un severo compromiso entre robustez y rendimiento (throughput). Los métodos existentes, como R-TPT, a menudo requieren un gran número de vistas aumentadas (por ejemplo, 63 vistas) para estabilizar la adaptación, lo que resulta en velocidades de inferencia casi cuatro veces más lentas que las de vanilla CLIP. Por el contrario, reducir el número de vistas para mejorar la velocidad degrada significamente la robustez porque estos métodos tratan todas las vistas como igualmente confiables, permitiendo que las vistas corruptas o atípicas (outliers) dominen el proceso de adaptación. El desafío central es lograr una alta robustez adversaria sin sacrificar la eficiencia computacional ni requerir una diversidad visual excesiva.

Metodología: SS-TPT
Los autores proponen el Ajuste de Prompt en Tiempo de Prueba Guiado por Estabilidad y Adecuación (SS-TPT), un marco que evalúa la calidad de cada vista aumentada para guiar tanto la adaptación del modelo como la inferencia. En lugar de depender de la cantidad de vistas, SS-TPT calcula dos puntuaciones complementarias para cada vista $x_i$:

1. Puntuación de Estabilidad ($S_{stab}$): Mide la invarianza de la distribución predictiva de una vista bajo aumentos estocásticos débiles (por ejemplo, transformaciones afines, jitter de color, desenfoque, ruido). Se define como el inverso de la divergencia de Jensen-Shannon entre la predicción de la vista original y su variante débilmente aumentada. Una alta estabilidad indica que la predicción de la vista es robusta ante perturbaciones menores.
2. Puntuación de Adecuación ($S_{suit}$): Mide la densidad de una vista dentro del espacio de características en relación con otras vistas. Se calcula como el inverso de la distancia media inducida por el coseno entre el vector de características normalizado de una vista y los de todas las demás vistas. Una alta adecuación indica que la vista se encuentra en un grupo denso de otras vistas, lo que sugiere que no es un valor atípico.

Estas puntuaciones se normalizan y se combinan en una única puntuación de Estabilidad-Adecuación (SS) ($Z_i$) mediante un hiperparámetro $\alpha$. Esta puntuación se convierte en pesos SS ($w_i$) utilizando una función softmax.

El marco utiliza estos pesos en dos fases distintas:

• Adaptación (Pérdida de Consistencia Guiada por SS): Durante el ajuste de prompt en tiempo de prueba, el modelo minimiza una función de pérdida que combina la minimización de la entropía punto a punto con un término de consistencia. A diferencia de métodos anteriores que o bien imponen la consistencia en todas las vistas (ignorando la calidad) o eliminan la consistencia por completo para evitar vistas corruptas, SS-TPT impone la alineación solo con referencias confiables. Específicamente, cada vista se alinea con un promedio ponderado "leave-one-out" de otras vistas, donde los pesos están determinados por sus puntuaciones SS. Esto evita que las vistas corruptas confundan la adaptación.
• Inferencia (Predicción Ponderada por SS): Para la predicción final, el modelo agrega las predicciones de todas las vistas utilizando los pesos SS. Esto suprime la influencia de las vistas de baja calidad (corruptas o atípicas) mientras amplifica las confiables.

Contribuciones Clave

1. Marco SS-TPT: La introducción de una defensa en tiempo de prueba que cuantifica explícitamente la calidad de la vista a través de puntuaciones de estabilidad y adecuación, permitiendo una adaptación robusta incluso con un número limitado de vistas aumentadas.
2. Diseño de Mecanismo Dual: El diseño de una pérdida de consistencia guiada por SS que alinea las predicciones con referencias confiables durante la adaptación, y un mecanismo de predicción ponderada por SS que suprime valores atípicos durante la inferencia.
3. Compromiso Superior entre Robustez y Eficiencia: Demostrar que centrarse en la calidad de la vista en lugar de la cantidad permite que el modelo supere a los métodos de vanguardia tanto en robustez como en rendimiento, logrando una alta robustez con significativamente menos vistas (por ejemplo, 15 vistas frente a 63).

Resultados Experimentales
Se realizaron experimentos extensos en 10 conjuntos de datos de grano fino, ImageNet y cuatro variantes de cambio de distribución (ImageNet-A, V2, R, S) bajo diversos escenarios de ataque (PGD, CW, AutoAttack, White-box).

• Robustez: SS-TPT alcanzó una robustez adversaria de vanguardia. En 10 conjuntos de datos de grano fino, alcanzó una robustez promedio del 46.8%, superando al mejor anterior (R-TPT) por 6.4 puntos porcentuales. En ImageNet, logró una precisión robusta del 48.6%, superando a R-TPT por 5.4 puntos.
• Precisión en Datos Limpios (Clean Accuracy): El método preservó una alta precisión en datos limpios (55.1% en conjuntos de datos de grano fino), manteniéndose lo más cerca posible del rendimiento original de CLIP entre todos los métodos de adaptación.
• Eficiencia: SS-TPT redujo significativamente el tiempo de inferencia. Utilizando solo 15 vistas aumentadas, procesó imágenes en aproximadamente 0.74 segundos, casi el doble de rápido que R-TPT (que utilizó 63 vistas y tomó 1.67 segundos), logrando una mayor robustez (81.0% en Caltech101 frente a 79.8% para R-TPT-63v).
• Régimen de Pocas Vistas: Incluso en el desafiante escenario de una sola vista (1 vista aumentada), SS-TPT mantuvo una robustez promedio del 25.8%, superando a R-TPT por 15.7 puntos, demostrando su capacidad para extraer información significativa de evidencia visual limitada.
• Estudios de Ablación: El análisis confirmó que tanto la estabilidad como la adecuación son componentes necesarios, y que la combinación de la consistencia guiada por SS y la predicción ponderada por SS produce la mejor sinergia. El método también demostró ser robusto a las variaciones en las plantillas de prompts.

Significado y Reivindicaciones
El artículo afirma que SS-TPT aborda la limitación fundamental de las defensas actuales de TTA: la dependencia de un gran número de vistas para promediar el ruido, lo que crea un cuello de botella computacional impracticable. Al introducir un mecanismo para evaluar y ponderar la calidad de la vista, SS-TPT desacopla la robustez del volumen bruto de vistas aumentadas. Los autores sostienen que este enfoque ofrece una solución "práctica y general" para desplegar VLM confiables en escenarios del mundo real donde las entradas pueden ser ruidosas o manipuladas, y donde los recursos computacionales son limitados. El trabajo destaca que la evaluación de la calidad de la vista es un factor crítico y previamente subutilizado en la adaptación en tiempo de prueba, estableciendo la estabilidad y la adecuación como indicadores efectivos para distinguir las vistas confiables de las corruptas.