Resumen Técnico: T-VSS (Test-Time Visual Subspace Steering)

1. Planteamiento del Problema

Los Modelos de Visión y Lenguaje (VLMs), como CLIP, sobresalen en el reconocimiento visual de cero disparos (zero-shot), pero siguen siendo altamente vulnerables a las perturbaciones adversarias. Incluso cambios imperceptibles en la entrada pueden causar fallos significivos en la predicción, lo que plantea riesgos en dominios críticos para la seguridad, como la IA médica y la conducción autónoma.

Las estrategias de defensa existentes enfrentan dos limitaciones principales:

1. Métodos en Tiempo de Entrenamiento: Enfoques como el entrenamiento adversario, el ajuste fino robusto y la purificación basada en difusión requieren datos etiquetados, reentrenamiento costoso o modelos auxiliares, lo que los hace poco prácticos para VLMs grandes y congelados.
2. Métodos de Adaptación en Tiempo de Prueba (TTA): Los enfoques recientes de TTA intentan mejorar la robustez en la inferencia sin reentrenamiento, pero a menudo dependen de rutas de optimización indirectas:
   • Basados en Prompts (p. ej., R-TPT): Optimizan prompts de texto aprendibles.
   • En el Espacio de Entrada (p. ej., TTP, TTC): Optimizan el relleno (padding) a nivel de píxeles o perturbaciones de contraataque.
     Estos métodos son computacionalmente costosos y no abordan directamente la corrupción de la representación visual en sí misma, que es el objetivo principal de los ataques adversarios.

2. Metodología: Test-Time Visual Subspace Steering (T-VSS)

T-VSS propone una defensa ligera y directa que adapta el espacio de características visuales en el tiempo de prueba. En lugar de ajustar prompts o píxeles, aprende una corrección compartida dentro de un subespacio de bajo rango compacto y específico de la muestra, derivado de las características de múltiples vistas de la imagen atacada.

El método opera en tres etapas principales:

A. Estimación del Subespacio Visual Local

Dada una imagen de prueba adversaria $x_0$ y sus $N$ vistas aumentadas $\{x_1, \dots, x_N\}$, el modelo extrae las características visuales congeladas $\{f_i\}$ utilizando el codificador de imágenes CLIP.

• Construcción de Residuos: Se construye una matriz de residuo basada en un ancla mediante la resta de la característica de la vista original atacada ($f_0$) de las características de todas las vistas aumentadas:
  $$R = [(f_1 - f_0)^\top, \dots, (f_N - f_0)^\top]^\top$$
• Extracción del Subespacio: Se aplica la Descomposición en Valores Singulares (SVD) a $R$. El método selecciona un subespacio de bajo rango definido por los $m$ vectores singulares derechos superiores ($V_m$). El rango $m$ se elige de forma adaptativa de modo que la energía acumulada de los valores singulares supere un umbral $\rho$ (p. ej., 0.9).
• Intuución: Dado que todas las vistas se originan de la misma imagen atacada, los desplazamientos de características inducidos por el ataque comparten un componente común. La estructura de residuo colapsa en una geometría de bajo rango, lo que permite al método aislar la variación local causada por el ataque mientras se suprimen los desplazamientos compartidos entre vistas.

B. Dirección de Características de Bajo Rango Compartido (Shared Low-Rank Feature Steering)

T-VSS aprende un único vector de corrección compartido $\Delta$ dentro del subespacio extraído $V_m$:

• Un vector de coeficientes aprendible $\alpha \in \mathbb{R}^m$ se inicializa en cero.
• La corrección se calcula como $\Delta = V_m \alpha$.
• Este desplazamiento se aplica a todas las vistas simultáneamente: $\tilde{f}_i = \text{norm}(f_i + \Delta)$.
• Este diseño impone una corrección de consenso entre las vistas, restringida por la geometría de bajo rango, en lugar de permitir actualizaciones independientes e inestables para cada vista.

C. Optimización y Agregación Conscientes de la Fiabilidad

No todas las vistas aumentadas son igualmente fiables bajo ataque. T-Vceso incorpora un mecanismo de ponderación de fiabilidad:

• Puntuación de Fiabilidad: Para cada vista $i$, se calcula una puntuación $r_i$ basada en la similitud promedio con sus $K$ vecinos más cercanos en el espacio de características.
• Ponderación: Estas puntuaciones se convierten en pesos $w_i$ mediante una función softmax escalada por temperatura. Las vistas con alta concordancia de características reciben pesos mayores; los valores atípicos inestables son suprimidos.
• Función de Pérdida: El vector de coeficientes $\alpha$ se optimiza minimizando la entropía puntual ponderada por fiabilidad de las probabilidades de clase predichas:
  $$\mathcal{L}_{\text{T-VSS}} = \sum_{i=0}^{N} w_i \mathcal{H}(p(\tilde{f}_i))$$
• Predicción Final: La predicción final es un promedio ponderado por fiabilidad de las probabilidades de todas las vistas adaptadas.

3. Contribuciones Clave

1. Adaptación Directa en el Espacio de Características: T-VSS es la primera defensa en tiempo de prueba para VLMs que adapta directamente la representación visual corrupta dentro de un subespacio de bajo rango aprendido, evitando la optimización indirecta y costosa de prompts de texto o píxeles de entrada.
2. Geometría de Bajo Rango Específica de la Muestra: Al construir un subespacio a partir de residuos basados en anclas de características de múltiples vistas, el método captura la geometría local transversal de las vistas del ataque, restringiendo las actualizaciones a direcciones geométricamente plausibles.
   તેમને.
3. Mecanismo Consciente de la Fiabilidad: La integración de pesos de fiabilidad de las vistas asegura que el proceso de adaptación y la agregación final sean robustos ante vistas aumentadas inestables, un problema común en entornos adversarios.
4. Eficiencia: El método requiere solo una pasada hacia adelante (forward pass) a través del codificador congelado. La optimización ocurre sobre un pequeño conjunto de coeficientes (el rango $m$) en lugar de vectores de prompt de alta dimensión o rejillas de píxeles, lo que reduce significativamente la latencia de inferencia.

4. Resultados Experimentales

Los autores evaluaron T-VSS en ocho conjuntos de datos de grano fino, ImageNet y cuatro entornos de referencia de fuera de la distribución (OOD) de ImageNet utilizando tres backbones de CLIP (ResNet-50, ViT-B/16, ViT-L/14).

• Robustez Adversaria: T-VSS logró consistentemente la mejor precisión adversaria promedio en todos los backbones y conjuntos de datos.
  • En conjuntos de datos de grano fino con CLIP-ResNet-50, mejoró la precisión robusta promedio al 48.5%, superando al mejor anterior (R-TPT) por 3.3 puntos.
  • En ImageNet, alcanzó un 50.1% de precisión robusta, superando a R-TPT (47.7%) y otros modelos de referencia.
  • Demostró una capacidad superior en categorías de grano fino desafiantes (p. ej., Cars, Flower102, Aircraft) y mantuvo las ganancias en los entornos OOD (ImageNet-A, V2, R, S).
• Precisión en Datos Limpios (Clean Accuracy): T-VSS mantuvo una precisión de datos limpios competitiva, evitando las caídas significativas de precisión que suelen asociarse con las correcciones agresivas en tiempo de prueba.
• Eficiencia: T-VSS fue la defensa adaptativa más rápida. En UCF101, logró un 52.5% de precisión robusta en 0.383 segundos/imagen, lo cual es más rápido que R-TPT (0.533s) y TTP (0.408s). Mantuvo un fuerte rendimiento incluso con presupuestos de vistas reducidos (p. ej., 16 vistas).
• Generalización: El método mostró robustez contra varios tipos de ataques (PGD, CW, DeepFool, FGSM), lo que indica que no está sobreajustado a un mecanismo de ataque específico.

5. Significado y Reivindicaciones

El artículo afirma que T-VSS ofrece una alternativa simple, práctica y eficiente a la adaptación de prompts y del espacio de píxeles para la inferencia robusta de VLMs de cero disparos.

• Directividad: Al dirigir el subespacio de características visuales directamente, T-VSS aborda la causa raíz de la vulnerabilidad (representaciones visuales corruptas) de manera más efectiva que los métodos indirectos.
• Compromiso entre Robustez y Eficiencia: La adaptación restringida de bajo rango produce un compromiso superior, proporcionando una mayor robustez con una menor carga computacional en comparación con las defensas previas en tiempo de prueba.
• Limitaciones: Los autores reconocen que, al igual que otras defensas basadas en aumentos, T-VSS depende de la aumentación estocástica de múltiples vistas. Esto crea una superficie de ataque potencial si un adversario optimiza explícitamente a través de la misma expectativa sobre las transformaciones (ataques conscientes de la defensa), una limitación compartida por el paradigma actual de TTA.

En conclusión, T-VSS demuestra que restringir la adaptación en tiempo de prueba a un subespacio visual compacto y específico de la muestra es una estrategia viable y efectiva para mejorar la robustez adversaria de los Modelos de Visión y Lenguaje congelados.