SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

Resumo Técnico: SS-TPT

Definição do Problema
Modelos de visão-linguagem (VLMs), particularmente o CLIP, demonstram fortes capacidades de reconhecimento zero-shot, mas permanecem altamente vulneráveis a perturbações adversárias e mudanças de distribuição. Defesas recentes de adaptação em tempo de teste (TTA) tentam melhorar a robustez aproveitando múltiplas visões aumentadas, mas introduzem uma ineficiência crítica: um severo compromisso entre robustez e vazão (throughput). Métodos existentes, como o R-TPT, frequentemente exigem um grande número de visões aumentadas (por exemplo, 63 visões) para estabilizar a adaptação, resultando em velocidades de inferência quase quatro vezes mais lentas que o CLIP original. Por outro lado, reduzir o número de visões para melhorar a velocidade degrada significativamente a robustez, pois esses métodos tratam todas as visões como igualmente confiáveis, permitindo que visões corrompidas ou discrepantes (outliers) dominem o processo de adaptação. O desafio central é alcançar alta robustez adversária sem sacrificar a eficiência computacional ou exigir uma diversidade visual excessiva.

Metodologia: SS-TPT
Os autores propõem o Stability and Suitability-guided Test-time Prompt Tuning (SS-TPT), um arcabouço que avalia a qualidade de cada visão aumentada para guiar tanto a adaptação quanto a inferência do modelo. Em vez de depender da quantidade de visões, o SS-TPT calcula dois escores complementares para cada visão $x_i$:

1. Escore de Estabilidade ($S_{stab}$): Mede a invariância da distribuição preditiva de uma visão sob aumentos estocásticos fracos (ex: transformações afins, distorção de cor, desfoque, ruído). É definido como o inverso da divergência de Jensen-Shannon entre a predição da visão original e sua variante fracamente aumentada. Uma alta estabilidade indica que a predição da visão é robusta a pequenas perturbações.
2. Escore de Adequação ($S_{suit}$): Mede a densidade de uma visão no espaço de características em relação às outras visões. É calculado como o inverso da distância média induzida por cosseno entre o vetor de característica normalizado de uma visão e os das demais visões. Uma alta adequação indica que a visão reside em um agrupamento denso de outras visões, sugerindo que não é um outlier.

Esses escores são normalizados e combinados em um único escore de Estabilidade-Adequação (SS) ($Z_i$) através de um hiperparâmetro $\alpha$. Este escore é convertido em pesos SS ($w_i$) usando uma função softmax.

O arcabouço utiliza esses pesos em duas fases distintas:

• Adaptação (Perda de Consistência Guiada por SS): Durante o ajuste de prompt em tempo de teste, o modelo minimiza uma função de perda que combina a minimização de entropia ponto a ponto com um termo de consistência. Diferente de métodos anteriores que ou impõem consistência em todas as visões (ignorando a qualidade) ou removem a consistência completamente para evitar visões corrompidas, o SS-TPT impõe o alinhamento apenas com referências confiáveis. Especificamente, cada visão é alinhada a uma média ponderada leave-one-out de outras visões, onde os pesos são determinados por seus escores SS. Isso evita que visões corrompidas induzam o modelo ao erro durante a adaptação.
• Inferência (Predição Ponderada por SS): Para a predição final, o modelo agrega as predições de todas as visões usando os pesos SS. Isso suprime a influência de visões de baixa qualidade (corrompidas ou outliers) enquanto amplifica as visões confiáveis.

Principais Contribuições

1. Arcabouço SS-TPT: A introdução de uma defesa em tempo de teste que quantifica explicitamente a qualidade da visão através de escores de estabilidade e adequação, permitindo uma adaptação robusta mesmo com um número limitado de visões aumentadas.
2. Design de Mecanismo Duplo: O design de uma perda de consistência guiada por SS que alinha as predições com referências confiáveis durante a adaptação, e um mecanismo de predição ponderada por SS que suprime outliers durante a inferência.
3. Superior Compromisso Robustez-Eficiência: Demonstração de que focar na qualidade da visão em vez da quantidade permite que o modelo supere os métodos de estado da arte tanto em robustez quanto em vazão, alcançando alta robustez com significativamente menos visões (ex: 15 visões vs. 63 visões).

Resultos Experimentais
Experimentos extensivos foram conduzidos em 10 conjuntos de dados de granularidade fina, ImageNet e quatro variantes de mudança de distribuição (ImageNet-A, V2, R, S) sob vários cenários de ataque (PGD, CW, AutoAttack, White-box).

• Robustez: O SS-TPT alcançou robustez adversária de estado da arte. Em 10 conjuntos de dados de granularidade fina, atingiu uma robustez média de 46,8%, superando o melhor método anterior (R-TPT) em 6,4 pontos percentuais. No ImageNet, alcançou 48,6% de acurácia robusta, superando o R-TPT em 5,4 pontos.
• Acurácia em Dados Limpos (Clean Accuracy): O método preservou alta acurácia em dados limpos (55,1% nos conjuntos de dados de granularidade fina), permanecendo o mais próximo do desempenho original do CLIP entre todos os métodos de adaptação.
• Eficiência: O SS-TPT reduziu significativamente o tempo de inferência. Usando apenas 15 visões aumentadas, processou imagens em aproximadamente 0,74 segundos, quase duas vezes mais rápido que o R-TPT (que usou 63 visões e levou 1,67 segundos), enquanto alcançou maior robustez (81,0% no Caltech101 vs. 79,8% para o R-TPT-63v).
• Regime de Baixa Quantidade de Visões: Mesmo no desafiador cenário de visão única (1 visão aumentada), o SS-TPT manteve uma robustez média de 25,8%, superando o R-TPT em 15,7 pontos, demonstrando sua capacidade de extrair informações significativas de evidências visuais limitadas.
• Estudos de Ablação: A análise confirmou que tanto a estabilidade quanto a adequação são componentes necessários, sendo que a combinação da consistência guiada por SS e da predição ponderada por SS produz a melhor sinergia. O método também se mostrou robusto a variações nos modelos de templates de prompt.

Significância e Alegações
O artigo afirma que o SS-TPT aborda a limitação fundamental das defesas atuais de TTA: a dependência de grandes números de visões para neutralizar o ruído, o que cria um gargalo computacional impraticável. Ao introduzir um mecanismo para avaliar e ponderar a qualidade da visão, o SS-TPT desacopla a robustez do volume bruto de visões aumentadas. Os autores afirmam que esta abordagem oferece uma solução "prática e geral" para implantar VLMs confiáveis em cenários do mundo real, onde as entradas podem ser ruidosas ou manipuladas, e onde os recursos computacionais são limitados. O trabalho destaca que a avaliação da qualidade da visão é um fator crítico e anteriormente subutilizado na adaptação em tempo de teste, estabelecendo a estabilidade e a adequação como indicadores eficazes para distinguir visões confiáveis de visões corrompidas.