Resumo Técnico: T-VSS (Test-Time Visual Subspace Steering)

1. Declaração do Problema

Modelos de Visão-Linguagem (VLMs), como o CLIP, destacam-se no reconhecimento visual zero-shot, mas permanecem altamente vulneráveis a perturbações adversárias. Mesmo mudanças imperceptíveis na entrada podem causar falhas significativas de predição, gerando riscos em domínios críticos para a segurança, como IA médica e direção autônoma.

As estratégias de defesa existentes enfrentam duas limitações primárias:

1. Métodos de Tempo de Treinamento (Training-Time): Abordagens como treinamento adversário, ajuste fino robusto e purificação baseada em difusão exigem dados rotulados, retreinamento caro ou modelos auxiliares, tornando-as impraticáveis para VLMs grandes e congelados.
2. Métodos de Adaptação em Tempo de Teste (TTA): Abordagens recentes de TTA tentam melhorar a robustez na inferência sem retreinamento, mas frequentemente dependem de caminhos de otimização indiretos:
   • Baseados em Prompts (ex: R-TPT): Otimizam prompts de texto aprendíveis.
   • No Espaço de Entrada (ex: TTP, TTC): Otimizam preenchimentos (padding) ao nível de pixels ou perturbações de contra-ataque.
     Esses métodos são computacionalmente caros e não abordam diretamente a corrupção da própria representação visual, que é o alvo principal dos ataques adversários.

2. Metodologia: Test-Time Visual Subspace Steering (T-VSS)

O T-VSS propõe uma defesa leve e direta que adapta o espaço de características visuais em tempo de teste. Em vez de ajustar prompts ou pixels, ele aprende uma correção compartilhada dentro de um subespaço de baixo posto (low-rank) compacto e específico para a amostra, derivado das características de múltiplas visões da imagem atacada.

O método opera em três estáções principais:

A. Estimativa de Subespaço Visual Local

Dada uma imagem de teste adversária $x_0$ e suas $N$ visões aumentadas $\{x_1, \dots, x_N\}$, o modelo extrai características visuais congeladas $\{f_i\}$ usando o codificador de imagem CLIP.

• Construção de Resíduo: Um matriz de resíduo baseada em âncora $R$ é construída subtraindo a característica da visão original atacada ($f_0$) das características de todas as visões aumentadas:
  $$R = [(f_1 - f_0)^\top, \dots, (f_N - f_0)^\top]^\top$$
• Extração de Subespaço: A Decomposição de Valores Singulares (SVD) é aplicada a $R$. O método seleciona um subespaço de baixo posto definido pelos $m$ primeiros vetores singulares à direita ($V_m$). O posto $m$ é escolhido adaptativamente de modo que a energia cumulativa dos valores singulares exceda um limiar $\rho$ (ex: 0.9).
• Intuição: Como todas as visões originam-se da mesma imagem atacada, seus desvios de características induzidos pelo ataque compartilham um componente comum. A estrutura de resíduo colapsa em uma geometria de baixo posto, permitindo que o método isole a variação local causada pelo ataque enquanto suprime deslocamentos compartilhados entre as visões.

B. Direcionamento de Características de Baixo Posto Compartilhado (Shared Low-Rank Feature Steering)

O T-VSS aprende um único vetor de correção compartilhado $\Delta$ dentro do subespaço extraído $V_m$:

• Um vetor de coeficientes aprendível $\alpha \in \mathbb{R}^m$ é inicializado em zero.
• A correção é computada como $\Delta = V_m \alpha$.
• Este deslocamento é aplicado a todas as visões simultaneamente: $\tilde{f}_i = \text{norm}(f_i + \Delta)$.
• Este design impõe uma correção de consenso entre as visões, restrita pela geometria de baixo posto, em vez de permitir atualizações independentes e instáveis para cada visão.

C. Otimização e Agregação Conscientes de Confiabilidade

Nem todas as visões aumentadas são igualmente confiáveis sob ataque. O T-VSS incorpora um mecanismo de ponderação de confiabilidade:

• Pontuação de Confiabilidade: Para cada visão $i$, uma pontuação $r_i$ é computada com base na similaridade média com seus $K$ vizinhos mais próximos no espaço de características.
• Ponderação: Essas pontuações são convertidas em pesos $w_i$ através de um softmax escalonado por temperatura. Visões com alta concordância de características recebem pesos maiores; outliers instáveis são suprimidos.
• Função de Perda: O vetor de coeficientes $\alpha$ é otimizado minimizando a entropia pontual ponderada pela confiabilidade das probabilidades de classe preditas:
  $$\mathcal{L}_{\text{T-VSS}} = \sum_{i=0}^{N} w_i \mathcal{H}(p(\tilde{f}_i))$$
• Predição Final: A predição final é uma média ponderada pela confiabilidade das probabilidades de todas as visões adaptadas.

3. Principais Contribuições

1. Adaptação Direta no Espaço de Características: O T-VSS é o primeiro método de defesa em tempo de teste para VLMs que adapta diretamente a representação visual corrompida dentro de um subespaço de baixo posto aprendido, evitando a otimização indireta e cara de prompts de texto ou pixels de entrada.
2. Geometria de Baixo Posto Específica da Amostra: Ao construir um subespaço a partir de resíduos baseados em âncora de características de múltiplas visões, o método captura a geometria local trans-visão do ataque, restringindo as atualizações a direções geometricamente plausíveis.

• Mecanismo Consciente de Confiabilidade: A integração de pesos de confiabilidade de visão garante que o processo de adaptação e a agregação final sejam robustos a visões aumentadas instáveis, um problema comum em cenários adversários.

3. Eficiência: O método requer apenas uma passagem direta (forward pass) através do codificador congelado. A otimização ocorre sobre um pequeno conjunto de coeficientes (o posto $m$) em vez de vetores de prompt de alta dimensão ou grades de pixels, reduzindo significativamente a latência de inferência.

4. Resultados Experimentais

Os autores avaliaram o T-VSS em oito conjuntos de dados de granularidade fina, ImageNet e quatro benchmarks de Out-of-Distribution (OOD) do ImageNet usando três backbones de CLIP (ResNet-50, ViT-B/16, ViT-L/14).

• Robustez Adversária: O T-VSS alcançou consistentemente a melhor acurácia adversária média em todos os backbones e conjuntos de dados.
  • Em conjuntos de dados de granularidade fina com CLIP-ResNet-50, ele melhorou a acurácia robusta média para 48,5%, superando o melhor anterior (R-TPT) em 3,3 pontos.
  • No ImageNet, alcançou 50,1% de acurácia robusta, superando o R-TPT (47,7%) e outros baselines.
  • Demonstrou desempenho superior em categorias desafiadoras de granularidade fina (ex: Carros, Flower102, Aeronaves) e manteve ganhos em benchmarks OOD (ImageNet-A, V2, R, S).
• Acurácia de Dados Limpos (Clean Accuracy): O T-VSS manteve uma acurácia limpa competitiva, evitando as quedas significativas de acurácia frequentemente associadas a correções agressivas em tempo de teste.
• Eficiência: O T-VSS foi a defesa adaptativa mais rápida. No UCF101, alcançou 52,5% de acurácia robusta em 0,383 segundos/imagem, sendo mais rápido que o R-TPT (0,533s) e o TTP (0,408s). Manteve um forte desempenho mesmo com orçamentos de visões reduzidos (ex: 16 visões).
• Generalização: O método mostrou robustez contra vários tipos de ataques (PGD, CW, DeepFool, FGSM), indicando que não está sobreajustado (overfitted) a um mecanismo de ataque específico.

5. Significância e Alegações

O artigo afirma que o T-VSS oferece uma alternativa simples, prática e eficiente para a inferência robusta de zero-shot em VLMs, comparada à adaptação baseada em prompts e no espaço de pixels.

• Diretividade: Ao direcionar o espaço de características visuais diretamente, o T-VSS aborda a causa raiz da vulnerabilidade (representações visuais corrompidas) de forma mais eficaz do que métodos indiretos.
• Compromisso Robustez-Eficiência: A adaptação de baixo posto e restrita gera um compromisso superior, fornecendo maior robustez com menor sobrecarga computacional em comparação com defesas anteriores em tempo de teste.
• Limitações: Os autores reconhecem que, como outras defesas baseadas em aumento, o T-VSS depende de aumento de múltiplas visões estocásticas. Isso cria uma superfície de ataque potencial se um adversário otimizar explicitamente através da mesma expectativa sobre transformações (ataques conscientes da defesa), uma limitação compartilhada pelo paradigma atual de TTA.

Em conclusão, o T-VSS demonstra que restringir a adaptação em tempo de teste a um subespaço visual compacto e específico da amostra é uma estratégia viável e eficaz para aumentar a robustez adversária de Modelos de Visão-Linguagem congelados.