Resumo Técnico: ReACT-CLIP

Definição do Problema

Modelos visão-linguagem (VLMs) como o CLIP dependem de codificadores visuais congelados para diversas tarefas de jusante (downstream), criando um ponto concentrado de falha contra ataques adversários. Embora o treinamento adversário e o ajuste de prompts ofereçam robustez, eles frequentemente exigem retreinamento, correm o risco de sobreajuste (overfitting) a distribuições de ataque específicas e sacrificam a acurácia em dados limpos em prol da robustez. Consequentemente, defesas de tempo de teste (test-time) sem treinamento emergiram como uma alternativa prática.

No entanto, as defesas de tempo de teste existentes sofrem de uma limitação fundamental: elas empregam estratégias de intervenção fixas. Seja através de atualizações de prompt fixas, orçamentos de contra-ataque fixos ou escalas de correção de características fixas (por exemplo, uma escala global de ruído Gaussiano para construção de âncoras), esses métodos não conseguem se adaptar à severidade variável dos ataques no momento da inferência. O orçamento de ataque ($\epsilon$) é desconhecido durante a implantação, e a força de correção necessária varia significativamente entre as amostras, mesmo dentro de um mesmo orçamento nominal. Como demonstrado no artigo, configurações fixas que funcionam para ataques fracos costumam "subestimar" (undershoot) ataques fortes, enquanto aquelas ajustadas para ataques fortes "superestimam" (overshoot) e degradam o desempenho em entradas limpas ou levemente perturbadas. Esse descompasso faz com que as defesas existentes degradem bruscamente conforme a força do ataque aumenta.

Metodologia: ReACT-CLIP

O ReACT-CLIP (Resposta-Condicionada para Correção no Tempo de Teste para o CLIP) aborda isso reformulando a defesa de tempo de teste como um processo de decisão específico por amostra. Em vez de aplicar uma correção globalmente fixa, o ReACT-CLIP determina duas propriedades distintas para cada entrada:

1. Se a intervenção defensiva é necessária.
2. Quão fortemente a entrada deve ser corrigida.

O método opera sem modificar o modelo pré-treinado ou exigir treinamento de prompt. Ele baseia-se em dois mecanismos principais:

1. Construção de Âncora Condicionada pela Resposta (Determinando a Força de Correção)

Para estimar a força de correção necessária, o ReACT-CLIP sonda a entrada com dois níveis de ruído Gaussiano ($\sigma_{low}$ e $\sigma_{high}$) e mede o desvio resultante no espaço de características visuais.

• Observação: Embora o desvio absoluto em um único nível de ruído seja ambíguo (características adversárias podem parecer falsamente estáveis sob ruído fraco), o desvio relativo entre ruídos ($r(x)$) fornece um sinal claro e graduado. Ele é definido como o aumento relativo do desvio do baixo para o alto ruído:
  $$r(x) = \frac{d_{high}(x) - d_{low}(x)}{d_{low}(x)}$$
• Mecanismo: Este desvio relativo serve como um proxy específico da amostra para a demanda de correção. O ReACT-CLIP mapeia $r(x)$ para uma escala de correção específica da amostra $\sigma_{corr}(x)$ usando um mapeamento linear calibrado uma única vez em um único conjunto de dados (Caltech256).
• Aplicação: Esta escala é usada para construir uma âncora de característica média de ruído ($f_{anc}$) a partir de visões com ruído Gaussiano. A característica visual original é então extrapolada em direção e além desta âncora. Um $r(x)$ pequeno gera uma escala de ruído pequena e uma correção suave; um $r(x)$ grande gera uma escala maior e um maior alcance corretivo.

2. Intervenção Defensiva Seletiva (Determinando a Necessidade)

Aplicar a correção incondicionalmente pode prejudicar entradas limpas que já estão classificadas corretamente. Para decidir se deve intervir, o ReACT-CLIP combina o desvio relativo com um score de instabilidade de predição.

• Observação: Entradas limpas mantêm distribuições de probabilidade de classe estáveis sob aumentos espaciais fracos, enquanto entradas adversárias exibem maior variação.
• Mecanismo: Um score de instabilidade de predição $J(x)$ é computado usando a divergência de Jensen–Shannon entre a predição original e a predição sob um aumento estocástico fraco $T(x)$.
• Decisão: O score de intervenção defensiva final é $s_{int}(x) = r(x) + J(x)$. Se $s_{int}(x)$ exceder um limiar $\tau$, a correção é aplicada; caso contrário, a característica original é mantida. Isso permite que o sistema distinga entradas limpas de entradas levemente atacadas, um regime onde o desvio relativo sozinho costuma ser ambíguo.

Principais Contribuições

1. Construção de Âncora Condicionada pela Resposta: O artigo identifica que forças de correção globalmente fixas são subótimas. Introduz um método para converter o desvio relativo entre ruídos em uma escala de correção específica da amostra, permitindo que o alcance defensivo se adapte tanto ao orçamento de ataque quanto às características individuais da amostra sem necessidade de retreinamento.
2. Intervenção Defensiva Seletiva: Os autores propõem um score de intervenção fundido combinando desvio relativo e instabilidade de predição. Isso melhora a detecção de entradas adversárias no regime de ataque fraco, preservando a acurácia de dados limpos, abordando a ambiguidade que aflige detectores baseados apenas em desvio.
3. Avaliação Abrangente de Robustez: O método é avaliado em 12 conjuntos de dados de jusante, no ImageNet e suas variantes de mudança de distribuição sob ataques PGD-10, PGD-100, C&W-10 e AutoAttack.

Resultados

• Ganhos de Robustez: Em 12 conjuntos de dados de jusante sob ataques PGD-10, o ReACT-CLIP mantém aproximadamente 60% de acurácia robusta em orçamentos de ataque de $\epsilon=1/255$ a $\epsilon=16/255$.
• Comparação com Baselines: Supera o baseline existente mais forte (Defend-CLIP) em até 46,50 pontos percentuais em $\epsilon=16/255$. Enquanto as defesas existentes degradam bruscamente conforme os ataques se fortalecem, o ReACT-CLIP mantém um desempenho estável.
• Acurácia em Dados Limpos (Clean Accuracy): O método preserva a acurácia em dados limpos, permanecendo dentro de 0,76% da defesa mais forte em entradas limpas.
• Generalização: O mapeamento linear para a força de correção, calibrado em um único conjunto de dados, generaliza-se efetivamente para o ImageNet e suas variantes fora da distribuição (ImageNet-A, V2, R, Sketch) e extrapola para orçamentos de ataque ($\epsilon=24, 32$) além do intervalo de calibração, onde outras defesas colapsam.
• Ablação: Os resultados confirmam que a construção de âncora condicionada pela resposta impulsiona a robustez em orçamentos de ataque moderados a fortes, enquanto o score de intervenção seletiva protege principalmente a acurácia em dados limpos e melhora o desempenho no regime de ataque fraco.

Significância e Alegações

O artigo afirma que o ReACT-CLIP estabelece um novo paradigma para a defesa de tempo de teste sem treinamento, movendo-se de intervenções globais e fixas para decisões por entrada condicionadas pela resposta. Ao aproveitar a dinâmica relativa do desvio de características induzido por ruído e a estabilidade de predição, o método se adapta a orçamentos de ataque desconhecidos e severidades variadas de amostras sem exigir o conhecimento dos parâmetros de ataque durante a inferência.

Os autores enfatem que esta abordagem permite que uma configuração única e fixa permaneça eficaz através de um amplo espectro de orçamentos de perturbação, de ataques muito fracos a muito fortes, enquanto preserva amplamente as capacidades zero-shot do modelo CLIP pré-treinado. O trabalho destaca que o "descompasso" entre as configurações de defesa fixa e as forças de ataque variáveis é uma causa primária de falha nas defesas atuais de tempo de teste, e que o condicionamento responsivo à resposta é um passo necessário para VLMs robustos e implantáveis.