💻 computer science

Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

Este artigo propõe o Confidence-Aware Weighting (CAW), um novo método que aumenta a robustez adversarial de modelos CLIP zero-shot ao priorizar amostras incertas por meio de uma perda consciente de confiança e preservar a consistência semântica via alinhamento de características, superando, assim, as abordagens de estado da arte tanto em robustez quanto em eficiência de memória.

Autores originais: Nikoo Naghavian, Mostafa Tavassolipour

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nikoo Naghavian, Mostafa Tavassolipour

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores podem "ver" e "ler" ao mesmo tempo, aprendendo com toda a internet para entender que a foto de um golden retriever corresponde às palavras "um cachorro feliz". Esta é a magia dos Modelos de Visão-Linguagem, como o famoso CLIP. Eles são como estudantes superinteligentes que leram todos os livros e viram todas as fotos online, permitindo que adivinhem o que há em uma imagem mesmo que nunca tenham visto aquele tipo específico de animal antes. No entanto, assim como um humano que pode ser enganado por uma ilusão de ótica astuta, esses modelos de IA têm uma fraqueza secreta. Se você adicionar uma quantidade minúscula e invisível de "ruído" a uma imagem — como polvilhar alguns grãos de areia digital que o olho humano não consegue ver — o computador pode subitamente ficar completamente confuso, pensando que um gato é uma torradeira. Isso é chamado de "ataque adversarial", e é um grande problema porque significa que essas ferramentas poderosas podem ser facilmente enganadas em situações do mundo real.

A grande questão que os cientistas estão fazendo é: Como tornamos esses modelos mais resistentes sem fazer com que eles esqueçam tudo o que já sabem? Geralmente, para ensinar um computador a ser robusto, você precisa mostrar a ele milhares dessas imagens complicadas e ruidosas durante o treinamento. Mas há um detalhe: se você tratar cada imagem da mesma forma, o computador perde tempo estudando as fáceis (que ele já entende) e pode ainda perder as realmente difíceis que mais precisam de ajuda. É como um professor passando a aula inteira revisando um problema de matemática que o aluno já resolveu perfeitamente, enquanto ignora o problema que está realmente fazendo ele falhar no teste.

Este artigo apresenta uma nova estratégia inteligente chamada Pesagem Consciente de Confiança (CAW - Confidence-Aware Weighting) para resolver este problema. Os pesquisadores perceberam que nem todas as imagens complicadas são iguais. Algumas imagens são tão confusas que o modelo mal consegue acertar, enquanto outras são apenas ligeiramente incertas. Em vez de dar a cada imagem confusa a mesma quantidade de atenção, o CAW atua como um tutor inteligente que dá atenção extra aos alunos que estão enfrentando mais dificuldades.

Eis como o método funciona, usando uma analogia simples: Imagine que o modelo de IA é um estudante fazendo uma prova.

A parte "Consciente de Confiança": Quando o estudante erra uma questão ou está inseguro, o professor (o sistema CAço CAW) diz: "Ok, esta é difícil! Vamos focar nisso". Ele dá um peso extra às imagens onde o modelo tem menos confiança. Se o modelo já estiver bem seguro sobre uma imagem, o professor diz: "Você consegue, vamos seguir em frente". Isso garante que o modelo gaste sua energia corrigindo suas maiores fraquezas, em vez de reaprender o que já sabe.
A parte do "Alinhamento de Características": A segunda parte do truque é garantir que o aluno não esqueça o que aprendeu em aulas anteriores. Quando o modelo olha para uma imagem complicada e ruidosa, o CAW verifica se a "imagem interna" que ele vê corresponde à "imagem limpa" que ele viu antes. É como dizer ao aluno: "Mesmo que esta foto esteja borrada, lembre-se de que ainda é um cachorro, não uma torradeira". Isso evita que o modelo se confunda e perca seu conhecimento original.

Os pesquisadores testaram essa ideia em uma coleção massiva de conjuntos de dados de imagens, incluindo o TinyImageNet e outros 14 que variam de animais de estimação e flores a exames médicos. Eles colocaram seu novo método contra outras técnicas de alto nível usando alguns dos "ataques" mais fortes disponíveis, incluindo um teste automatizado poderoso chamado AutoAttack. Os resultados foram promissores: o método CAW não apenas sobreviveu aos ataques, mas na verdade teve um desempenho melhor do que os métodos anteriores mais avançados. Por exemplo, em média, em 15 conjuntos de dados diferentes, ele melhorou a capacidade do modelo de permanecer correto sob ataque em cerca de 2% em comparação ao segundo colocado, utilizando também menos memória de computador.

O que é realmente legal é que o modelo não apenas ficou melhor em combater ataques; ele também ficou melhor em olhar para fotos normais e limpas. Os pesquisadores descobriram que, ao focar nos exemplos "difíceis", o modelo aprendeu uma forma mais estável de ver o mundo. Quando observaram como o modelo "prestava atenção" a diferentes partes de uma imagem, viram que, antes do treinamento, o modelo era facilmente distraído pelo ruído, olhando para o fundo ou para pixels aleatórios. Após usar o CAW, o modelo aprendeu a focar no objeto real, mesmo quando a imagem estava sendo atacada.

Em resumo, este artigo sugere que, ao sermos um pouco mais seletivos sobre quais exemplos confusos estudar, podemos construir uma IA que é tanto mais inteligente quanto mais resistente. É um passo em direção a tornar esses poderosos modelos de visão-linguagem confiáveis o suficiente para serem usados no mundo real, onde as coisas nem sempre são perfeitas e às vezes tentam nos enganar. Embora o método esteja atualmente focado na parte de imagem do modelo e testado principalmente em ataques de caixa branca (onde o atacante conhece os segredos do modelo), ele abre uma nova porta para tornar a IA mais resiliente sem sacrificar sua capacidade de aprender coisas novas.

Resumo Técnico: Melhorando a Robustez Adversária de CLIP Zero-Shot com Pesagem Consciente de Confiança

Declaração do Problema
Modelos de visão-linguagem (VLMs), particularmente o CLIP, demonstram uma generalização zero-shot impressionante em diversas tarefas. No entanto, eles permanecem altamente vulneráveis a ataques adversários, nos quais perturbações imperceptíveis causam mudanças significativas nas predições. Embora o treinamento adversário seja uma abordagem padrão para melhorar a robustez, os métodos existentes aplicados a VLMs de grande escala enfrentam duas limitações primordiais:

Otimização Ineficiente: As abordagens atuais tratam todos os exemplos adversários de forma igual durante o treinamento, independentemente de sua dificuldade ou estabilidade. Isso ignora o fato de que amostras com baixa confiança robusta (predições instáveis) contribuem mais para a vulnerabilidade do que amostras altamente confiantes.
Compromissos entre Recursos e Desempenho: Métodos de estado da arte como PMG-AFT e TGA-ZSR frequentemente exigem alto uso de memória ou lutam para manter a acurácia robusta sob ataques fortes (ex: AutoAttack) sem comprometer a acurácia de dados limpos (clean accuracy) ou a generalização.

Metodologia: Pesagem Consciente de Confiança (CAW)
Os autores propõem o Confidence-Aware Weighting (CAW), um framework de ajuste fino (fine-tuning) adversário projetado para aumentar a robustez zero-shot de modelos CLIP pré-treinados enquanto preserva suas capacidades de generalização. O método introduz uma função de perda composta ( $L_{total}$ ) composta por três termos:

Perda Contrastiva Padrão ( $L_{CE}$ ): A perda de entropia cruzada de base usada para alinhar os embeddings de imagem e texto.
Perda Consciente de Confiança ( $L_{CA}$ ): Este componente aborda a ineficiência de tratar todas as amostras igualmente. Ele escala a divergência de Kullback-Leibler (KL) entre a distribuição de predição do modelo ajustado em entradas adversárias ( $P_{adv}$ $P_{a d v}$ ) e o modelo pré-treinado congelado em entradas limpas ( $P_{clean}$ $P_{c l e an}$ ).
- Mecanismo: A divergência KL é ponderada por $(1 - P_{adv, i, y_i})$ , onde $P_{adv, i, y_i}$ é a probabilidade prevista da classe verdadeira para a amostra adversária.
- Efeito: Esta ponderação atribui maior importância aos exemplos adversários "difíceis", onde o modelo está incerto (baixa confiança), forçando o modelo a focar em estabilizar esses casos vulneráveis. Os autores utilizam especificamente $KL(P_{adv} \parallel P_{clean})$ em vez da inversa, argumentando que isso penaliza melhor as predições incorretas de alta probabilidade na distribuição adversária.
Regularização de Alinhamento de Características ( $L_{Reg}$ ): Para evitar o sobreajuste (overfitting) e o esquecimento do conhecimento pré-treinado, este termo minimiza a distância $\ell_2$ $ℓ_{2}$ entre as características de imagem da entrada adversária processada pelo codificador ajustado e a mesma entrada processada pelo codificador pré-treinado congelado.
- Distinção: Diferente de métodos como o FARE, que alinham representações limpas congeladas com representações adversárias ajustadas, o CAW alinha representações adversárias de ambos os codificadores para estabilizar as representações de características durante o processo de ajuste fino.

O objetivo total é formulado como:
$L_{total} = L_{CE} + \alpha \cdot L_{CA} + \beta \cdot L_{Reg}$

Principais Contribuições

Novo Mecanismo de Ponderação: O artigo introduz uma estratégia de pesagem consciente de confiança adaptada para VLMs zero-shot, deslocando o foco para amostras adversárias instáveis e de baixa confiança para melhorar a robustez sem sacrificar a acurácia de dados limpos.
Arquitetura de Dupla Perda: A combinação de uma divergência KL escalonada por confiança e um termo de regularização ao nível de características cria um equilíbrio entre o aprendizado de características robustas e a retenção do conhecimento semântico do pré-treinamento.
Eficiência: O método proposto alcança um desempenho de estado da arte enquanto utiliza menos memória do que os baselines concorrentes (PMG-AFT e TGA-ZSR).

Resultados Experimentais
Os autores avaliaram o CAW no dataset TinyImageNet para o ajuste fino e testaram o desempenho zero-shot em 15 datasets adicionais abrangendo reconhecimento de objetos gerais, classificação de grão fino, reconhecimento de cenas, tarefas específicas de domínio e imagens médicas.

AutoAttack ( $\epsilon = 1/255$ ): O CAW alcançou a maior acurácia robusta média (33,51%) em 15 datasets, superando o PMG-AFT (31,55%) e o TGA-ZSR (31,63%). Demonstrou força particular em datasets como CIFAR-10 e Caltech-101.
Ataques PGD-100 e CW: Sob estes ataques, o CAW superou o PMG-AFT tanto em acurácia robusta quanto em acurácia de dados limpos. Por exemplo, sob PGD-100, o CAW alcançou uma acurácia robusta média de 34,91% comparado aos 33,20% do PMG-AFT, enquanto também melhorou a acurácia de dados limpos (53,75% vs. 47,28%).
Eficiência de Memória: O CAW exigiu aproximadamente 15.986 MB de memória, o que é inferior ao PMG-AFT (18.449 MB) e significativamente inferior ao TGA-ZSR (21.227 MB).
Análise:
- Análise de Confiança: Gráficos de dispersão revelaram que, após o ajuste fino, a correlação entre a confiança limpa e a robusta aumentou, com um deslocamento em direção à diagonal, indicando maior estabilidade. O método reduziu efetivamente as amostras "Apenas Limpas" (Clean Only — corretas no dado limpo, erradas no adversário) sem criar classificações incorretas excessivamente confiantes.
- Mapas de Atenção: Visualizações mostraram que o CAW ajudou o modelo a manter uma atenção consistente e semanticamente significativa em regiões relevantes do objeto tanto para exemplos limpos quanto adversários, enquanto modelos pré-ajuste frequentemente focavam em ruídos de fundo irrelevantes sob ataque.

Significância e Alegações
O artigo afirma que o CAW representa um passo significativo à frente na segurança de VLMs zero-shot contra ameaças adversárias. Ao visar explicitamente a incerteza do modelo, o método aprende características mais transferíveis e robustas. Os autores enfatizam que sua abordagem melhora a robustez sob ataques fortes (AutoAttack, PGD, CW) enquanto mantém pegadas de memória menores, tornando-a uma solução prática para modelos de larga escala.

Limitações
Os autores reconhecem diversas limitações:

O método é atualmente específico para a arquitetura CLIP e não foi testado em outros VLMs.
Ele aborda apenas perturbações no codificador de imagem, deixando o codificador de texto sem tratamento, apesar de sua importância em VLMs.
A avaliação é limitada a ataques de caixa branca (white-box) padrão; ataques de caixa preta (black-box), ataques adaptativos e raios de perturbação maiores não foram explorados.

Mais como este