Calibrating Uncertainty for Zero-Shot Adversarial CLIP

Resumo Técnico: Calibrando a Incerteza para o CLIP Adversário Zero-Shot

1. Definição do Problema

O Pré-treinamento Contrastivo de Linguagem e Imagem (CLIP) estabeleceu-se como um modelo fundamental para o reconhecimento zero-shot, aproveitando um espaço de incorporação (embedding) compartilhado para combinar características de imagem com prompts de texto sem treinamento específico para a tarefa. No entanto, o CLIP permanece altamente vulnerável a ataques adversários, nos quais perturbações imperceptíveis ao nível de pixels causam classificações errôneas confiantes.

Trabalhos anteriores sobre Robustez Adversária Zero-Shot (ZSAR) focaram principalmente em alinhar características de imagens adversárias com protótipos de texto de verdade fundamental (alinhamento de âncora única) para melhorar a acurácia. Os autores identificam uma lacuna de confiabilidade crítica e negligenciada: perturbações adversárias no CLIP não apenas degradam a acurácia, mas também suprimem sistematicamente a incerteza preditiva.

Ao contrário da expectativa de que a incerteza deveria aumentar conforme os inputs se afastam da distribuição de treinamento ou se tornam mais difíceis, os modelos CLIP padrão exibem excesso de confiança (over-confidence) em exemplos adversários. Isso leva a uma má calibração severa, onde o modelo é espuriamente confiante em predições incorretas. Métodos existentes, que frequentemente alinham apenas os logits preditos ou focam na discriminação de classe única, falham em preservar a geometria semântica relativa entre as classes ou a magnitude da evidência preditiva, negligenciando assim a estrutura de incerteza subjacente essencial para o reconhecimento robusto de vocabulário aberto.

2. Metodologia

Os autores propõem o Uncertainty-Calibrated Adversarial Fine-Tuning (UCAT), um framework projetado para restaurar a incerteza calibrada enquanto mantém a robustez adversária. A metodologia consiste em três componentes principais:

A. Reformulação de Dirichlet dos Logits do CLIP
Os autores reparametrizam os logits padrão do zero-shot do CLIP como parâmetros de concentração ($\alpha$) de uma distribuição de Dirichlet.

• Mapeamento: Dados os logits $\ell$ do CLIP, os parâmetros de concentração são definidos como $\alpha_k(x) = \exp(h(\ell_k))$, onde $h(\ell) = (\tau \ell + 1) / \tau'$. Aqui, $\tau$ é a temperatura aprendível e $\tau'$ é um coeficiente de calibração.
• Justificativa Teórica: Esta reformulação garante que $\alpha_k \ge 1$, satisfazendo as condições de validade para a evidência de Dirichlet. Crucialmente, quando $\tau' = \tau$, a expectativa da distribuição de Dirichlet resultante recupera exatamente a regra preditiva softmax original do CLIP, garantindo que o método seja uma interpretação probabilística fiel e não uma modificação ad-hoc.
• Decomposição da Incerteza: Esta parametrização permite a decomposição em forma fechada da incerteza preditiva em dois componentes sem amostragem:
  • Incerteza Aleatória (AU): Captura a ambiguidade inerente aos dados (ex: sobreposição semântica entre "lobo" e "cachorro") através da entropia da distribuição de Dirichlet.
  • Incerteza Epistêmica (EU): Captura a incerteza devido à evidência insuficiente ou mudança de distribuição, inversamente proporcional à força total da evidência ($\alpha_0 = \sum \alpha_k$).

B. Objetivo de Alinhamento Distribucional
Em vez de ancorar características adversárias a um único protótipo de texto, o UCAT alinha toda a distribuição preditiva de uma amostra adversária ($x_a$) com a de sua contraparte limpa ($x$).

• Função de Perda: O objetivo combina uma perda de entropia cruzada guiada por texto padrão ($L_{ce}$) com um termo de regularização ($L_{ucr}$) definido como a divergência de Kullback-Leibler (KL) reversa entre as distribuições de Dirichlet:
  $$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$$
• Racional: Os autores selecionam a direção da KL reversa porque ela é "buscadora de modo" (mode-seeking). Diferente da KL direta, que pode achatar a evidência, a KL reversa preserva tanto a estrutura semântica relativa (semântica interclasses) quanto a força absoluta da evidência. Isso evita que o modelo colapse em erros espuriamente confiantes, garantindo que, se a amostra limpa possui baixa evidência (alta incerteza), a amostra adversária não seja forçada a ter alta evidência.

C. Pipeline de Treinamento
O framework realiza o ajuste fino (fine-tuning) do codificador de imagem do CLIP, mantendo o codificador de texto congelado. Pares de amostras limpas e adversárias (geradas via $\ell_\infty$-PGD) são processados para calcular a perda conjunta $L = L_{ce} + \lambda L_{ucr}$, onde $\lambda$ equilibra a supervisão discriminativa e a calibração de incerteza.

3. Principais Contribuições

1. Formulação Baseada em Dirichlet: O artigo fornece um método teoricamente fundamentado e em forma fechada para interpretar os logits do aprendizado contrastivo como evidência de Dirichlet, permitindo a decomposição eficiente da incerteza nos componentes aleatório e epistêmico.
2. Framework UCAT: Um novo método de ajuste fino adversário que regulariza distribuições de Dirichlet inteiras. Esta abordagem preserva conjuntamente as relações semânticas interclasses e calibra a força da evidência, abordando o problema de má calibração onde inputs adversários induzem excesso de confiança.
3. Validação Empírica Extensa: O método é validado em 16 benchmarks de rótulo único e no dataset multi-rótulo MS-COCO. Ele demonstra melhorias significativas na calibração de incerteza (restaurando a ordenação esperada da incerteza: limpo < adversário) ao mesmo tempo em que alcança robustez adversária competitiva e preserva a acurácia em dados limpos.

4. Resultados Experimentais

• Calibração de Incerteza: Experimentos mostram que o CLIP vanilla exibe menor incerteza preditiva em inputs adversários do que em inputs limpos (um sinal de má calibração). O UCAT restaura uma ordenação consistente onde a incerteza aumenta com a dificuldade do input, refletindo fielmente a mudança na distribuição.
• Robustez: Em 16 datasets de rótulo único (incluindo CIFAR-10/100, ImageNet e datasets de detalhes finos), o UCAT atinge o estado da arte ou o segundo melhor desempenho em termos da média harmônica de acurácia limpa e adversária sob vários ataques (PGD, CW, AutoAttack).
• Robustez Multi-rótulo: No dataset MS-COCO, o UCAT atinge os melhores scores de precisão, recall e F1 para o top-3, indicando estabilidade superior em cenários ambíguos de múltiplos rótulos onde preservar a ordenação semântica relativa é crítico.
• Generalização: O método generaliza efetivamente através de diferentes backbones do CLIP (B/16, B/32) e outros VLMs contrastivos (SLIP), sugerindo que a abordagem não está presa a uma arquitetura específica.
• Estudos de Ablação: Os autores confirmam que a direção da KL reversa e a formulação de Dirichlet (em oposição ao simples alinhamento de softmax) são críticas para o desempenho. O método permanece robusto em diferentes forças de regularização ($\lambda$) e coeficientes de calibração ($\tau'$).

5. Significância e Alegações

O artigo afirma preencher uma lacuna crítica de confiabilidade em modelos de visão-linguagem ao demonstrar que a robustez não trata apenas de acurácia, mas também de incerteza calibrada. Ao revelar que ataques adversários suprimem a incerteza no CLIP, os autores argumentam que métodos anteriores focados apenas no alinhamento de logits são insuficientes.

A significância deste trabalho reside em:

• Insight Teórico: Fornecer um mapeamento principiado entre os logits do aprendizado contrastivo e o aprendizado profundo de evidência (distribuições de Dirichlet), oferecendo uma nova perspectiva sobre como modelar a incerteza em configurações de vocabulário aberto.
• Confiabilidade Prática: Oferecer um método que garante que os modelos não se tornem excessivamente confiantes quando atacados, o que é essencial para implantar VLMs em cenários de missão crítica ou de mundo aberto.
• Escalabilidade: Demonstrar que a calibração de incerteza pode ser alcançada através de fine-tuning sem a necessidade de retreinar do zero ou realizar mudanças arquiteturais complexas, tornando-o aplicável a modelos de fundação existentes.

Os autores mantêm um tom modesto quanto à implantação no mundo real, observando que, embora a abordagem melhore a compreensão do comportamento do modelo sob perturbações adversárias, qualquer aplicação prática exigiria uma avaliação de risco rigorosa e salvaguardas adicionais. O trabalho é posicionado como um avanço metodológico na modelagem de incerteza e avaliação de robustez para frameworks de aprendizado contrastivo.