Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

1. O Problema

Os Modelos de Visão e Linguagem (VLMs), como o CLIP, demonstram capacidades impressionantes de inferência zero-shot (sem treinamento específico para a tarefa). No entanto, eles são altamente vulneráveis a ataques adversariais, onde pequenas perturbações imperceptíveis nas imagens podem levar a previsões erradas.

Para mitigar isso, métodos recentes de Ajuste Fino Adversarial (AFT - Adversarial Finetuning) tentam treinar o codificador de visão do CLIP usando exemplos adversariais gerados a partir de conjuntos de dados de classificação bem curados (como ImageNet), alinhando essas imagens perturbadas com seus rótulos de classe corretos via função de perda de entropia cruzada.

As limitações identificadas pelos autores são:

• Desvio do Processo de Pré-treinamento: O CLIP foi pré-treinado para alinhar imagens e textos usando uma perda contrastiva em escala web, não para classificação de categorias fixas. O AFT tradicional ignora essa distribuição de dados e objetivo de aprendizado.
• Degradação de Capacidades Zero-shot: O ajuste fino em dados de classificação (ImageNet) degrada significativamente o conhecimento geral do modelo e sua capacidade de generalização.
• Transferibilidade Limitada: A robustez adquirida em um domínio (ImageNet) não se transfere bem para outros domínios ou datasets downstream.
• Ruído e Distorção: O uso de datasets curados ignora a diversidade e a natureza "ruidosa" dos dados da web, que são essenciais para a robustez do CLIP.

2. Metodologia: AdvFLYP

Os autores propõem um novo paradigma chamado AdvFLYP (Adversarially Finetune Like You Pretrain - Ajuste Fino Adversarial como se Estivesse Pré-treinando). A ideia central é respeitar rigorosamente a receita de treinamento original do CLIP durante o ajuste fino adversarial.

Principais Componentes:

1. Dados de Treinamento (Distribuição Web-scale):

   • Em vez de usar ImageNet (dados rotulados), o AdvFLYP utiliza 1 milhão de pares imagem-texto coletados da web (amostrados do LAION-400M).
   • Isso simula a distribuição de dados original do pré-treinamento do CLIP, mantendo a diversidade e a natureza não supervisionada dos dados.

2. Objetivo de Aprendizado (Perda Contrastiva):

   • O modelo não é ajustado para classificar imagens em categorias fixas.
   • Em vez disso, utiliza-se a perda contrastiva original do CLIP. O objetivo é maximizar a similaridade entre uma imagem adversarial perturbada e seu texto descritivo correspondente, enquanto se minimiza a similaridade com outros textos no batch.
   • As perturbações adversariais são geradas para maximizar essa perda contrastiva dentro do batch, e não apenas a perda de entropia cruzada em relação a rótulos.

3. Regularização (Para Lidar com Ruído):

   • Como os dados da web são ruidosos, a criação de exemplos adversariais pode distorcer excessivamente os embeddings (representações vetoriais) no espaço latente, prejudicando o codificador de visão.
   • Para mitigar isso, os autores propõem dois termos de regularização:
     • Regularização de Nível de Logit ($L_{logit}$): Penaliza a divergência KL entre as probabilidades de saída do modelo ajustado e as do CLIP original (congelado) para imagens adversariais. Isso melhora a robustez e a transferência.
     • Regularização de Nível de Recurso/Feature ($L_{feat}$): Penaliza a distância (norma de Frobenius) entre os recursos (features) das imagens adversariais geradas pelo modelo ajustado e os recursos das mesmas imagens limpas (ou gerados pelo CLIP original). Isso preserva a acuracidade limpa (clean accuracy) e as capacidades zero-shot.

4. Otimização:

   • O processo segue um esquema min-max: gera-se as perturbações para maximizar a perda contrastiva e, em seguida, atualizam-se os pesos do codificador de visão para minimizar essa perda (mais os termos de regularização).

3. Contribuições Chave

• Novo Paradigma (AdvFLYP): Propõe-se um método simples e eficaz que alinha o ajuste fino adversarial com a distribuição de dados e o objetivo de perda (contrastiva) do pré-treinamento do CLIP, desafiando a prática padrão de usar datasets de classificação e perda de entropia cruzada.
• Regularização Híbrida: Demonstra-se que, neste contexto específico, a regularização de nível de logit beneficia a robustez adversarial, enquanto a regularização de nível de feature é crucial para preservar a acuracidade em imagens limpas (algo que não era observado da mesma forma em métodos anteriores baseados em TeCoA).
• Superioridade Empírica: O método supera os métodos de estado da arte (SOTA) em robustez e retenção de capacidades zero-shot.

4. Resultados Experimentais

Os autores avaliaram o AdvFLYP em 14 datasets downstream abrangendo diversos domínios (reconhecimento de objetos, cenas, objetos finos, etc.) e sob três tipos de ataques adversariais (PGD, CW, AutoAttack).

• Robustez Adversarial: O AdvFLYP básico atingiu uma acurácia robusta média de 35,61%, superando o paradigma padrão (TeCoA) e suas variações com regularização (PMG-AFT, TGA-ZSR). A versão regularizada completa (AdvFLYPfull) alcançou 38,39% de acurácia robusta média.
• Acuracidade Limpa (Clean Accuracy): O AdvFLYPfull manteve uma acuracidade limpa média de 55,84%, mitigando a troca (trade-off) entre robustez e desempenho em dados limpos, superando significativamente os métodos supervisionados tradicionais.
• Transferibilidade: O modelo demonstrou melhor generalização em domínios fora da distribuição (OOD) e em variantes do ImageNet (ImageNet-R, ImageNet-A, etc.), provando que respeitar a distribuição de dados do pré-treinamento é fundamental para a transferência de robustez.
• Ataques Mais Fortes: Sob orçamentos de ataque maiores ($\epsilon = 2/255$ e $4/255$), o AdvFLYP continuou a superar consistentemente os métodos concorrentes.

5. Significado e Conclusão

Este trabalho é fundamental porque reavalia a premissa de que o ajuste fino adversarial para VLMs deve ser tratado como um processo separado do pré-treinamento, focado apenas em tarefas de classificação downstream.

• Mudança de Paradigma: O artigo argumenta que para obter robustez verdadeira e generalizável em VLMs, o ajuste fino deve respeitar a "receita" de pré-treinamento (dados web-scale + perda contrastiva).
• Eficiência: A abordagem é simples, intuitiva e não requer arquiteturas complexas ou atenção guiada por texto, apenas a correta formulação do objetivo de aprendizado e dos dados.
• Impacto Futuro: Estabelece um novo padrão para o ajuste fino de VLMs, sugerindo que a robustez adversarial está intrinsecamente ligada à fidelidade aos dados e objetivos originais do modelo pré-treinado.

Em resumo, o AdvFLYP demonstra que "ajustar como você pré-treina" é a chave para desbloquear a robustez adversarial em modelos de visão e linguagem, superando as limitações dos métodos baseados em classificação supervisionada.