Semantic-aware Adversarial Fine-tuning for CLIP

Título: Ajuste Fino Adversarial Consciente de Semântica para CLIP (Semantic-aware Adversarial Fine-tuning for CLIP)

1. Problema e Motivação

O modelo CLIP (Contrastive Language-Image Pre-training) é amplamente utilizado para tarefas de classificação zero-shot e modelos de linguagem-vídeo (VLMs). No entanto, ele é vulnerável a exemplos adversariais (AEs).

• Limitação Atual: Métodos existentes de ajuste fino adversarial (como TeCoA, FARE, TGA-ZSR) geram exemplos adversariais minimizando a similaridade de cosseno entre a imagem e um único template de texto manual (ex: "Uma foto de um {rótulo}").
• A Descoberta Crítica: Os autores demonstram que essa abordagem é insuficiente. Exemplos adversariais gerados para enganar o CLIP com base em um único template frequentemente falham quando avaliados sob métricas de similaridade semanticamente mais ricas (como CuPL ou WCA).
• Consequência: Ao treinar o codificador de imagem do CLIP com esses AEs "fracos" (que só funcionam contra templates simples), o modelo torna-se menos robusto contra variações linguísticas e semânticas reais. O ataque otimizado para um template específico não generaliza para descrições textuais mais complexas e variadas.

2. Metodologia: SAFT (Semantic-aware Adversarial Fine-Tuning)

Para superar essas limitações, os autores propõem o SAFT, um novo framework que gera exemplos adversariais conscientes de semântica. O processo é dividido em três componentes principais:

A. Geração de Descrição Consciente de Alucinação (Hallucination-aware Description Generation)

• Em vez de usar templates fixos, o método utiliza um Modelo de Fundação (Foundation Model), como um LLM (ex: GPT-4o-mini) ou MLLM, para gerar múltiplas descrições textuais ricas para cada classe (ex: para "cão": "um mamífero peludo que late", "um animal de estimação domesticado", etc.).
• Filtragem Semântica: Como os LLMs podem alucinar (gerar fatos incorretos, ex: "um cão com asas"), o SAFT implementa uma estratégia de filtragem. Calcula-se a similaridade de cosseno entre a descrição gerada e o rótulo original (codificado pelo encoder de texto do CLIP). Apenas as top-K descrições com maior relevância são mantidas, descartando as alucinações.

B. Ataque de Ensemble Semântico (Semantic-ensemble Attack)

• O exemplo adversarial não é gerado para enganar um único prompt, mas sim para maximizar a dissimilaridade média entre a imagem perturbada e o conjunto (ensemble) das descrições textuais refinadas.
• O objetivo é criar perturbações que sejam robustas a variações linguísticas, forçando o modelo a alinhar a imagem com a "variedade semântica" da classe, e não apenas com uma frase específica.

C. Objetivo de Aprendizado

• O codificador de imagem do CLIP é ajustado (fine-tuned) minimizando a perda de dissimilaridade média entre as imagens perturbadas e o ensemble de descrições textuais.
• Isso força o encoder a aprender representações que são invariantes tanto a perturbações visuais quanto a variações linguísticas.

3. Contribuições Principais

1. Observação Teórica: Evidenciam que a métrica de similaridade baseada em um único template manual é inadequada para avaliar a robustez do CLIP, levando a AEs que não generalizam para descrições semânticas mais ricas.
2. Novo Framework (SAFT): Propõem o primeiro método de ajuste fino adversarial que utiliza um ensemble de descrições textuais refinadas (geradas por LLMs e filtradas) para criar exemplos adversariais mais generalizáveis.
3. Filtragem de Alucinações: Introduzem um mecanismo prático para garantir que as descrições geradas por LLMs sejam semanticamente relevantes e factualmente corretas antes de serem usadas no treinamento.
4. Desempenho Superior: Demonstram empiricamente que o SAFT supera os métodos atuais (SOTA) em 16 conjuntos de dados, melhorando significativamente o equilíbrio entre precisão clean e robustez adversarial zero-shot.

4. Resultados Experimentais

Os experimentos foram realizados em 16 conjuntos de dados (incluindo Tiny-ImageNet como fonte e 15 conjuntos zero-shot como alvo), utilizando ataques como PGD-100, AutoAttack e C&W.

• Robustez Zero-Shot: O SAFT (nas variantes SAFT-L e SAFT-M) superou o estado da arte (TGA-ZSR) em 3,85% de média na precisão robusta zero-shot em 15 conjuntos de dados.
• Precisão Clean: O SAFT alcançou a segunda melhor precisão clean geral entre os métodos testados, demonstrando que a robustez não foi sacrificada em detrimento da precisão em dados limpos (melhorando o trade-off precisão-robustez).
• Escalabilidade: O método escalou bem para modelos maiores (CLIP-L/14), superando o FARE em ~10% de precisão robusta.
• Generalização:
  • Templates Invisíveis: O modelo treinado com SAFT generalizou-se melhor para 13 templates de texto não vistos durante o treinamento (incluindo variações como "um desenho de um {rótulo}" ou "uma tatuagem de {rótulo}").
  • Tarefas Diversas: O método também foi aplicado com sucesso em tarefas de recuperação imagem-texto e em conjuntos de dados fora de domínio (como desenhos e arte estilizada), mantendo a superioridade sobre os baselines.
• Custo Computacional: Embora o SAFT exija mais memória e tempo de treinamento (devido ao ensemble de textos) comparado a métodos simples, o custo é considerado viável dado o ganho significativo de desempenho.

5. Significado e Impacto

Este trabalho representa um avanço fundamental na segurança de modelos de linguagem-vídeo.

• Mudança de Paradigma: Demonstra que a robustez do CLIP não pode ser alcançada apenas otimizando contra prompts fixos; é necessário considerar a diversidade semântica das descrições textuais.
• Aplicabilidade: O framework oferece uma rota prática para tornar os VLMs mais seguros para implantação em cenários do mundo real, onde as descrições de objetos variam naturalmente.
• Futuro: Abre caminho para futuras pesquisas que integrem supervisionamento textual mais rico e complexo nos processos de treinamento adversarial de modelos multimodais.

Em resumo, o SAFT resolve a fragilidade dos métodos de ajuste fino adversarial atuais ao garantir que o modelo aprenda a resistir a ataques que exploram não apenas a aparência visual, mas também a ambiguidade e a riqueza semântica da linguagem.