Unifying Adversarially Robust Model Experts in Vision-Language Models

Resumo Técnico: Unificando Especialistas de Modelos Robustos Adversarialmente em Modelos de Visão-Linguagem

Declaração do Problema
Modelos de Visão-Linguagem (VLMs), como o CLIP, são altamente suscetíveis a ataques adversariais, nos quais perturbações imperceptíveis podem alterar drasticamente as previsões. Embora o ajuste fino (fine-tuning) adversarial seja uma estratégia de defesa primária, os métodos existentes tipicamente produzem "especialistas de modelos robustos" distintos e, muitas vezes, com características conflitantes. Especificamente, o artigo identifica duas filosofias dominantes de ajuste fino:

1. Especialistas de Alinhamento Imagem-Texto (ex: TeCoA): Estes dependem do espaço de incorporação (embedding) compartilhado para guiar o treinamento, maximizando o alinhamento entre as imagens e os prompts de texto. Eles apresentam bom desempenho em nomes de classes aprendidos, mas têm dificuldade em manter a robustez em classes não vistas ou novos prompts de texto.
2. Especialistas de Invariância de Imagem (ex: FARE): Estes focam em preservar as representações visuais, minimizando a distância entre as incorporações de imagem limpas e adversariais. Eles generalizam melhor para conjuntos de dados não vistos, mas frequentemente apresentam desempenho inferior em classes conhecidas porque não utilizam explicitamente a representação compartilhada imagem-texto.

O desafio central é que esses especialistas divergem durante o treinamento devido aos seus diferentes objetivos de otimização, tornando instável simplesmente mesclá-los posteriormente. Tentativas anteriores de combinar modelos frequentemente exigem a sobreposição periódica de parâmetros para manter a estabilidade, o que limita a exploração e a especialização dos especialistas individuais.

Metodologia: Estrutura CARE
Os autores propõem o CARE (Collaborative Adversarial Robustness fine-tuning using Embedding alignment), um framework que treina múltiplos modelos especialistas simultaneamente enquanto facilita a troca de conhecimento para evitar a divergência. O framework integra dois especialistas específicos: um especialista de Alinhamento (baseado no TeCoA) e um especialista de Invariância (baseado no FARE).

O processo CARE consiste em quatro etapas principais:

1. Inicialização de Perturbação Universal (GAIP): Em vez de gerar ruído aleatório independente para cada especialista, o CARE utiliza um Processo de Inicialização de Perturbação Adversarial Global (GAIP). Isso cria uma perturbação universal compartilhada ao alinhar os logits perturbados com o especialista de Alinhamento e as incorporações de imagem com o especialista de Invariância usando similaridade de cosseno negativa. Isso garante um ponto de partida coerente para a geração adversarial.
2. Geração Adversarial Independente: Cada especialista gera suas amostras adversariais específicas usando a perturbação inicializada. O especialista de Alinhamento utiliza perda de Entropia Cruzada (CE), enquanto o especialista de Invariância utiliza perda de distância $L_2$.
3. Harmonização de Especialistas: Esta é a inovação central. Para evitar que os especialistas se afastem, um mecanismo de harmonização no espaço de incorporação é aplicado.
   • O especialista de Invariância alinha seus logits limpos (que normalmente não otimiza) com os do especialista de Alinhamento.
   • O especialista de Alinhamento alinha suas incorporações de imagem limpas com as do especialista de Invariância.
   • A análise teórica (Teorema 1) sugere que o uso de similaridade de cosseno para essas perdas auxiliares atua como um termo de momentum, puxando os especialistas um em direção ao outro e estabilizando o treinamento sem sacrificar suas especializações individuais.
4. Generalização de Conhecimento: Finalmente, os parâmetros do modelo unificado ($\theta_{CARE}$) são atualizados usando uma Média Móvel Exponencial (EMA) dos dois especialistas, ponderada por um fator $\gamma$.

Principais Contribuições

• Framework Unificado: A proposta do CARE, que mantém múltiplos especialistas robustos adversariais e unifica seu conhecimento aprendido em um único modelo, abordando a instabilidade de mesclar modelos especializados.
• Mecanismo de Harmonização: A introdução de uma perda de harmonização no espaço de incorporação que permite a troca de conhecimento entre especialistas durante o treinamento. Isso permite que o modelo aprenda propriedades de robustez complementares (tanto alinhamento imagem-texto quanto invariância de imagem) sem a necessidade de sobreposição disruptiva de parâmetros.
• Validação Empírica: Experimentos extensivos demonstrando que o CARE supera os especialistas treinados individualmente (TeCoA e FARE) tanto na classificação de imagens in-distribution quanto em tarefas de visão-linguagem zero-shot subsequentes.

Resultos
Os autores avaliaram o CARE no ImageNet-1K e em 13 conjuntos de dados adicionais zero-shot, bem como em tarefas subsequentes como legendagem de imagens (COCO, Flickr30k) e visual question answering (TextVQA, VQAv2).

• Classificação de Imagens: O CARE superou consistentemente tanto o TeCoA quanto o FARE. Sob ataques adversariais fortes ($\epsilon = 4/255$), o CARE superou o TeCoA em aproximadamente 2% e o FARE em quase 8% em média. Notavelmente, o CARE herdou a estabilidade do TeCoA em dados in-distribution enquanto manteve as capacidades de generalização do FARE em conjuntos de dados não vistos.
• Tarefas Subsequentes: Em tarefas de legendagem de imagens e VQA, o CARE alcançou a melhor acurácia robusta na maioria das configurações. Embora o FARE tenha mostrado um forte desempenho em dados limpos (devido à sua natureza de invariância), o CARE proporcionou uma robustez superior contra perturbações adversariais, transferindo com sucesso o conhecimento de alinhamento para diferentes codificadores de texto usados em modelos subsequentes (LLaVA).
• Análise Qualitativa: Visualizações t-SNE mostraram que o CARE produziu clusters compactos com fronteiras bem definidas, combinando a alta dispersão do TeCoA e a fragmentação do FARE. Resultados qualitativos de legendagem e VQA demonstraram que o CARE manteve saídas consistentes e corretas sob ataque, enquanto outros modelos frequentemente geravam alucinações ou respostas incorretas.

Significância e Alegações
O artigo afirma que o aprendizado colaborativo entre modelos especialistas é uma direção promissora para melhorar a robustez adversarial em VLMs. A significância do CARE reside em sua capacidade de superar o compromisso entre acurácia in-distribution e generalização zero-shot. Ao harmonizar especialistas através do alinhamento de incorporação, o CARE cria um modelo unificado que herda as forças complementares de diferentes estratégias de treinamento adversarial. Os autores observam que, embora o método exija recursos computacionais adicionais (treinamento de múltiplos modelos), otimizações de engenharia, como a inicialização de perturbação compartilhada e o gerenciamento de memória, mitigam esses custos. O trabalho sugere que pesquisas futuras devem explorar métodos colaborativos que considerem a assimetria entre incorporações de imagem e logits de classe, pois o processo de alinhamento atual mostrou que otimizar ambos nem sempre produz um modelo estritamente melhor se não for cuidadosamente equilibrado.