🤖 AI

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

Este artigo propõe um framework de ajuste fino adversarial duplo que otimiza conjuntamente os sinais de supervisão visual e semântica para aumentar significativamente a robustez e a generalizabilidade entre tarefas de Grandes Modelos de Visão-Linguagem contra ataques adversariais, sem exigir modificações arquitetônicas ou retreinamento específico para tarefas.

Autores originais: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Publicado 2026-07-22

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas veem imagens, mas realmente as "entendem", conversando sobre o que há dentro delas como um amigo olhando para um álbum de fotos. Este é o reino dos Modelos de Linguagem-Visão de Grande Escala (LVLMs), os cérebros de IA superinteligentes por trás de ferramentas que podem descrever um pôr do sol, responder perguntas sobre um diagrama ou contar uma história a partir de uma única imagem. Para fazer esses gigantes funcionarem, os cientistas os ensinam a conectar imagens com palavras, muito parecido com encaixar uma peça de quebra-cabeça em seu lugar perfeito. No entanto, há um problema sorrateiro: esses cérebros de IA são surpreendentemente frágeis. Assim como um mágico pode ser enganado por uma leve distração, esses modelos podem ser ludibriados por "ataques adversários" — pequenos ajustes invisíveis em uma imagem que parecem estática para o olho humano, mas fazem a IA perder completamente o juízo, vendo um cachorro como uma torradeira ou um ônibus como uma girafa. Isso é um grande problema porque, à medida que começamos a confiar nesses modelos para trabalhos importantes, precisamos garantir que eles não sejam enganados por ruído digital.

Conheça uma nova equipe de pesquisadores que decidiu impedir que a IA seja tão facilmente enganada. Eles perceberam que as tentativas anteriores de "fortalecer" esses modelos eram como treinar um boxeador para lutar apenas contra um oponente específico; os modelos ficavam bons naquela luta específica, mas não consegam lidar com qualquer outra coisa. Os pesquisadores propuseram um novo e inteligente campo de treinamento chamado Dual Adversarial Fine-Tuning (DAFT). Em vez de apenas ensinar a IA a ignorar o ruído, eles ensinaram duas lições ao mesmo tempo. Primeiro, mostraram a versão "limpa" da imagem (a verdade) para manter sua memória afiada. Segundo, usaram histórias ricas e descritivas (legendas) sobre a imagem em vez de rótulos simples como "gato" ou "cachorro". Pense nisso como ensinar um aluno não apenas a memorizar a palavra "maçã", mas a entender todo o conceito de uma maçã — sua vermelhidão, sua crocância e como ela se encaixa em uma fruteira — para que, mesmo que alguém rabisque a imagem, o aluno ainda saiba o que ela é.

O artigo constata que essa abordagem de duas frentes funciona maravililhas. Quando testaram seu novo método contra os antigos, os modelos treinados com DAFT mantiveram a calma e a compostura mesmo quando as imagens foram atacadas com ruído invisível. Quer a tarefa fosse adivinhar o que uma foto era (classificação), escrever uma frase sobre ela (legendagem) ou responder a uma pergunta difícil (resposta a perguntas visuais), o novo método manteve a calma. Os pesquisadores mostraram que, ao substituir os "olhos" da IA pela versão recém-treinada, todo o sistema tornou-se muito mais difícil de enganar, sem a necessidade de reconstruir todo o cérebro do zero. É um pouco como dar a um super-herói um novo par de óculos que filtra as coisas ruins enquanto mantém as coisas boas cristalinas.

A História do Artigo

O Problema: A IA "Um Truque Só"
Os Modelos de Linguagem-Visão de Grande Escala (LVLMs) são incríveis. Eles podem olhar para uma foto de uma roda-gigante e dizer que é uma "roda-gigante", ou responder a uma pergunta como "O que há no meio?". Mas esses modelos têm uma fraqueza secreta: são facilmente enganados. Se você adicionar um pouco de estática invisível a uma imagem (um "ataque adversário"), a IA pode subitamente pensar que a roda-gigante é um "ônibus" ou uma "girafa".

Cientistas já tentaram consertar isso antes. Alguns tentaram treinar a IA usando rótulos simples (como "gato" ou "ônibus") enquanto mostravam essas imagens truquesas e ruidosas. Mas o artigo argumenta que isso é como treinar um cachorro para sentar apenas quando você diz "senta" em uma sala silenciosa; se você disser em um parque barulhento, o cachorro fica confuso. Esses métodos funcionaram bem para tarefas simples, mas falharam quando a IA precisava realizar coisas mais difíceis, como escrever uma história ou responder a perguntas complexas. Outros métodos tentaram ensinar a IA sem nenhum rótulo, mas não ficaram fortes o suficiente para lidar com os ataques realmente complicados.

A Solução: Um Campo de Treinamento de Duas Partes
Os autores deste artigo, Sibo Wang e sua equipe, criaram uma nova maneira de treinar a IA chamada DAFT (Dual Adversarial Fine-Tuning). Eles perceberam que, para tornar a IA verdadeiramente robusta, ela precisava de dois tipos de orientação ao mesmo tempo, como um aluno estudando com dois professores diferentes.

O Professor "Visual" (A Âncora): Esta parte do treinamento utiliza uma versão congelada e original dos "olhos" da IA (o codificador de visão). Ela atua como um guia de referência. Quando a IA olha para uma imagem ruidosa e problemática, este professor diz: "Ei, lembre-se de como a imagem real se parece? Não esqueça as características originais". Isso impede que a IA se confunda e sofra overfitting (memorizando o ruído em vez da verdade).
O Professor "Semântico" (O Contador de Histórias): Esta é a grande inovação. Em vez de usar rótulos simples como "ônibus" ou "gato", este professor usa frases completas ou legendas que descrevem a imagem em detalhes. Por exemplo, em vez de apenas dizer "ônibus", ele diz: "Um ônibus azul dirigindo por uma rua chuvosa". A IA é então treinada para corresponder a imagem ruidosa com essa descrição rica. Isso ajuda a IA a entender o significado e o contexto da imagem, não apenas a categoria.

A magia acontece porque esses dois professores trabalham juntos. O professor "Visual" mantém a IA fundamentada na realidade, enquanto o professor "Semântico" a ensina a entender o significado profundo da imagem, mesmo quando a imagem está bagunçada.

Os Resultados: Mais Fortes e Mais Inteligentes
A equipe testou seu novo método em uma série de tarefas. Eles pegaram um modelo de IA popular chamado LLaVA e trocaram seus "olhos" originais pela versão recém-fortalecida deles. Depois, atacaram o modelo com ruído invisível para ver o que acontecia.

Classificação Zero-Shot: Quando questionado a identificar objetos em fotos que nunca tinha visto antes, o modelo DAFT foi muito melhor em ignorar o ruído. Em média, ele melhorou a precisidade em cerca de 12% em comparação com os métodos antigos que usavam rótulos simples.
Legendagem e Q&A (Perguntas e Respostas): Foi aqui que o novo método realmente brilhou. Quando solicitados a escrever uma descrição de uma imagem ruidosa ou responder a uma pergunta, os modelos antigos frequentemente davam respostas sem sentido (como chamar um guindaste de "girafa"). O modelo DAFT, no entanto, continuou acertando. Por exemplo, em um teste, enquanto outros modelos falharam em identificar corretamente uma "roda-gigante" sob ataque, o modelo DAFT acertou em cheio.
O Compromisso (Trade-off): O artigo observa que, às vezes, tornar um modelo tão resistente a ataques pode torná-lo ligeiramente pior ao ver imagens limpas. No entanto, o DAFT conseguiu manter seu desempenho em imagens limpas quase tão bom quanto os melhores métodos existentes, sendo muito mais forte contra ataques.

O Que o Artigo Descarta
Os autores são muito claros sobre o que não funciona. Eles argumentam que usar apenas rótulos de categoria (como "gato" ou "ônibus") como único guia não é suficiente porque leva ao overfitting. Eles também mostram que usar apenas métodos não supervisionados (aprender sem ajuda de texto) não é forte o suficiente contra os ataques mais avançados. Seus experimentos sugerem que você realmente precisa dessa combinação de fundamentação visual e compreensão semântica rica para obter os melhores resultados.

O Quão Certo Eles Estão?
Os autores realizaram experimentos extensos em muitos conjuntos de dados diferentes (como Caltech101, COCO e VQAv2) e sob diferentes níveis de ruído (especificamente orçamentos de perturbação de $\epsilon = 2/255$ e $\epsilon = 4/255$ ). Eles compararam seu método com os melhores métodos atuais (como TeCoA e FARE) e descobriram que o DAFT superou consistentemente a eles. Eles não apenas simularam isso; eles realmente treinaram os modelos e os testaram em tarefas do mundo real. Os resultados são apresentados como fatos medidos de seus experimentos, mostrando uma melhoria clara na robustez.

A Conclusão
Este artigo sugere que, para tornar os modelos de visão de IA verdadeiramente seguros e confiáveis, não podemos apenas ensiná-los a ignorar o ruído; temos que ensiná-los a entender a história por trás da imagem enquanto mantêm um firme controle sobre os fatos visuais. Ao usar uma abordagem "dual" que combina uma âncora visual com legendas descritivas ricas, os pesquisadores construíram um modelo que é muito mais difícil de enganar, representando um passo significativo para a segurança dessas poderosas ferramentas de IA.

Resumo Técnico: Ajuste Fino Adversário Duplo para Aprimorar a Robustez de Grandes Modelos de Linguagem e Visão

Declaração do Problema

Grandes Modelos de Linguagem e Visão (LVLMs), como LLaVA e GPT-4V, demonstraram capacidades notáveis de raciocínio e compreensão de dados multimodais. No entanto, eles permanecem inerentemente vulneráveis a ataques adversários visuais, onde ruídos imperceptíveis em entradas visuais podem forçar os modelos a gerar saídas errôneas, como legendas incorretas ou respostas incorretas a perguntas visuais.

As estratégias de defesa existentes enfrentam duas limitações críticas quando aplicadas a LVLMs:

Sobreajuste (Overfitting) e Generalização Pobre na Supervisão Alinhada por Categoria: Métodos como o TeCoA dependem de embeddings de texto fixos (ex: rótulos de classes do ImageNet) para supervisão. Embora eficaz para classificação zero-shot dentro de categorias predefinidas, essa abordagem carece da riqueza semântica necessária para tarefas complexas como legendagem de imagens e VQA (Visual Question Answering). Consequentemente, os ganhos de robustez muitas vezes falham em se transferir para conjuntos de dados não vistos ou tarefas multimodais.
Ganhos Limitados de Ajuste Fino Não Supervisionado: Métodos não supervisionados como o FARE melhoram a generalização ao alinhar características adversárias e limpas sem dados rotulados. No entanto, eles focam primariamente em minimizar discrepâncias de características e frequentemente falham em defender contra ataques sofisticados que visam especificamente os mecanismos de alinhamento imagem-texto dos LVLMs.

Além disso, realizar o treinamento adversário do zero para grandes modelos é computacionalmente proibitivo. Portanto, o desafio reside no desenvolvimento de uma estratégia de ajuste fino adversário que aumente a robustez em diversas tarefas de downstream sem exigir o retreinamento total do modelo ou adaptações específicas para cada tarefa.

Metodologia: Ajuste Fino Adversário Duplo (DAFT)

Os autores propõem o DAFT, um framework de ajuste fino adversário duplo projetado para otimizar conjuntamente os sinais de supervisão visual e semântica. O método foca no ajuste fino do codificador de visão (especificamente o codificador de visão do CLIP) de um LVLM. Uma vez ajustado, este codificador robusto pode substituir o codificador original em modelos como o LLaVA, herdando resiliência adversária sem modificar o modelo de linguagem ou retreinar todo o sistema.

O framework consiste em dois ramos sinérgicos:

1. Ramo de Supervisão Visual

Este ramo visa preservar as capacidades de generalização do modelo pré-treinado e mitigar o sobreajuste a exemplos adversários específicos.

Mecanismo: Utiliza um codificador de visão original congelado ( $F_{ori}$ ) para extrair características de imagens limpas.
Objetivo: O modelo alvo ( $F_\theta$ ) é treinado para minimizar a distância $L_2$ entre as características de exemplos adversários ( $x_a$ ) e as características de imagens limpas ( $x$ ) extraídas pelo codificador congelado.
Função de Perda: $L_{vis} = ||F_{ori}(x) - F_\theta(x_a)||_2^2$ .
Efeito: Isso garante que o modelo alvo retenha as características robustas e generalizáveis do modelo fundamental original.

2. Ramo de Supervisão Semântica

Este ramo aborda a necessidade de um rico alinhamento semântico para defender contra ataques que visam a coerência multimodal.

Mecanismo: Em vez de usar simples rótulos de categoria, este ramo emprega legendas descritivas como o sinal de supervisão semântica.
Objetivo: Alinha exemplos adversários com suas legendas descritivas de verdade fundamental (ground-truth) enquanto os afasta de legendas não relacionadas dentro do mesmo lote (batch).
Função de Perda: É utilizada uma perda de triplet onde a característica adversária é a âncora, o embedding da legenda de verdade fundamental é a amostra positiva ( $P_o$ ), e a amostra negativa mais difícil ("hardest negative") ( $N_e$ ) — definida como a legenda no lote mais similar à característica adversária — é usada para maximizar a margem.
Função de Perda: $L_{sem} = \max(\frac{F_\theta(x_a) \cdot T_\phi(N_e)}{||F_\theta(x_a)|| ||T_\phi(N_e)||} - \frac{F_\theta(x_a) \cdot T_\phi(P_o)}{||F_\theta(x_a)|| ||T_\phi(P_o)||} + \alpha, 0)$ .
Efeito: Isso aproveita a rica informação contextual das legendas para manter a coerência semântica sob ataque, o que é crucial para tarefas como VQA e legendagem.

Otimização

A função objetivo final combina ambos os ramos: $L_{DAFT} = L_{sem} + \gamma L_{vis}$ . O processo de treinamento envolve uma otimização min-max alternada:

Geração de Ataque: Gera exemplos adversários $x_a$ maximizando $L_{DAFT}$ usando Gradiente Descendente Projetado (PGD).
Atualização de Parâmetros: Atualiza os parâmetros do codificador de visão $\theta$ minimizando $L_{DAFT}$ nos exemplos adversários gerados.

Principais Contribuições

Framework de Supervisão Dupla: A proposta do DAFT, que otimiza conjuntamente os sinais de supervisão visual e semântica para aumentar a robustez cross-task em LVLMs enquanto mitiga o sobreajuste.
Supervisão Semântica Guiada por Legenda: Tanto quanto o conhecimento dos autores, este é o primeiro framework que integra legendas descritivas (em vez de rótulos de classe) como supervisão semântica para treinamento adversário. Esta abordagem melhora significativamente a robustez em tarefas multimodais ao utilizar informações semânticas mais ricas.
Robustez Plug-and-Play: O método alcança robustez cross-task simplesmente substituindo o codificador de visão CLIP no LVLM original, não exigindo retreinamento específico para a tarefa ou modificações na arquitetura.

Resultados Experimentais

Os autores avaliaram o DAFT em tarefas de classificação zero-shot, legendagem de imagem e VQA através de múltiplos datasets (ex: Caltech101, COCO, VQAv2) usando orçamentos de perturbação de $\epsilon = 2/255$ e $\epsilon = 4/255$ .

Classificação Zero-Shot: O DAFT superou métodos de estado da arte (TeCoA, PMG-AFT, FARE). Sob $\epsilon = 2/255$ , melhorou a acurácia robusta média em aproximadamente 12% em relação aos métodos supervisionados por rótulos de categoria e em 1,2% em relação ao método não supervisionado FARE, mantendo uma acurácia limpa comparável.
Legendagem de Imagem e VQA: O DAFT demonstrou robustez superior em tarefas generativas. Comparado ao FARE (o antigo SOTA para generalização), o DAFT melhorou a pontuação CIDEr média em 2,3 e a acurácia média de VQA em 1,1% sob $\epsilon = 2/255$ . Sob ataques mais fortes ( $\epsilon = 4/255$ ), as melhorias foram ainda mais pronunciadas.
Estudos de Ablação:
- Componentes de Perda: O uso de ambas as supervisões visual e semântica rendeu os melhores resultados. O uso apenas de supervisão semântica levou a um sobreajuste significativo, enquanto a supervisão visual sozinha falhou em maximizar a robustez.
- Tipo de Supervisão: Substituir legendas descritivas por rótulos de categoria resultou em uma queda de 12,4% na acurácia de classificação zero-shot e uma queda de 15,2 pontos nos scores de CIDEr, validando a superioridade da supervisão baseada em legendas.
- Amostragem Negativa: Selecionar a amostra negativa mais difícil (mais similar à característica adversária) foi crítico; usar negativos "fáceis" resultou em quase zero de robustez.
- Hiperparâmetros: O desempenho ideal foi alcançado com uma margem $\alpha=0.2$ e um coeficiente de equilíbrio $\gamma=0.5$ .

Significância e Alegações

O artigo afirma que o DAFT aborda a lacuna crítica na pesquisa de defesa de LVLMs, onde os métodos existentes ou sofrem sobreajuste a categorias de classificação específicas ou falham em proteger mecanismos complexos de alinhamento multimodal. Ao unificar o alinhamento visual e semântico sob condições de ataque, o DAFT fornece uma solução escalável que aumenta a robustez adversária em diversas tarefas de downstream (classificação, legendagem, VQA) sem o custo computacional de um retreinamento total do modelo. Os autores posicionam este trabalho como um passo em direção à segurança do deployment de LVLMs em aplicações sensíveis à segurança, garantindo um desempenho consistente mesmo quando as entradas visuais são perturbadas.

Os autores observam limitações, incluindo o foco em modelos baseados em CLIP, a natureza de caixa branca (white-box) da defesa e a dependência do dataset COCO para o treinamento, sugerindo que trabalhos futuros poderiam explorar arquiteturas não-CLIP, defesas de caixa preta (black-box) e datasets de legendas maiores.