Resumo Técnico: Prompting Bidirecional em Loop Fechado para Robustez Adversarial de Modelos de Linguagem Visual

1. Declaração do Problema

Modelos de Linguagem Visual (VLMs), como o CLIP, alcançam alto desempenho ao alinhar modalidades visuais e textuais em um espaço de incorporação conjunto. No entanto, esse acoplamento cruzado-tight cria uma vulnerabilidade: pequenas perturbações adversariais na imagem de entrada podem romper o alinhamento semântico entre a imagem e seu texto correspondente, levando a classificações errôneas.

Mecanismos de defesa existentes sofrem de limitações específicas:

• Ajuste Fino Adversarial (AFT): Embora eficaz, requer o re-treinamento do codificador visual, o que é computacionalmente caro e arrisca distorcer a variedade de características pré-treinada, frequentemente degradando a generalização em dados limpos.
• Ajuste de Prompt Adversarial (APT): Esses métodos otimizam prompts suaves enquanto mantêm a rede principal congelada. Contudo, tipicamente geram prompts estáticos compartilhados entre todas as entradas ou dependem de projeções unidirecionais (por exemplo, apenas texto para visão). Eles falham em adaptar-se a perturbações específicas de instância e carecem de um mecanismo para correção mútua entre modalidades.
• Defesas em Tempo de Teste: Muitas focam na consistência do lado visual ou nas características do ataque, em vez de restaurar o alinhamento cruzado-tight subjacente.

A limitação central identificada é que a maioria das defesas trata as modalidades independentemente ou ajusta apenas uma ramificação enquanto trata a outra como contexto fixo. Como ataques adversariais visam especificamente o desacoplamento dessas ramificações, uma defesa que exija recuperação bidirecional — onde características visuais e textuais interagem ativamente para reestabelecer o alinhamento — é necessária.

2. Metodologia: Prompting Bidirecional em Loop Fechado (CLBP)

Os autores propõem o Prompting Bidirecional em Loop Fechado (CLBP), uma defesa em tempo de teste que mantém os codificadores pré-treinados congelados e introduz um ciclo de feedback dinâmico entre as ramificações visual e textual.

Componentes Principais

1. Âncora Semântica (Bootstrap Semântico):
   Para evitar que as atualizações iterativas se desviem da variedade semântica pré-treinada, o loop é inicializado e constrangido por uma "Âncora Semântica". Esta é uma incorporação de texto fixa derivada de um modelo genérico de classe (por exemplo, "uma foto de um {classe}"). Ela atua como um prior estável.

2. Ciclo de Feedback Bidirecional:
   O método alterna entre dois adaptadores leves:

   • Dessensibilização Texto-para-Visão (T2V): As incorporações de texto atuais (inicialmente a âncora) são processadas por um adaptador T2V para gerar prompts visuais. Esses prompts são pré-fixados aos patches da imagem. O codificador visual processa então a imagem condicionada a esses prompts, filtrando efetivamente o ruído adversarial nas características visuais através de atenção cruzada contra o sinal linguístico estável.
   • Refinamento Visão-para-Texto (V2T): As características visuais refinadas resultantes são mapeadas por um adaptador V2T em uma mudança ($\delta$) por instância aplicada ao prompt de texto. Isso atualiza a descrição textual para ser específica à instância da imagem atual, em vez de compartilhada entre todo o conjunto de dados.

   Esse processo forma um loop fechado: $W^{(k)} \xrightarrow{T2V} z^{(k)} \xrightarrow{V2T} W^{(k+1)}$.

3. Estabilidade Teórica:
   Os autores modelam o loop como um mapa de ponto fixo na esfera unitária. Eles provam que, sob a inicialização da âncora, o operador composto é uma contração com uma constante de Lipschitz local $q \approx 10^{-4}$. Isso implica:

   • O loop converge para um ponto fixo único.
   • Uma única atualização bidirecional ($N=1$) é suficiente para alcançar o ponto fixo, pois iterações subsequentes produzem melhoria negligenciável.
   • O desvio do ponto fixo limpo cresce linearmente com a perturbação de entrada, mas não depende da profundidade da iteração, garantindo estabilidade.

4. Agregação Multi-Visão:
   Para lidar com ruído de amostragem de aumentações individuais, o CLBP agrega previsões através de $V$ visões aumentadas aleatórias da entrada. Ele usa um softmax ponderado por similaridade para suprimir visões de outliers que discordam do consenso, aumentando a robustez sem exigir re-treinamento.

5. Objetivo de Treinamento:
   Os adaptadores são treinados usando uma perda composta em exemplos adversariais:

   • Entropia Cruzada ($L_{ce}$): Perda de classificação padrão.
   • Perda de Margem ($L_{mar}$): Impõe uma margem no espaço de características sobre logits adversariais.
   • Divergência KL ($L_{kl}$): Destila a previsão limpa para a ramificação adversarial para preservar a precisão limpa.

3. Contribuições Principais

• Mecanismo de Feedback Bidirecional: O artigo identifica o tratamento independente das modalidades como uma fraqueza chave nas defesas existentes e propõe o CLBP, um método onde características visuais e textuais condicionam e corrigem mutuamente uma à outra no tempo de inferência, sem modificar os codificadores congelados.
• Âncora Semântica e Análise de Convergência: A introdução de uma Âncora Semântica para constranger a iteração é complementada por uma análise teórica que prova a natureza contrativa do loop. Os autores demonstram empirica e teoricamente que uma única atualização é suficiente para a convergência.
• Avaliação Abrangente: O método é validado em 11 conjuntos de dados sob três regimes: zero-shot entre conjuntos de dados, adaptação few-shot e generalização base-para-novo.

4. Resultados Experimentais

Os autores avaliam o CLBP contra Ajuste Fino Adversarial (AFT), Ajuste de Prompt Adversarial (APT) e defesas em Tempo de Teste (por exemplo, TTC, SCC, R-TPT) sob ataques de caixa branca (PGD, AutoAttack, Carlini-Wagner, EOT-PGD).

• Robustez Zero-Shot entre Conjuntos de Dados: Em 10 conjuntos de dados, o CLBP alcança uma precisão robusta média de 52,77%, superando significativamente a defesa em tempo de teste mais forte (SCC em 49,71%) e as linhas de base baseadas em treinamento (por exemplo, AdvMaPLe em 24,37%). Crucialmente, mantém uma precisão limpa de 59,99%, quase idêntica ao CLIP vanilla (59,60%), evitando o trade-off precisão-robustez observado no AFT.
• Adaptação Few-Shot: Em um cenário de 16 shots em 11 conjuntos de dados, o CLBP alcança 65,08% de precisão robusta média, aproximadamente o dobro do desempenho da próxima melhor linha de base (FAP em 34,61%). No regime de baixa quantidade de shots (1-shot), o CLBP retém 41,13% de robustez, enquanto as linhas de base de prompt estático caem para ~2,43%.
• Generalização Base-para-Novo: O CLBP demonstra transferibilidade superior, retendo 54,92% de precisão robusta em classes "Novas" não vistas, comparado a 21,86% para o FAP. Isso indica que o método não sofre overfitting às classes base.
• Diversidade de Ataques: O CLBP mantém desempenho state-of-the-art contra ensembles AutoAttack, ataques de margem Carlini-Wagner e ataques adaptativos EOT-PGD, confirmando que a robustez não é um artefato de obfuscação de gradiente.
• Eficiência: O método é eficiente; a precisão robusta satura com tão poucas quanto 8 visões aumentadas, e uma única iteração de loop é suficiente.

5. Significado e Alegações

O artigo alega que o CLBP representa um passo significativo para frente na segurança de VLMs, abordando a causa raiz de sua vulnerabilidade: o desacoplamento do alinhamento cruzado-tight sob ataque.

• Eficiência de Parâmetros: Diferentemente do AFT, o CLBP não requer o re-treinamento dos massivos codificadores pré-treinados, tornando-o adequado para ambientes com recursos limitados ou sistemas implantados.
• Adaptação Dinâmica: Ao gerar prompts específicos de instância através de um loop bidirecional, o CLBP supera a natureza estática de métodos anteriores de ajuste de prompt, permitindo que se adapte a padrões adversariais diversos.
• Fundamentação Teórica: O trabalho fornece uma justificativa teórica para a estabilidade da defesa, mostrando que as dinâmicas de loop fechado são contrativas e convergem rapidamente.
• Preservação do Desempenho Limpo: O método alcança robustez state-of-the-art sem sacrificar a precisão em dados limpos, um modo de falha comum no treinamento adversarial.

Os autores reconhecem limitações, notando que a análise foca em arquiteturas de duas torres (como o CLIP) e que os limites teóricos, embora empiricamente apertados, dependem de aproximações fatoradas. Eles também notam que o método herda vieses da rede principal congelada subjacente. Não obstante, o CLBP é apresentado como uma solução robusta, eficiente e teoricamente fundamentada para defesa adversarial em modelos de linguagem visual.