Resumo Técnico: CloudWeb – Sequestro de Recuperação Atmosférica em RAG Visão-Linguagem para Sensoriamento Remoto

Declaração do Problema

Sistemas Multimodais de Geração Aumentada por Recuperação (RAG) dependem cada vez mais de recuperadores visão-linguagem para fundamentar consultas visuais em evidências textuais externas. Embora pesquisas adversariais anteriores tenham se concentrado na manipulação do corpus de recuperação (envenenamento de conhecimento) ou no direcionamento de previsões de tarefas finais em modelos visão-linguagem (VLMs), a fase de recuperação de evidências do RAG multimodal de sensoriamento remoto permanece amplamente inexplorada.

Especificamente, há uma lacuna na compreensão de se mudanças atmosféricas visualmente plausíveis e de aparência natural em uma imagem de consulta podem sequestrar sistematicamente o processo de recuperação antes do início da geração. Se uma imagem de consulta for mapeada para uma região incorreta do espaço de incorporação visão-linguagem compartilhado, o sistema pode recuperar evidências enganosas relacionadas ao tempo (por exemplo, "nublado", "neblina", "neblina densa") em vez de evidências consistentes com a cena. Isso compromete a fundamentação da resposta final gerada, fazendo com que o sistema produza "alucinações fundamentadas em evidências", onde a saída parece apoiada pelo contexto recuperado, mesmo que esse contexto tenha sido sequestrado pela perturbação de entrada.

Metodologia: CloudWeb

Os autores propõem o CloudWeb, um ataque de sequestro de recuperação atmosférica no espaço de entrada. Diferentemente de ataques adversariais tradicionais que adicionam ruído de pixel imperceptível ou manipulam o banco de dados, o CloudWeb modifica apenas a imagem de entrada sobrepondo padrões parametrizados semelhantes a nuvens, neblina, bruma e névoa. O ataque assume um modelo de ameaça onde o adversário tem acesso offline aos codificadores do recuperador para otimização, mas não modifica o recuperador, o gerador, o banco de dados vetorial ou a lógica de recuperação durante a implantação.

1. Parametrização Atmosférica

O CloudWeb restringe as perturbações a uma família atmosférica de baixa dimensionalidade e naturalística, em vez de ruído de pixel arbitrário. A perturbação é parametrizada por $\theta = (\rho, \alpha, \beta, \sigma, r)$, controlando:

• Severidade atmosférica ($\rho$) e opacidade da nuvem ($\alpha$).
• Força da neblina ($\beta$) e suavidade da borda ($\sigma$).
• Semente de textura estocástica ($r$).

O ataque gera uma máscara de nuvem suave de baixa frequência $M_\theta$ e um mapa de opacidade $A_\theta$. Aplica uma transformação global de neblina e a funde com a imagem original, garantindo que a perturbação retenha estruturas atmosféricas naturais (por exemplo, oclusão suave, contraste reduzido) em vez de ruído de alta frequência.

2. Objetivo Orientado à Recuperação

O CloudWeb otimiza diretamente o comportamento de recuperação, e não os logits de classificação. A função de perda total $L(\theta)$ combina cinco termos:

• Atração do Alvo ($L_{tar}$): Puxa a incorporação da imagem adversarial em direção a um conjunto de textos de evidência atmosférica alvo ($T_q$).
• Supressão da Fonte ($L_{src}$): Reduz a similaridade com a evidência da cena original ($S_q$).
• Separação de Classificação ($L_{rank}$): Impõe uma margem para garantir que a evidência alvo seja classificada acima da evidência fonte.
• Regularização de Naturalidade ($L_{nat}$): Usa Variação Total e suavização Gaussiana para garantir que a perturbação pareça fenômenos atmosféricos naturais.
• Restrição de Cobertura ($L_{area}$): Impede que o ataque tenha sucesso apenas através de cobertura espacial excessiva.

A otimização é realizada usando Evolução Diferencial com refinamento local para encontrar os parâmetros ótimos $\theta$.

Configuração Experimental

Os autores avaliaram o CloudWeb em um benchmark de RAG de sensoriamento remoto com sete conjuntos de dados cobrindo classificação de cenas, legendagem de imagens, legendagem de mudanças, imagens de desastres e resposta visual a perguntas (VQA). Os conjuntos de dados incluem NWPU-RESISC45, RSICD, RSVQA-LR, LEVIR-CC, FloodNet, RSIVQA-UCM e RSIVQA-Sydney.

A avaliação envolveu:

• Cinco recuperadores estilo CLIP: GeoRSCLIP, RemoteCLIP, OpenAI CLIP (ViT-B/32, ViT-L/14) e OpenCLIP.
• Seis VLMs downstream: LLaVA-1.5/1.6, InstructBLIP, Qwen2.5-VL, GeoChat e H2RSVLM.
• Métricas:
  • Recuperação: $T@k$ (Top-$k$ Alterado) para interrupção genérica e $W@k$ (Weather@k) para sequestro direcionado de evidências meteorológicas.
  • Geração: Taxa de Alucinação Meteorológica (WHR) e Taxa de Sucesso do Ataque (ASR) em um subconjunto de 303 casos onde o sequestro de recuperação foi bem-sucedido.

Resultados Principais

1. Sequestro na Fase de Recuperação

O CloudWeb superou consistentemente a recuperação limpa, baselines atmosféricas artesanais (por exemplo, Desfoque Gaussiano, Neblina de Brilho) e perturbações de ruído aleatório.

• No GeoRSCLIP ViT-B/32, a taxa de injeção de evidência meteorológica alvo ($W@5$) aumentou de 0,71% (limpo) para 43,29% (CloudWeb).
• O ataque redirecionou com sucesso as evidências de maior classificação de descrições consistentes com a cena (por exemplo, "área residencial", "campus escolar") para descrições relacionadas ao tempo (por exemplo, "nublado com baixa visibilidade", "viaduto com neblina").
• A vulnerabilidade não foi específica do recuperador; ganhos semelhantes foram observados em todos os cinco modelos estilo CLIP, embora o GeoRSCLIP e o OpenAI CLIP ViT-L/14 tenham mostrado a maior suscetibilidade.

2. Impacto na Geração Downstream

O sequestro das evidências de recuperação propagou-se para a fase final de geração.

• No gerador Qwen2.5-VL, o CloudWeb induziu 172 novas respostas relacionadas ao tempo entre 303 casos, alcançando uma Taxa de Alucinação Meteorológica (WHR) de 61,39%.
• Entradas limpas levaram os modelos a descrever conteúdo consistente com a cena (por exemplo, terras agrícolas, rios), enquanto entradas adversariais acionaram descrições envolvendo neblina, nuvens e baixa visibilidade, mesmo quando a imagem subjacente permanecia amplamente reconhecível.
• Isso confirma que o sequestro na fase de recuperação pode direcionar as saídas dos VLMs para respostas semanticamente deslocadas e alucinadas sobre o tempo.

3. Análise de Mecanismo e Robustez

• Mudança de Atenção: Visualizações de Mapas de Ativação de Classe (CAM) revelaram que o CloudWeb desloca a atenção do recuperador de estruturas relevantes para a fonte (estradas, edifícios) para regiões atmosféricas (nuvens, neblina), efetivamente re-fundamentando a consulta no espaço de incorporação.
• Robustez: O ataque permaneceu eficaz sob transformações comuns de pós-processamento, incluindo compressão JPEG, redimensionamento e leve desfoque Gaussiano.
• Ablação: O estudo confirmou que tanto a estrutura atmosférica (opacidade/severidade) quanto a otimização orientada à recuperação são críticas. A remoção dos termos de atração do alvo ou separação de classificação degradou significativamente o desempenho.

Significado e Alegações

O artigo afirma apresentar o primeiro estudo de sequestro de evidências atmosféricas na fase de recuperação para RAG multimodal de sensoriamento remoto. Suas principais contribuições são:

1. Novo Modo de Falha: Identifica um modo de falha prático onde mudanças atmosféricas no espaço de entrada de aparência natural comprometem sistematicamente a recuperação de evidências antes do início da geração. Isso desafia a suposição de que a robustez do RAG requer apenas a segurança do gerador ou do banco de dados.
2. Ameaça Apenas de Entrada: O ataque demonstra que um adversário pode sequestrar todo o pipeline RAG modificando apenas a imagem de entrada, sem necessidade de acesso ou modificação do recuperador, gerador ou base de conhecimento.
3. Redirecionamento Semântico: Diferentemente de ruído adversarial genérico que degrada o desempenho, o CloudWeb atua como um "portador semântico", redirecionando a incorporação da consulta para uma região semântica atmosférica específica (tempo) que está fortemente associada à perturbação nos espaços de incorporação visão-linguagem.

Os autores concluem que sistemas robustos de RAG de sensoriamento remoto exigem defesas conscientes da recuperação (por exemplo, triagem de risco atmosférico, recuperação consciente de consistência e reclassificação desentrelaçada de cena-tempo) em vez de depender exclusivamente de salvaguardas do lado do gerador. Eles enfatizam que o risco reside no sequestro direcionado de evidências, e não apenas na interrupção genérica de vizinhos.