Résumé Technique : CloudWeb – Détournement de la Récupération Atmosphérique dans les RAG Vision-Langage pour la Télédétection

Énoncé du Problème

Les systèmes de Génération Augmentée par Récupération Multimodale (RAG) reposent de plus en plus sur des récupérateurs vision-langage pour ancrer les requêtes visuelles dans des preuves textuelles externes. Alors que les recherches antérieures sur l'adversarial se sont concentrées sur la manipulation du corpus de récupération (empoisonnement des connaissances) ou sur le ciblage des prédictions de tâches finales dans les modèles vision-langage (VLM), l'étape de récupération des preuves du RAG multimodal pour la télédétection reste largement inexplorée.

Plus précisément, il existe un manque de compréhension quant à savoir si des changements atmosphériques visuellement plausibles et naturels appliqués à une image requête peuvent systématiquement détourner le processus de récupération avant le début de la génération. Si une image requête est mappée vers une région incorrecte de l'espace d'embedding vision-langage partagé, le système peut récupérer des preuves météorologiques trompeuses (par exemple, "nuageux", "brumeux", "brumeux") au lieu de preuves cohérentes avec la scène. Cela compromet l'ancrage de la réponse générée finale, amenant le système à produire des "hallucinations ancrées par des preuves" où la sortie semble soutenue par le contexte récupéré, même si ce contexte a été détourné par la perturbation d'entrée.

Méthodologie : CloudWeb

Les auteurs proposent CloudWeb, une attaque de détournement de récupération atmosphérique dans l'espace d'entrée. Contrairement aux attaques adversariales traditionnelles qui ajoutent un bruit pixel imperceptible ou manipulent la base de données, CloudWeb modifie uniquement l'image d'entrée en superposant des motifs paramétrés de nuages, de brume, de brouillard et de brume légère. L'attaque suppose un modèle de menace où l'adversaire a un accès hors ligne aux encodeurs du récupérateur pour l'optimisation, mais ne modifie pas le récupérateur, le générateur, la base de données vectorielle ou la logique de récupération lors du déploiement.

1. Paramétrisation Atmosphérique

CloudWeb restreint les perturbations à une famille atmosphérique naturelle de faible dimension plutôt qu'à un bruit pixel arbitraire. La perturbation est paramétrée par $\theta = (\rho, \alpha, \beta, \sigma, r)$, contrôlant :

• La sévérité atmosphérique ($\rho$) et l'opacité des nuages ($\alpha$).
• La force de la brume ($\beta$) et la douceur des bords ($\sigma$).
• La graine de texture stochastique ($r$).

L'attaque génère un masque de nuage lisse de basse fréquence $M_\theta$ et une carte d'opacité $A_\theta$. Elle applique une transformation de brume globale et la mélange avec l'image originale, garantissant que la perturbation conserve des structures atmosphériques naturelles (par exemple, occlusion douce, contraste réduit) plutôt qu'un bruit de haute fréquence.

2. Objectif Orienté Récupération

CloudWeb optimise directement le comportement de récupération, et non les logits de classification. La fonction de perte totale $L(\theta)$ combine cinq termes :

• Attraction Cible ($L_{tar}$) : Tire l'embedding de l'image adversaire vers un ensemble de textes de preuves atmosphériques cibles ($T_q$).
• Suppression de la Source ($L_{src}$) : Réduit la similarité avec les preuves de la scène originale ($S_q$).
• Séparation de Rang ($L_{rank}$) : Impose une marge pour garantir que les preuves cibles soient classées plus haut que les preuves sources.
• Régularisation de Naturalité ($L_{nat}$) : Utilise la Variation Totale et un lissage gaussien pour garantir que la perturbation ressemble à des phénomènes atmosphériques naturels.
• Contrainte de Couverture ($L_{area}$) : Empêche l'attaque de réussir uniquement par une couverture spatiale excessive.

L'optimisation est effectuée à l'aide de l'Évolution Différentielle avec un raffinement local pour trouver les paramètres optimaux $\theta$.

Configuration Expérimentale

Les auteurs ont évalué CloudWeb sur un benchmark RAG pour la télédétection à sept ensembles de données couvrant la classification de scènes, la légende d'images, la légende de changements, les images de catastrophes et la réponse aux questions visuelles (VQA). Les ensembles de données incluent NWPU-RESISC45, RSICD, RSVQA-LR, LEVIR-CC, FloodNet, RSIVQA-UCM et RSIVQA-Sydney.

L'évaluation a impliqué :

• Cinq récupérateurs de style CLIP : GeoRSCLIP, RemoteCLIP, OpenAI CLIP (ViT-B/32, ViT-L/14) et OpenCLIP.
• Six VLMs en aval : LLaVA-1.5/1.6, InstructBLIP, Qwen2.5-VL, GeoChat et H2RSVLM.
• Métriques :
  • Récupération : $T@k$ (Top-$k$ Changé) pour la perturbation générique et $W@k$ (Météo@k) pour le détournement ciblé de preuves météorologiques.
  • Génération : Taux d'Hallucination Météorologique (WHR) et Taux de Succès de l'Attaque (ASR) sur un sous-ensemble de 303 cas où le détournement de récupération a réussi.

Résultats Clés

1. Détournement au Niveau de la Récupération

CloudWeb a systématiquement surpassé la récupération propre, les bases atmosphériques artisanales (par exemple, Flou Gaussien, Brume de Luminosité) et les perturbations de bruit aléatoire.

• Sur GeoRSCLIP ViT-B/32, le taux d'injection de preuves météorologiques cibles ($W@5$) est passé de 0,71 % (propre) à 43,29 % (CloudWeb).
• L'attaque a redirigé avec succès les preuves classées en tête de descriptions cohérentes avec la scène (par exemple, "zone résidentielle", "campus scolaire") vers des descriptions liées à la météo (par exemple, "nuageux faible visibilité", "passage supérieur brumeux").
• La vulnérabilité n'était pas spécifique au récupérateur ; des gains similaires ont été observés sur les cinq modèles de style CLIP, bien que GeoRSCLIP et OpenAI CLIP ViT-L/14 aient montré la plus grande susceptibilité.

2. Impact sur la Génération en Aval

Le détournement des preuves de récupération s'est propagé à l'étape finale de génération.

• Sur le générateur Qwen2.5-VL, CloudWeb a induit 172 nouvelles réponses liées à la météo sur 303 cas, atteignant un Taux d'Hallucination Météorologique (WHR) de 61,39 %.
• Les entrées propres ont amené les modèles à décrire un contenu cohérent avec la scène (par exemple, terres agricoles, rivières), tandis que les entrées adversariales ont déclenché des descriptions impliquant du brouillard, des nuages et une faible visibilité, même lorsque l'image sous-jacente restait largement reconnaissable.
• Cela confirme que le détournement au niveau de la récupération peut orienter les sorties des VLM vers des réponses sémantiquement décalées et hallucinées par la météo.

3. Analyse du Mécanisme et de la Robustesse

• Déplacement de l'Attention : Les visualisations de la Carte d'Activation de Classe (CAM) ont révélé que CloudWeb déplace l'attention du récupérateur des structures pertinentes pour la source (routes, bâtiments) vers les régions atmosphériques (nuages, brume), ancrant efficacement la requête dans l'espace d'embedding.
• Robustesse : L'attaque est restée efficace sous des transformations de post-traitement courantes, notamment la compression JPEG, le redimensionnement et un léger flou gaussien.
• Ablation : L'étude a confirmé que tant la structure atmosphérique (opacité/sévérité) que l'optimisation orientée récupération sont critiques. La suppression des termes d'attraction cible ou de séparation de rang a considérablement dégradé les performances.

Signification et Revendications

L'article prétend présenter la première étude du détournement de preuves atmosphériques au niveau de la récupération pour le RAG multimodal de télédétection. Ses contributions principales sont :

1. Nouveau Mode de Défaillance : Il identifie un mode de défaillance pratique où des changements atmosphériques naturels dans l'espace d'entrée compromettent systématiquement la récupération des preuves avant le début de la génération. Cela remet en question l'hypothèse selon laquelle la robustesse du RAG nécessite uniquement de sécuriser le générateur ou la base de données.
2. Menace Uniquement par l'Entrée : L'attaque démontre qu'un adversaire peut détourner l'ensemble du pipeline RAG en modifiant uniquement l'image d'entrée, sans avoir besoin d'accéder ou de modifier le récupérateur, le générateur ou la base de connaissances.
3. Redirection Sémantique : Contrairement au bruit adversarial générique qui dégrade les performances, CloudWeb agit comme un "porteur sémantique", redirigeant l'embedding de la requête vers une région sémantique atmosphérique spécifique (météo) qui est fortement associée à la perturbation dans les espaces d'embedding vision-langage.

Les auteurs concluent que des systèmes RAG de télédétection robustes nécessitent des défenses conscientes de la récupération (par exemple, filtrage des risques atmosphériques, récupération consciente de la cohérence, et reranking désintriqué scène-météo) plutôt que de compter uniquement sur des mesures de sécurité côté générateur. Ils soulignent que le risque réside dans le détournement ciblé de preuves, et non seulement dans la perturbation générique des voisins.