Technische Samenvatting: CloudWeb – Kaping van Atmosferische Opzoekingen in Vision-Language RAG voor Remote Sensing

Probleemstelling

Multimodale Retrieval-Augmented Generation (RAG)-systemen vertrouwen steeds vaker op vision-language retrievers om visuele queries te verankeren in externe tekstuele bewijslast. Waar eerdere adversariale research zich heeft gericht op het manipuleren van het opzoekingscorpus (kennisvergiftiging) of het aanvallen van eindtaakvoorspellingen in vision-language modellen (VLM's), blijft de fase van bewijsopzoeking in multimodale RAG voor remote sensing grotendeels onontgonnen terrein.

Specifiek bestaat er een lacune in het begrijpen of visueel plausibele, natuurlijk ogende atmosferische veranderingen aan een query-afbeelding het opzoekingsproces systematisch kunnen kapen voordat de generatie begint. Als een query-afbeelding wordt gemapt naar een onjuist gebied in de gedeelde vision-language embeddingruimte, kan het systeem misleidende weergerelateerde bewijslast ophalen (bijvoorbeeld "bewolkt", "mistig", "nevelig") in plaats van bewijslast die consistent is met het tafereel. Dit ondermijnt de verankering van het gegenereerde eindantwoord, waardoor het systeem "bewijs-gegroundeerde hallucinaties" produceert waarbij de output lijkt te worden ondersteund door opgehaalde context, ook al werd die context gekaapt door de invoerperturbatie.

Methodologie: CloudWeb

De auteurs stellen CloudWeb voor, een aanval op de opzoeking in de invoerruimte via atmosferische kaping. In tegenstelling tot traditionele adversariale aanvallen die onwaarneembare pixelruis toevoegen of de database manipuleren, wijzigt CloudWeb uitsluitend de invoer-afbeelding door parametergestuurde patronen van wolken, nevel, mist en waas te overlagen. De aanval veronderstelt een bedreigingsmodel waarbij de aanvallende partij offline toegang heeft tot de encoders van de retriever voor optimalisatie, maar de retriever, generator, vectordatabase of opzoekingslogica tijdens de inzet niet wijzigt.

1. Atmosferische Parameterisering

CloudWeb beperkt perturbaties tot een laag-dimensionale, naturalistische atmosferische familie in plaats van willekeurige pixelruis. De perturbatie wordt geparameteriseerd door $\theta = (\rho, \alpha, \beta, \sigma, r)$, waarmee wordt gestuurd op:

• Atmosferische ernst ($\rho$) en wolkendekking ($\alpha$).
• Waassterkte ($\beta$) en randzachtheid ($\sigma$).
• Stochastische textuurzaad ($r$).

De aanval genereert een gladde, laagfrequente wolkmasker $M_\theta$ en een dekkingkaart $A_\theta$. Het past een globale waas-transformatie toe en mengt deze met de originele afbeelding, waarbij wordt gegarandeerd dat de perturbatie natuurlijke atmosferische structuren behoudt (bijvoorbeeld zachte occlusie, verlaagd contrast) in plaats van hoogfrequente ruis.

2. Opzoekingsgerichte Doelfunctie

CloudWeb optimaliseert het opzoekingsgedrag direct, niet de classificatielogits. De totale verliesfunctie $L(\theta)$ combineert vijf termen:

• Doel-Aantrekking ($L_{tar}$): Trekt de embedding van de adversariale afbeelding naar een set doelatmosferische bewijstexten ($T_q$).
• Bron-Underdrukking ($L_{src}$): Vermindert de gelijkenis met de oorspronkelijke tafereel-bewijslast ($S_q$).
• Rank-Scheiding ($L_{rank}$): Dwingt een marge af om te garanderen dat doelbewijslast hoger scoort dan bronbewijslast.
• Naturaliteit-Regularisatie ($L_{nat}$): Gebruikt Total Variation en Gaussische smoothing om te garanderen dat de perturbatie eruitziet als natuurlijke atmosferische fenomenen.
• Dekkingsbeperking ($L_{area}$): Voorkomt dat de aanval alleen slaagt door overmatige ruimtelijke dekking.

De optimalisatie wordt uitgevoerd met Differential Evolution met lokale verfijning om de optimale parameters $\theta$ te vinden.

Experimentele Opzet

De auteurs hebben CloudWeb geëvalueerd op een remote sensing RAG-benchmark met zeven datasets die scene-classificatie, beeldbeschrijving, verandercaptioning, rampenbeelden en visuele vraag-antwoordtaken (VQA) bestrijken. De datasets omvatten NWPU-RESISC45, RSICD, RSVQA-LR, LEVIR-CC, FloodNet, RSIVQA-UCM en RSIVQA-Sydney.

De evaluatie omvatte:

• Vijf CLIP-stijl retrievers: GeoRSCLIP, RemoteCLIP, OpenAI CLIP (ViT-B/32, ViT-L/14) en OpenCLIP.
• Zes downstream VLM's: LLaVA-1.5/1.6, InstructBLIP, Qwen2.5-VL, GeoChat en H2RSVLM.
• Maten:
  • Opzoeking: $T@k$ (Top-$k$ Gewijzigd) voor generieke verstoring en $W@k$ (Weather@k) voor gerichte kaping van weerbewijslast.
  • Generatie: Weather Hallucination Rate (WHR) en Attack Success Rate (ASR) op een subset van 303 gevallen waarbij kaping van de opzoeking succesvol was.

Belangrijkste Resultaten

1. Kaping in de Opzoekingsfase

CloudWeb presteerde consequent beter dan schone opzoeking, handgemaakte atmosferische baselines (bijvoorbeeld Gaussische Blur, Brightness Haze) en perturbaties met willekeurige ruis.

• Op GeoRSCLIP ViT-B/32 steeg de injectiegraad van gericht weerbewijs ($W@5$) van 0,71% (schoon) naar 43,29% (CloudWeb).
• De aanval slaagde erin de hoogst gerankte bewijslast om te leiden van beschrijvingen die consistent zijn met het tafereel (bijvoorbeeld "woongebied", "schoolcampus") naar weergerelateerde beschrijvingen (bijvoorbeeld "bewolkt met slecht zicht", "mistig viaduct").
• De kwetsbaarheid was niet specifiek voor de retriever; vergelijkbare winsten werden waargenomen bij alle vijf CLIP-stijl modellen, hoewel GeoRSCLIP en OpenAI CLIP ViT-L/14 de hoogste vatbaarheid vertoonden.

2. Impact op Downstream Generatie

De kaping van de opgezochte bewijslast verspreidde zich naar de fase van de definitieve generatie.

• Op de Qwen2.5-VL generator induceerde CloudWeb 172 nieuwe weergerelateerde antwoorden van de 303 gevallen, wat resulteerde in een Weather Hallucination Rate (WHR) van 61,39%.
• Schone invoer leidde modellen ertoe inhoud te beschrijven die consistent was met het tafereel (bijvoorbeeld akkers, rivieren), terwijl adversariale invoer beschrijvingen uitlokte die nevel, wolken en slecht zicht betreffen, zelfs wanneer de onderliggende afbeelding grotendeels herkenbaar bleef.
• Dit bevestigt dat kaping in de opzoekingsfase VLM-outputs kan sturen naar semantisch verschoven, weer-hallucinerende antwoorden.

3. Mechanisme en Robuustheidsanalyse

• Aandachtverschuiving: Class Activation Map (CAM)-visualisaties onthulden dat CloudWeb de aandacht van de retriever verschuift van bronrelevante structuren (wegen, gebouwen) naar atmosferische gebieden (wolken, waas), waardoor de query effectief opnieuw wordt verankerd in de embeddingruimte.
• Robuustheid: De aanval bleef effectief onder veelvoorkomende post-processing-transformaties, waaronder JPEG-compressie, herschaling en lichte Gaussische blur.
• Ablatie: De studie bevestigde dat zowel de atmosferische structuur (dekking/ernst) als de opzoekingsgerichte optimalisatie cruciaal zijn. Het verwijderen van de termen voor doel-aantrekking of rank-scheiding degradeerde de prestaties aanzienlijk.

Betekenis en Beweringen

Het artikel beweert de eerste studie te presenteren van kaping van atmosferische bewijslast in de opzoekingsfase voor multimodale RAG voor remote sensing. De belangrijkste bijdragen zijn:

1. Nieuw Falingspatroon: Het identificeert een praktisch falingspatroon waarbij natuurlijk ogende atmosferische veranderingen in de invoerruimte systematisch de bewijsopzoeking ondermijnen voordat de generatie begint. Dit daagt de aanname uit dat RAG-robustheid alleen vereist dat de generator of de database wordt beveiligd.
2. Alleen Invoer-bedreiging: De aanval demonstreert dat een aanvallende partij de volledige RAG-pijplijn kan kapen door uitsluitend de invoer-afbeelding te wijzigen, zonder toegang tot of wijziging van de retriever, generator of kennisbank nodig te hebben.
3. Semantische Omleiding: In tegenstelling tot generieke adversariale ruis die de prestaties degradeert, fungeert CloudWeb als een "semantische drager", die de query-embedding omleidt naar een specifiek atmosferisch semantisch gebied (weer) dat sterk geassocieerd is met de perturbatie in vision-language embeddingruimtes.

De auteurs concluderen dat robuuste remote sensing RAG-systemen opzoekingsbewuste verdedigingen vereisen (bijvoorbeeld screening op atmosferische risico's, consistentiebewuste opzoeking en scene-weer ontkoppelde her-ranking) in plaats van uitsluitend te vertrouwen op veiligheidsmaatregelen aan de kant van de generator. Zij benadrukken dat het risico ligt in gerichte kaping van bewijslast, niet slechts in generieke verstoring van buren.