Riepilogo Tecnico: CloudWeb – Dirottamento del Recupero Atmosferico nei Sistemi RAG Vision-Language per il Telerilevamento

Enunciato del Problema

I sistemi multimodali di Generazione Aumentata dal Recupero (RAG) si basano sempre più su recuperatori vision-language per ancorare query visive a evidenze testuali esterne. Mentre la ricerca avversaria precedente si è concentrata sulla manipolazione del corpus di recupero (avvelenamento della conoscenza) o sul targeting delle previsioni del task finale nei modelli vision-language (VLM), la fase di recupero delle evidenze nei RAG multimodali per il telerilevamento rimane in gran parte inesplorata.

Nello specifico, esiste un vuoto nella comprensione di whether cambiamenti atmosferici visivamente plausibili e dal aspetto naturale applicati a un'immagine di query possano dirottare sistematicamente il processo di recupero prima dell'inizio della generazione. Se un'immagine di query viene mappata su una regione errata dello spazio di embedding vision-language condiviso, il sistema potrebbe recuperare evidenze meteorologiche fuorvianti (ad esempio, "nuvoloso", "nebbioso", "fosco") invece di evidenze coerenti con la scena. Ciò compromette l'ancoraggio della risposta generata finale, causando al sistema la produzione di "allucinazioni ancorate alle evidenze", dove l'output appare supportato dal contesto recuperato, anche se tale contesto è stato dirottato dalla perturbazione in ingresso.

Metodologia: CloudWeb

Gli autori propongono CloudWeb, un attacco di dirottamento del recupero atmosferico nello spazio di input. A differenza degli attacchi avversari tradizionali che aggiungono rumore di pixel impercettibile o manipolano il database, CloudWeb modifica solo l'immagine di input sovrapponendo pattern parametrizzati simili a nuvole, foschia, nebbia e nebbia leggera. L'attacco assume un modello di minaccia in cui l'avversario ha accesso offline agli encoder del recuperatore per l'ottimizzazione, ma non modifica il recuperatore, il generatore, il database vettoriale o la logica di recupero al momento del deployment.

1. Parametrizzazione Atmosferica

CloudWeb limita le perturbazioni a una famiglia atmosferica a bassa dimensionalità e naturalistica, piuttosto che a rumore di pixel arbitrario. La perturbazione è parametrizzata da $\theta = (\rho, \alpha, \beta, \sigma, r)$, che controlla:

• Gravità atmosferica ($\rho$) e opacità delle nuvole ($\alpha$).
• Intensità della foschia ($\beta$) e morbidezza dei bordi ($\sigma$).
• Seme di texture stocastica ($r$).

L'attacco genera una maschera di nuvole a bassa frequenza e liscia $M_\theta$ e una mappa di opacità $A_\theta$. Applica una trasformazione globale di foschia e la fonde con l'immagine originale, assicurando che la perturbazione mantenga strutture atmosferiche naturali (ad esempio, occlusione morbida, contrasto ridotto) piuttosto che rumore ad alta frequenza.

2. Obiettivo Orientato al Recupero

CloudWeb ottimizza direttamente il comportamento di recupero, non i logit di classificazione. La funzione di perdita totale $L(\theta)$ combina cinque termini:

• Attrazione verso il Target ($L_{tar}$): Sposta l'embedding dell'immagine avversaria verso un insieme di testi di evidenze atmosferiche target ($T_q$).
• Soppressione della Sorgente ($L_{src}$): Riduce la similarità con le evidenze della scena originale ($S_q$).
• Separazione della Classifica ($L_{rank}$): Impone un margine per garantire che le evidenze target abbiano una classifica superiore rispetto alle evidenze della sorgente.
• Regolarizzazione della Naturalità ($L_{nat}$): Utilizza la Variazione Totale e la smoothing Gaussiana per garantire che la perturbazione appaia come un fenomeno atmosferico naturale.
• Vincolo di Copertura ($L_{area}$): Impedisce che l'attacco abbia successo esclusivamente attraverso una copertura spaziale eccessiva.

L'ottimizzazione viene eseguita utilizzando l'evoluzione differenziale con affinamento locale per trovare i parametri ottimali $\theta$.

Configurazione Sperimentale

Gli autori hanno valutato CloudWeb su un benchmark RAG per il telerilevamento composto da sette dataset che coprono la classificazione di scene, la descrizione di immagini, la descrizione di cambiamenti, le immagini di disastri e il question answering visivo (VQA). I dataset includono NWPU-RESISC45, RSICD, RSVQA-LR, LEVIR-CC, FloodNet, RSIVQA-UCM e RSIVQA-Sydney.

La valutazione ha coinvolto:

• Cinque recuperatori in stile CLIP: GeoRSCLIP, RemoteCLIP, OpenAI CLIP (ViT-B/32, ViT-L/14) e OpenCLIP.
• Sei VLM a valle: LLaVA-1.5/1.6, InstructBLIP, Qwen2.5-VL, GeoChat e H2RSVLM.
• Metriche:
  • Recupero: $T@k$ (Top-$k$ Cambiati) per la perturbazione generica e $W@k$ (Weather@k) per il dirottamento mirato delle evidenze meteorologiche.
  • Generazione: Tasso di Allucinazione Meteorologica (WHR) e Tasso di Successo dell'Attacco (ASR) su un sottoinsieme di 303 casi in cui il dirottamento del recupero è stato riuscito.

Risultati Chiave

1. Dirottamento nella Fase di Recupero

CloudWeb ha costantemente superato il recupero pulito, le baseline atmosferiche artigianali (ad esempio, sfocatura Gaussiana, foschia di luminosità) e le perturbazioni di rumore casuale.

• Su GeoRSCLIP ViT-B/32, il tasso di iniezione di evidenze meteorologiche target ($W@5$) è aumentato da 0,71% (pulito) a 43,29% (CloudWeb).
• L'attacco ha reindirizzato con successo le evidenze in cima alla classifica da descrizioni coerenti con la scena (ad esempio, "area residenziale", "campus scolastico") a descrizioni relative al meteo (ad esempio, "nuvoloso con scarsa visibilità", "sovrappasso nebbioso").
• La vulnerabilità non era specifica del recuperatore; guadagni simili sono stati osservati su tutti e cinque i modelli in stile CLIP, sebbene GeoRSCLIP e OpenAI CLIP ViT-L/14 abbiano mostrato la suscettibilità più alta.

2. Impatto sulla Generazione a Valle

Il dirottamento delle evidenze di recupero si è propagato alla fase finale di generazione.

• Sul generatore Qwen2.5-VL, CloudWeb ha indotto 172 nuove risposte relative al meteo su 303 casi, raggiungendo un Tasso di Allucinazione Meteorologica (WHR) del 61,39%.
• Gli input puliti hanno portato i modelli a descrivere contenuti coerenti con la scena (ad esempio, terreni agricoli, fiumi), mentre gli input avversari hanno innescato descrizioni che coinvolgono nebbia, nuvole e scarsa visibilità, anche quando l'immagine sottostante rimaneva in gran parte riconoscibile.
• Ciò conferma che il dirottamento nella fase di recupero può orientare gli output dei VLM verso risposte semanticamente spostate e allucinate dal punto di vista meteorologico.

3. Analisi del Meccanismo e della Robustezza

• Spostamento dell'Attenzione: Le visualizzazioni delle Mappe di Attivazione delle Classi (CAM) hanno rivelato che CloudWeb sposta l'attenzione del recuperatore dalle strutture rilevanti per la sorgente (strade, edifici) verso regioni atmosferiche (nuvole, foschia), ri-ancorando efficacemente la query nello spazio di embedding.
• Robustezza: L'attacco è rimasto efficace sotto comuni trasformazioni di post-elaborazione, inclusa la compressione JPEG, il ridimensionamento e una leggera sfocatura Gaussiana.
• Ablazione: Lo studio ha confermato che sia la struttura atmosferica (opacità/gravità) che l'ottimizzazione orientata al recupero sono critiche. La rimozione dei termini di attrazione verso il target o di separazione della classifica ha degradato significativamente le prestazioni.

Significato e Affermazioni

Il documento afferma di presentare il primo studio sul dirottamento delle evidenze atmosferiche nella fase di recupero per i RAG multimodali per il telerilevamento. I suoi contributi principali sono:

1. Nuova Modalità di Fallimento: Identifica una modalità di fallimento pratica in cui cambiamenti atmosferici nello spazio di input dal aspetto naturale compromettono sistematicamente il recupero delle evidenze prima dell'inizio della generazione. Ciò sfida l'assunzione che la robustezza del RAG richieda solo la sicurezza del generatore o del database.
2. Minaccia Solo in Input: L'attacco dimostra che un avversario può dirottare l'intera pipeline RAG modificando solo l'immagine di input, senza bisogno di accesso o modifica del recuperatore, del generatore o della base di conoscenza.
3. Ridirezionamento Semantico: A differenza del rumore avversario generico che degrada le prestazioni, CloudWeb agisce come un "vettore semantico", reindirizzando l'embedding della query verso una specifica regione semantica atmosferica (meteo) che è fortemente associata alla perturbazione negli spazi di embedding vision-language.

Gli autori concludono che i sistemi RAG robusti per il telerilevamento richiedono difese consapevoli del recupero (ad esempio, screening del rischio atmosferico, recupero consapevole della coerenza e riprioritizzazione disaccoppiata scena-meteo) piuttosto che affidarsi esclusivamente a salvaguardie lato generatore. Sottolineano che il rischio risiede nel dirottamento mirato delle evidenze, non solo nella perturbazione generica dei vicini.