Resumen Técnico: CloudWeb – Secuestro de Recuperación Atmosférica en RAG de Visión-Lenguaje para Teledetección

Declaración del Problema

Los sistemas de Generación Aumentada por Recuperación Multimodal (RAG) dependen cada vez más de recuperadores de visión-lenguaje para fundamentar consultas visuales en evidencia textual externa. Si bien la investigación adversarial previa se ha centrado en manipular el corpus de recuperación (envenenamiento de conocimiento) o en atacar las predicciones de tareas finales en modelos de visión-lenguaje (VLM), la etapa de recuperación de evidencia del RAG multimodal para teledetección permanece en gran medida inexplorada.

Específicamente, existe una brecha en la comprensión de si cambios atmosféricos visualmente plausibles y de apariencia natural en una imagen de consulta pueden secuestrar sistemáticamente el proceso de recuperación antes de que comience la generación. Si una imagen de consulta se mapea a una región incorrecta del espacio de incrustación compartido de visión-lenguaje, el sistema puede recuperar evidencia meteorológica engañosa (por ejemplo, "nublado", "con niebla", "brumoso") en lugar de evidencia consistente con la escena. Esto compromete la fundamentación de la respuesta generada final, provocando que el sistema produzca "alucinaciones fundamentadas en evidencia", donde la salida parece respaldada por el contexto recuperado, aunque dicho contexto haya sido secuestrado por la perturbación de entrada.

Metodología: CloudWeb

Los autores proponen CloudWeb, un ataque de secuestro de recuperación atmosférica en el espacio de entrada. A diferencia de los ataques adversariales tradicionales que añaden ruido de píxeles imperceptible o manipulan la base de datos, CloudWeb modifica únicamente la imagen de entrada superponiendo patrones parametrizados similares a nubes, bruma, niebla y neblina. El ataque asume un modelo de amenaza donde el adversario tiene acceso offline a los codificadores del recuperador para la optimización, pero no modifica el recuperador, el generador, la base de datos vectorial ni la lógica de recuperación durante la implementación.

1. Parametrización Atmosférica

CloudWeb restringe las perturbaciones a una familia atmosférica de baja dimensionalidad y naturalista, en lugar de ruido de píxeles arbitrario. La perturbación se parametriza mediante $\theta = (\rho, \alpha, \beta, \sigma, r)$, controlando:

• Severidad atmosférica ($\rho$) y opacidad de nubes ($\alpha$).
• Fuerza de la bruma ($\beta$) y suavidad de bordes ($\sigma$).
• Semilla de textura estocástica ($r$).

El ataque genera una máscara de nubes suave de baja frecuencia $M_\theta$ y un mapa de opacidad $A_\theta$. Aplica una transformación global de bruma y la mezcla con la imagen original, asegurando que la perturbación retenga estructuras atmosféricas naturales (por ejemplo, oclusión suave, contraste reducido) en lugar de ruido de alta frecuencia.

2. Objetivo Orientado a la Recuperación

CloudWeb optimiza directamente el comportamiento de recuperación, no los logits de clasificación. La función de pérdida total $L(\theta)$ combina cinco términos:

• Atracción del Objetivo ($L_{tar}$): Atrae la incrustación de la imagen adversarial hacia un conjunto de textos de evidencia atmosférica objetivo ($T_q$).
• Supresión de la Fuente ($L_{src}$): Reduce la similitud con la evidencia de la escena original ($S_q$).
• Separación de Ranking ($L_{rank}$): Imponer un margen para asegurar que la evidencia objetivo se clasifique por encima de la evidencia de la fuente.
• Regularización de Naturalidad ($L_{nat}$): Utiliza Variación Total y suavizado gaussiano para asegurar que la perturbación parezca un fenómeno atmosférico natural.
• Restricción de Cobertura ($L_{area}$): Evita que el ataque tenga éxito únicamente mediante una cobertura espacial excesiva.

La optimización se realiza utilizando Evolución Diferencial con refinamiento local para encontrar los parámetros óptimos $\theta$.

Configuración Experimental

Los autores evaluaron CloudWeb en una puntuación de referencia de RAG para teledetección de siete conjuntos de datos que cubren clasificación de escenas, descripción de imágenes, descripción de cambios, imágenes de desastres y respuesta a preguntas visuales (VQA). Los conjuntos de datos incluyen NWPU-RESISC45, RSICD, RSVQA-LR, LEVIR-CC, FloodNet, RSIVQA-UCM y RSIVQA-Sydney.

La evaluación involucró:

• Cinco recuperadores estilo CLIP: GeoRSCLIP, RemoteCLIP, OpenAI CLIP (ViT-B/32, ViT-L/14) y OpenCLIP.
• Seis VLMs aguas abajo: LLaVA-1.5/1.6, InstructBLIP, Qwen2.5-VL, GeoChat y H2RSVLM.
• Métricas:
  • Recuperación: $T@k$ (Top-$k$ Cambiado) para interrupción genérica y $W@k$ (Weather@k) para secuestro dirigido de evidencia meteorológica.
  • Generación: Tasa de Alucinación Meteorológica (WHR) y Tasa de Éxito del Ataque (ASR) en un subconjunto de 303 casos donde el secuestro de recuperación fue exitoso.

Resultados Clave

1. Secuestro en la Etapa de Recuperación

CloudWeb superó consistentemente a la recuperación limpia, a las líneas base atmosféricas diseñadas a mano (por ejemplo, Desenfoque Gaussiano, Bruma de Brillo) y a las perturbaciones de ruido aleatorio.

• En GeoRSCLIP ViT-B/32, la tasa de inyección de evidencia meteorológica objetivo ($W@5$) aumentó de 0.71% (limpia) a 43.29% (CloudWeb).
• El ataque redirigió con éxito la evidencia de mayor rango desde descripciones consistentes con la escena (por ejemplo, "zona residencial", "campus escolar") hacia descripciones relacionadas con el clima (por ejemplo, "nublado con baja visibilidad", "pasarela con niebla").
• La vulnerabilidad no fue específica del recuperador; se observaron ganancias similares en los cinco modelos estilo CLIP, aunque GeoRSCLIP y OpenAI CLIP ViT-L/14 mostraron la mayor susceptibilidad.

2. Impacto en la Generación Aguas Abajo

El secuestro de la evidencia de recuperación se propagó a la etapa final de generación.

• En el generador Qwen2.5-VL, CloudWeb indujo 172 nuevas respuestas relacionadas con el clima de 303 casos, logrando una Tasa de Alucinación Meteorológica (WHR) de 61.39%.
• Las entradas limpias llevaron a los modelos a describir contenido consistente con la escena (por ejemplo, tierras de cultivo, ríos), mientras que las entradas adversarias desencadenaron descripciones que involucraban niebla, nubes y baja visibilidad, incluso cuando la imagen subyacente permanecía en gran parte reconocible.
• Esto confirma que el secuestro en la etapa de recuperación puede dirigir las salidas de los VLM hacia respuestas desplazadas semánticamente y alucinadas sobre el clima.

3. Análisis de Mecanismo y Robustez

• Cambio de Atención: Las visualizaciones del Mapa de Activación de Clase (CAM) revelaron que CloudWeb desplaza la atención del recuperador desde estructuras relevantes para la fuente (carreteras, edificios) hacia regiones atmosféricas (nubes, bruma), fundamentando efectivamente la consulta en el espacio de incrustación.
• Robustez: El ataque permaneció efectivo bajo transformaciones comunes de post-procesamiento, incluida la compresión JPEG, el cambio de tamaño y el desenfoque gaussiano leve.
• Ablación: El estudio confirmó que tanto la estructura atmosférica (opacidad/severidad) como la optimización orientada a la recuperación son críticas. Eliminar los términos de atracción del objetivo o de separación de rangos degradó significativamente el rendimiento.

Significado y Afirmaciones

El artículo afirma presentar el primer estudio del secuestro de evidencia atmosférica en la etapa de recuperación para RAG multimodal de teledetección. Sus contribuciones principales son:

1. Nuevo Modo de Fallo: Identifica un modo de fallo práctico donde cambios atmosféricos en el espacio de entrada de apariencia natural comprometen sistemáticamente la recuperación de evidencia antes de que comience la generación. Esto desafía la suposición de que la robustez del RAG solo requiere asegurar el generador o la base de datos.
2. Amenaza Solo de Entrada: El ataque demuestra que un adversario puede secuestrar toda la tubería de RAG modificando únicamente la imagen de entrada, sin necesidad de acceso ni modificación del recuperador, el generador o la base de conocimientos.
3. Redirección Semántica: A diferencia del ruido adversarial genérico que degrada el rendimiento, CloudWeb actúa como un "portador semántico", redirigiendo la incrustación de la consulta hacia una región semántica atmosférica específica (clima) que está fuertemente asociada con la perturbación en los espacios de incrustación de visión-lenguaje.

Los autores concluyen que los sistemas robustos de RAG para teledetección requieren defensas conscientes de la recuperación (por ejemplo, filtrado de riesgos atmosféricos, recuperación consciente de la consistencia y reordenamiento desacoplado de escena-clima) en lugar de depender exclusivamente de salvaguardias del lado del generador. Subrayan que el riesgo reside en el secuestro de evidencia dirigido, no solo en la interrupción genérica de vecinos.