Resumen Técnico: MM-POISONRAG

Enunciado del Problema

La Generación Aumentada por Recuperación (RAG) se ha convertido en una práctica estándar para los Modelos de Lenguaje Multimodal Grandes (MLLMs) con el fin de mejorar la fundamentación factual y mitigar las alucinaciones mediante la recuperación de contextos textuales y visuales externos. Sin embargo, esta dependencia de Bases de Conocimiento (KB) externas introduce una vulnerabilidad de seguridad crítica: el envenenamiento de conocimiento multimodal. A diferencia de los corpus de entrenamiento curados, las KB externas suelen ser abiertas, lo que permite a los adversarios inyectar contenido malicioso. Si bien el envenenamiento de RAG solo de texto ha sido estudiado, la investigación existente indica que los ataques solo de texto son insuficientes para comprometer el proceso de recuperación cross-modal en sistemas multimodales. Además, los estudios previos sobre envenenamiento multimodal se han centrado en gran medida en escenarios donde los usuarios cargan imágenes, dejando en gran medida inexplorada la amenaza de envenenar la recuperación de pares imagen-texto a partir de consultas de texto. Este artículo aborda la brecha en la comprensión de cómo se puede inyectar contenido multimodal adversario en KB externas para interrumpir tanto la etapa de recuperación como la de generación de las tuberías de RAG multimodal.

Metodología

Los autores introducen MM-POISONRAG, un marco sistemático diseñado para estudiar y ejecutar ataques de envenenamiento de conocimiento en sistemas de RAG multimodal. El marco opera dentro de una tubería que consta de una KB multimodal, un recuperador (por ejemplo, CLIP), un reordenador MLLM y un generador MLLM.

Los autores definen dos estrategias de ataque novedosas adaptadas a diferentes modelos de amenazas y niveles de acceso:

1. Ataque de Envenenamiento Localizado (LPA)

LPA es un ataque dirigido diseñado para manipular la salida del modelo para una consulta específica ($Q_i$) hacia una respuesta incorrecta definida por el atacante ($A^{adv}_i$).

• Mecanismo: El atacante inyecta un único par imagen-texto envenenado $(I^{adv}_i, T^{adv}_i)$ en la KB. La descripción $T^{adv}_i$ se elabora para ser semánticamente coherente con la consulta pero factualmente incorrecta, y la imagen $I^{adv}_i$ se sintetiza para coincidir con la descripción.
• Modelos de Amenaza:
  • LPA-BB (Caja Negra): El atacante no tiene acceso a los internos del modelo. Utiliza un LLM (GPT-4) para generar una descripción engañosa y un modelo de difusión (Stable Diffusion) para generar una imagen coincidente.
  • LPA-Rt (Recuperador de Caja Blanca): El atacante tiene acceso a los parámetros del recuperador. Optimiza iterativamente la imagen adversaria $I^{adv}_i$ utilizando el ascenso de gradiente para maximizar la similitud del coseno entre la incrustación de la imagen y la incrustación de la consulta, asegurando que la entrada envenenada sea recuperada por encima de la verdad fundamental.

2. Ataque de Envenenamiento Globalizado (GPA)

GPA es un ataque no dirigido diseñado para interrumpir el rendimiento del sistema en todas las consultas utilizando una única entrada adversaria irrelevante para la consulta.

• Mecanismo: El atacante inyecta un único par imagen-texto $(I^{adv}, T^{adv})$ que es semánticamente irrelevante para cualquier consulta específica, pero que está optimizado para parecer universalmente relevante.
• Modelos de Amenaza:
  • GPA-Rt: El atacante optimiza una única incrustación de imagen para maximizar la similitud con el centroide de todas las incrustaciones de consultas en la tarea, provocando que sea recuperada para cualquier consulta. La descripción se elabora para sesgar al reordenador hacia "Sí".
  • GPA-RtRrGen: El atacante tiene acceso completo de caja blanca al recuperador, reordenador y generador. Optimizan conjuntamente la imagen para maximizar la similitud de recuperación, las puntuaciones de relevancia del reordenador y el cumplimiento del generador (por ejemplo, forzando la salida "Lo siento" independientemente de la consulta).

Configuración Experimental

El marco se evaluó en dos benchmarks de preguntas y respuestas multimodales: MultimodalQA y WebQA. Los experimentos utilizaron diversos recuperadores (CLIP, OpenCLIP, SigLIP) y MLLMs (LLaVA, Qwen-VL-Chat) para el reordenamiento y la generación. El estudio evaluó las tasas de éxito del ataque bajo configuraciones variables (por ejemplo, número de contextos recuperados $N$, contextos reordenados $K$, e inclusión de descripciones).

Resultados Clave

Eficacia de los Ataques

• Envenenamiento Localizado (LPA): Incluso en una configuración de caja negra completa (LPA-BB), el ataque logró hasta un 46.4% de precisión en respuestas envenenadas. Cuando el atacante tenía acceso al recuperador (LPA-Rt), la tasa de éxito aumentó significativamente, alcanzando un 56.8% de precisión y un 88.8% de recuperación de la memoria para el contexto envenenado en MultimodalQA.
• Envenenamiento Globalizado (GPA): GPA demostró ser devastadoramente efectivo. Con solo una entrada envenenada, GPA-Rt colapsó la recuperación de memoria al 1.6% (MultimodalQA) y 0.0% (WebQA). La variante GPA-RtRrGen llevó la precisión de la respuesta final al 0% en todas las consultas, anulando efectivamente toda la tubería.
• Transferibilidad: Los ataques LPA-Rt optimizados para CLIP demostraron una fuerte transferibilidad a otros recuperadores (OpenCLIP, SigLIP) sin reoptimización, logrando altas tasas de éxito incluso cuando el recuperador objetivo era desconocido para el atacante. GPA-Rt mostró una transferibilidad más débil, pero aún causó una interrupción significativa.

Ineficacia de las Defensas Existentes

Los autores evaluaron varios mecanismos de defensa existentes, encontrándolos en gran medida ineficaces contra el envenenamiento multimodal:

• Defensa de Parafraseo: Modificar la consulta mediante parafraseo no previno los ataques.
• Filtrado Basado en Perplejidad: No logró detectar entradas envenenadas, ya que su perplejidad permaneció indistinguible de las respuestas benignas.
• Detección de Imágenes Adversarias: La compresión de características y otros detectores basados en perturbaciones lograron un 0% de precisión de detección.
• Auditoría Multimodal:
  • Consistencia basada en CLIP: No logró detectar ataques porque las imágenes envenenadas estaban optimizadas para alinearse fuertemente con sus descripciones.
  • Detección de Anomalías: Los detectores combinados de texto/imagen lograron solo ~10% de detección para LPA-BB y <4% para GPA.

Significado y Afirmaciones

El artículo afirma presentar el primer marco sistemático para estudiar el envenenamiento de conocimiento en sistemas de RAG multimodal de extremo a extremo. Sus contribuciones principales son:

1. Revelación de Vulnerabilidades Cross-Modal: El estudio demuestra que el RAG multimodal es único en su vulnerabilidad debido a su dependencia de la alineación cross-modal. Las imágenes adversarias pueden manipular las puntuaciones de similitud para dominar la recuperación, un vector no explotable por el envenenamiento solo de texto.
2. Factibilidad de Ataques de Caja Negra: Los resultados muestran que incluso los atacantes sin acceso interno al modelo (caja negra) pueden comprometer con éxito los sistemas de RAG multimodal, particularmente aprovechando modelos sustitutos para la optimización.
3. Impacto Catastrófico de la Inyección Mínima: El Ataque de Envenenamiento Globalizado demuestra que una única entrada adversaria puede degradar el rendimiento del sistema a una precisión cercana a cero, destacando la fragilidad de depender de KB externas.
4. Brecha de Defensa: El artículo establece que las defensas diseñadas para RAG solo de texto o ejemplos adversarios estándar de visión por computadora son insuficientes para el RAG multimodal, subrayando la necesidad urgente de estrategias de defensa dedicadas y conscientes de la modalidad.

Los autores concluyen que MM-POISONRAG sienta las bases para futuras investigaciones sobre la seguridad de los marcos de RAG multimodal frente al envenenamiento de conocimiento, enfatizando que la dependencia actual de fuentes de conocimiento externas sin verificación robusta representa un riesgo significativo para la fiabilidad de los MLLMs.