Hidden-in-Plain-Text: A Benchmark for Social-Web Indirect Prompt Injection in RAG

Resumen Técnico: Oculto a plena vista: Un benchmark para la Inyección de Prompts Indirecta en RAG en la Web Social

Planteamiento del Problema
Los sistemas de generación aumentada por recuperación (RAG) dependen cada vez más del contenido generado por usuarios en la Web y las redes sociales para fundamentar las respuestas de los Grandes Modelos de Lenguaje (LLM). Si bien esto mejora la cobertura y la frescura, expande significativamente la superficie de ataque. El artículo identifica dos amenazas primarias:

1. Inyección de Prompts Indirecta (IPI): Instrucciones maliciosas incrustadas en contenido de terceros (por ejemplo, spans de HTML ocultos, CSS fuera de pantalla, texto alt, atributos ARIA o caracteres de ancho cero) que se ejecutan cuando el contenido es recuperado y procesado por el LLM.
2. Envenenamiento de la Recuperación (Retrieval Poisoning): Manipulación adversaria del índice de recuperación o del propio recuperador para sesgar el ranking de los resultados, asegurando que el contenido malicioso aparezca en los primeros $k$ resultados.

Los benchmarks existentes suelen carecer de un enfoque compacto y centrado en la Web que cubra los "portadores" específicos (mecanismos de HTML/Markdown/Unicode) que sobreviven a los procesos de ingesta, ni evalúan suficientemente las mitigaciones prácticas y de bajo costo.

Metodología: OpenRAG-Soc
Los autores introducen OpenRAG-Soc, un benchmark reproducible y un entorno de pruebas diseñado para evaluar los sistemas RAG bajo estas amenazas. El marco opera sobre un paquete de datos discreto que contiene 6,200 páginas de estilo social.

• Diseño del Corpus: El conjunto de datos incluye cinco portadores específicos conocidos por sobrevivir a la ingesta: spans ocultos, CSS fuera de pantalla, texto alt, atributos ARIA y caracteres de ancho cero. El corpus se divide en variantes visibles y ocultas/fuera de pantalla, donde cada página tiene su contraparte de carga útil (payload)/control. También incluye negativos duros y una pequeña sección de capas de texto de PDF/SVG.
• Arquitectura del Pipeline: El entorno implementa un pipeline de ingesta → recuperación → generación.
  • Recuperadores: Soporta recuperadores intercambiables dispersos (BM25) y densos (ej. E5, BGE).
  • Generación: Utiliza varios LLM (Llama-3, Mistral, Qwen) con una plantilla de prompt de "no nuevas instrucciones desde el contexto".
  • Defensas: El sistema integra mitigaciones desplegables:
    1. Sanitización: Sanitización de HTML/Markdown para neutralizar constructos ocultos o fuera de pantalla.
    2. Normalización: Normalización Unicode (NFKC) para eliminar caracteres de ancho cero y confusibles.
    3. Control de Atribución (Attribution-Gating): Una estrategia de prompting que requiere citas en línea para cada oración, restringiendo las respuestas a los fragmentos recuperados.
• Métricas:
  • Tasa de Éxito de Ataque (ASR): La fracción de consultas donde el modelo sigue una instrucción inyectada.
  • Desplazamiento de Ranking (Rank Shift): Cambios en el Recíproco Medio (MRR) y la ganancia de descuento acumulada normalizada (nDCG) bajo condiciones de envenenamiento.
  • Utilidad y Latencia: Tasas de capacidad de respuesta (answerability), consistencia de atribución y latencia de extremo a extremo.

Resultos Clave
La evaluación a través de recuperadores dispersos y densos arroja los siguientes hallazgos:

• Efectividad de las Defensas: La configuración "Todas las Defensas" (Sanitización + Normalización + Atribución) logra consistentemente la ASR más baja en todos los portadores, reduciendo la ASR promedio macro de ~24.9% (Vanilla) a ~4.7%.
  • La Sanitización es más efectiva contra los portadores de HTML/Markdown (por ejemplo, reduciendo la ASR de Spans Ocultos de 34.0% a 12.3%).
  • La Normalización es crítica para los ataques de ancho cero (reduciendo la ASR de 23.2% a 7.8%).
  • El Control de Atribución reduce significamente la ASR para imperativos visibles (una reducción del 78% en ese segmento específico).
• Impacto del Envenenamiento: A medida que aumenta el presupuesto de envenenamiento, la calidad del ranking se degrada. Sin embargo, la combinación de Sanitización y Normalización amortigua esta degradación tanto para BM25 como para los recuperadores densos.
• Utilidad y Latencia: Las defensas incurren en costos de utilidad insignificantes. La capacidad de respuesta disminuye solo un ~1.8–2.2 puntos porcentuales bajo configuraciones de Sanitización+Normalización. La latencia adicional es mínima: la Sanitización añade un ~3.1% (mediana) al tiempo del pipeline, mientras que la Normalización añade <0.5%.
• Robustez: El orden de las defensas (Todas las Defensas > Sanitizado > Normalizado > Vanilla) se mantiene incluso bajo prompts de red-team adaptativos y a través de diferentes tamaños de LLM (de 8B a 70B) y tipos de recuperador.

Significancia y Reivindicaciones
El artículo posiciona a OpenRAG-Soc como una herramienta centrada en el profesional que complementa los estudios actuales de seguridad de agentes y jailbreak. Su principal significancia radica en:

1. Estandarización: Proporciona una evaluación estandarizada de extremo a extremo, desde la ingesta hasta la generación, permitiendo comparaciones "manzanas con manzanas" entre diferentes portadores y defensas.
2. Practicidad: Se enfoca en mitigaciones de bajo costo y desplegables (sanitización, normalización, atribución) que pueden integrarse inmediatamente en flujos de trabajo RAG orientados a la web sin requerir el reentrenamiento de modelos.
3. Visión Holística: Al emparejar las métricas de éxito de inyección con los desplazamientos de ranking de recuperación y los compromisos de utilidad/latencia, ofrece una visión integral del panorama de riesgos para los sistemas RAG que dependen del contenido de la web social.

Los autores concluyen que las prácticas simples de higiene, combinadas con un prompting con control de atribución, pueden reducir significativamente el seguimiento de instrucciones y mejorar la procedencia con una sobrecarga intrascendente, permitiendo el despliegue seguro de sistemas RAG fundamentados en contenido generado por usuarios.