Resumen Técnico: MIPIAD – Defensa contra Inyección Indirecta de Prompts Multilingüe

Declaración del Problema

La inyección indirecta de prompts representa una vulnerabilidad crítica en los sistemas de Modelos de Lenguaje (LLM) que utilizan Herramientas y Generación Aumentada por Recuperación (RAG). A diferencia de las inyecciones directas, donde las instrucciones maliciosas se incrustan en la consulta del usuario, las inyecciones indirectas ocultan instrucciones dentro de documentos recuperados, correos electrónicos, tablas o código. Esta amenaza se ve exacerbada en entornos multilingües, donde los sistemas deben procesar idiomas, dominios y estilos de formato mixtos. Las defensas existentes a menudo fallan al generalizar entre idiomas o carecen de evaluación en benchmarks multilingües realistas y a gran escala. El desafío específico abordado es la detección de estas instrucciones incrustadas antes de que lleguen al LLM víctima, particularmente en idiomas de recursos limitados como el bengalí, donde la transferencia cruzada de idiomas de las firmas de seguridad es poco comprendida.

Metodología

Los autores proponen MIPIAD (Defensa contra Inyección Indirecta de Prompts Multilingüe), un marco de defensa integral evaluado en inglés y bengalí. La metodología consta de tres componentes principales:

1. Construcción del Benchmark (Dataset MIPIAD)

Para abordar la falta de datos multilingües, los autores construyeron un benchmark sintético masivo que contiene 1,43 millones de muestras.

• Fuente: Las plantillas se derivaron del benchmark BIPIA (Yi et al., 2023).
• Traducción: Se utilizó NLLB-200 de Meta para traducir las plantillas de ataque y los contextos de tareas del inglés al bengalí.
• Familias de Tareas: El dataset abarca cinco tipos de tareas: correo electrónico, tabla, preguntas y respuestas (QA), resumen y código.
• Estrategia de Inyección: Los textos de ataque se inyectaron al inicio, en el medio o al final de los contextos.
• Integridad de los Datos: Para prevenir filtraciones, las divisiones de entrenamiento y prueba se particionaron a nivel de contexto, asegurando categorías de ataque y variantes mutuamente excluyentes entre los conjuntos.

2. Arquitectura de Detección

El núcleo de la defensa es un enfoque híbrido que combina señales neuronales y léxicas:

• XLPID (Detector de Inyección de Prompts Cruzado): Un clasificador de secuencias construido sobre una base Qwen2.5-1.5B congelada. Utiliza LoRA (Adaptación de Bajo Rango) con rango 16 y $\alpha=32$ dirigido a las capas $q\_proj$ y $v\_proj$ para un ajuste fino eficiente.
• Líneas Base Léxicas: Modelos de aprendizaje automático tradicionales que utilizan características TF-IDF (10.000 n-gramas superiores, tamaños 1–3) combinados con Máquinas de Vectores de Soporte (SVM) y Regresión Logística (LR).
• Meta-Ensamblajes: El marco integra estos flujos mediante:
  • Fusión Tardía Híbrida: Una combinación ponderada de las probabilidades de XLPID ($p_t$) y las probabilidades de TF-IDF ($p_l$), optimizada mediante búsqueda en cuadrícula ($\alpha \in [0, 1]$).
  • Apilamiento y Potenciación: Apilamiento de regresión logística y árboles de potenciación de gradiente que procesan las probabilidades de los modelos base.

3. Pipeline de Evaluación

La evaluación sigue un proceso de cuatro etapas:

1. Clasificación de Defensa: El clasificador MIPIAD escanea las entradas. Si son maliciosas, se antepone un aviso de seguridad.
2. Ejecución de la Víctima: Los prompts se alimentan a LLMs víctimas (se probaron siete modelos, incluidas variantes de Qwen, Gemma y BanglaLLaMA).
3. Juicio: Un ensamble de LLMs jueces puntúa las respuestas en cuanto a Tasa de Éxito del Ataque (ASR) y utilidad.
4. Agregación de Métricas: Las métricas finales incluyen ASR, Utilidad Benigna (BU), Utilidad Bajo Ataque (UA) y Paridad Cruzada de Idiomas (CLP), que mide la brecha de rendimiento entre inglés y bengalí.

Contribuciones Clave

El artículo describe cuatro contribuciones específicas:

1. Pipeline Multilingüe Unificado: Un pipeline de generación de datos que crea un dataset de 1,43 millones de muestras para inyección indirecta de prompts en inglés y bengalí, cubriendo cinco familias de tareas distintas.
2. XLPID: Un detector cruzado de idiomas que utiliza ajuste fino eficiente de parámetros LoRA en bases robustas de LLM.
3. Estrategias de Meta-Ensamblaje: Integración novedosa de probabilidades basadas en transformadores con priores léxicos explícitos de TF-IDF mediante fusión tardía y potenciación.
4. Validación Empírica: Demostración de que la hibridación supera a los modelos neuronales aislados, logrando una ganancia de F1 de 2,7 puntos (0,9205 vs. 0,8939) y reduciendo significativamente la brecha de rendimiento cruzada de idiomas.

Resultados

Los experimentos arrojaron varios hallazgos críticos:

• Competitividad Léxica: Sorprendentemente, las señales léxicas por sí solas fueron fuertes. TF-IDF + SVM logró un F1 de 0,77, lo que sugiere que las plantillas sintéticas contienen artefactos léxicos detectables.
• Superioridad Híbrida: El ensamble Híbrido (XLPID + TF-IDF) logró la mejor puntuación F1 general de 0,9205, superando al XLPID independiente (0,8939). El Ensamble de Potenciación logró el AUROC más alto (0,9378).
• Robustez Cruzada de Idiomas: Los modelos neuronales independientes (XLPID) mostraron una brecha de rendimiento más amplia entre inglés y bengalí (CLP = 0,9322). Los métodos de ensamble estrecharon esta brecha (CLP $\approx$ 0,9479), con codificadores multilingües logrando una paridad casi total (CLP > 0,99).
• Impacto Aguas Abajo: Aplicado a siete LLMs víctimas, la defensa redujo la Tasa de Éxito del Ataque (ASR) para todos los modelos en ambos idiomas.
  • Reducciones Más Grandes: Observadas en Qwen3.5-9B (ASR reducido en 0,30 en inglés) y BanglaLLaMA-3-8B.
  • Preservación de la Utilidad: La Utilidad Benigna (BU) se mantuvo estable (dentro de $\pm 0,05$), lo que indica que la defensa no degrada significativamente el rendimiento de tareas legítimas.
• Análisis de Vulnerabilidad: La defensa fue más efectiva contra la Distribución de Malware y Cifrados de Sustitución, pero tuvo dificultades con los ataques de Sustitución de Emojis y Minería de Criptomonedas, que permanecieron como las vulnerabilidades más persistentes.

Significancia y Limitaciones

Significancia:
El artículo afirma que MIPIAD proporciona la primera evaluación de víctima de extremo a extremo para una defensa de inyección indirecta cruzada de idiomas. Demuestra que la hibridación de señales neuronales y léxicas es una estrategia superior para la seguridad, reparando eficazmente los puntos ciegos neuronales en patrones de baja frecuencia mientras mantiene una alta utilidad. El marco está diseñado para ser extensible, capaz de soportar más de 200 idiomas a través de NLLB-200 y bases adaptables sin cambios arquitectónicos.

Afirmaciones Modestas y Limitaciones:
Los autores reconocen explícitamente varias restricciones:

• Distribución Sintética: El dataset se deriva de plantillas BIPIA. Un alto rendimiento en este benchmark puede no traducirse completamente a ataques adversarios del mundo real que involucren reformulación adaptativa o trucos de codificación novedosos.
• Desequilibrio de Clases: El conjunto de prueba utiliza una relación de ataque a benigno de 10:1, mientras que el tráfico del mundo real puede ser de 225:1 o superior. Bajo una distribución natural, incluso una tasa de falsos positivos del 1% podría marcar la mayoría de las consultas legítimas, haciendo que la precisión sea crítica.
• Artefactos de Traducción: Las muestras en bengalí fueron traducidas por máquina. Los autores señalan que la salida de la traducción automática puede preservar las instrucciones de inyección con menos fidelidad que los ataques escritos por humanos o introducir artefactos léxicos que inflen el rendimiento del clasificador.
• Alcance Lingüístico: Aunque la arquitectura soporta más de 200 idiomas, la validación empírica está actualmente limitada estrictamente al inglés y al bengalí.

En conclusión, MIPIAD establece una base sólida para la defensa contra inyección indirecta de prompts multilingüe, demostrando que combinar el ajuste fino neuronal eficiente con características léxicas tradicionales ofrece un camino práctico y efectivo para asegurar sistemas RAG y agentes en entornos lingüísticos diversos.