Where Privacy Risk Lives in English-Source Multilingual RAG: A Stage-Decomposed Audit Across Five Query Languages

Resumen Técnico: Dónde reside el riesgo de privacidad en la RAG multilingüe de fuente inglesa

Planteamiento del problema
Una suposición prevaleciente en la seguridad multilingüe sugiere que cambiar un sistema de Generación Aumentada por Recuperación (RAG) a un lenguaje de consulta que no sea el inglés aumenta el riesgo de filtración de información personal. La hipótesis es que las consultas translingües pueden eludir las defensas centradas en el inglés (como los filtros de PII y los clasificadores de seguridad) que están sobrerrepresentadas en los datos de entrenamiento en inglés. Este artículo investiga esta intuición dentro de un sistema RAG multilingüe de fuente inglesa. El modelo de amenaza específico involucra a un atacante que posee un ancla no relacionada con PII (por ejemplo, el nombre de un proyecto o un ID de ticket) de un documento objetivo e intenta extraer un elemento de PII sintético plantado (nombre, correo electrónico, teléfono, dirección o ID) consultando el sistema en cinco idiomas: inglés, chino, alemán, árabe y suajili.

Metodología
Los autores construyen un pipeline de auditoría descompuesto por etapas utilizando un corpus sintético de 100 documentos en inglés, cada uno con un elemento de PII único. La arquitectura del sistema y la configuración del ataque incluyen:

• Componentes del pipeline: Todos los componentes (traductor, juez de entrada, retrotraductor y generador) utilizan la familia de modelos Qwen2.5-7B para asegurar que los hallazgos sean condicionales al pipeline y no clasificaciones causales del riesgo inherente al lenguaje.
  • Recuperador (Retriever): Embedder BGE-M3 con FAISS (top-$k=5$).
  • Generador: Qwen2.5-7B-Instruct.
  • Defensa (Etapa A): Un juez de entrada con prompt exclusivamente en inglés que clasifica las consultas como BLOQUEAR (BLOCK) o PERMITIR (ALLOW).
  • Def Defensas (Etapa B): Un filtro de salida basado en regex dirigido a patrones de correo electrónico, teléfono y tipos similares a SSN.
• Vectores de ataque: Para cada documento, se generan tres reformulaciones de consulta: extracción directa, resumen con solicitudes de entidades e in-context learning (ICL). Estas plantillas en inglés se traducen a los cuatro idiomas objetivo utilizando Qwen2.5-7B.
• Métricas: El estudio mide la "filtración" (leak) como la divulgación verbatim del PII plantado. Agrega los resultados a nivel de documento (cualquier éxito) utilizando intervalos de confianza de bootstrap del 95%. El análisis distingue entre filtraciones de solo salida (eludiendo el filtro regex) y filtraciones combinadas (eludiendo tanto el juez de entrada como el filtro de salida).
• Ablaciones y diagnósticos: El estudio incluye una ablación de "retrotraducir-y-juzgar" (back-translate-then-judge) y una variante de "juez con prompt multilingüe". Crucialmente, realiza un diagnóstico de oráculo (Sección 4.4) donde el juez de entrada recibe el documento del corpus de oro como contexto para probar si el contexto de recuperación puede cerrar la brecha de seguridad.

Resultos clave

1. Filtrado de solo salida (F1): Contrario a la suposición de que las consultas en otros idiomas son más riesgosas, las consultas en inglés exhibieron la mayor tasa observada de filtración de PII no estructurado (0.875) bajo un filtrado de solo salida. Las plantillas en otros idiomas mostraron estimaciones puntuales más bajas (oscilando entre 0.425 para el suajili y 0.775 para el alemán). Estadísticamente, solo la comparación inglés-suajili mostró una separación clara mediante intervalos de bootstrap; las otras comparaciones se solaparon.
2. Desempeño del juez de entrada (F2): Cuando se añadió el juez de entrada con prompt solo en inglés, la filtración residual colapsó a cero para el inglés, el chino y el alemán. Sin embargo, las filtraciones residuales persistieron para el árabe (7.5%) y el suajili (17.5%).
   • El juez de entrada bloqueó el 100% de las consultas en inglés pero solo el 76.7% de las consultas en suajili.
   • Una ablación de "retrotraducir-y-juzgar" no mejoró las tasas de bloqueo del suajili (cayendo al 71.3%), lo que sugiere que el problema no es simplemente la incapacidad del juez para leer texto extranjero, sino potencialmente una atenuación de la intención inducida por la traducción, donde la consulta traducida pierde las señales explícitas de extracción.
3. Filtración de etapa combinada (F3): Las filtraciones residuales se concentraron en el "rincón ruidoso de la MT" (árabe y suajili). El patrón sugiere una degradación diferencial del pipeline: el juez del lado de la entrada (que carece de contexto de recuperación) no logra detectar la intención atenuada, mientras que el generador de flujo descendente (condicionado por el contexto recuperado) logra reconstruir el PII con éxito.
4. Diagnóstico de Oráculo (F4): En un experimento separado sobre el residuo del juez con prompt multilingüe ($n=17$), adjuntar el documento del corpus de oro como "Contexto Recuperado" al juez de entrada bloqueó 15/17 celdas residuales. Esto indica que proporcionar contexto al juez de entrada puede mitigar la falla, aunque esto se enmarca como un diagnóstico de mecanismo más que como una defensa desplegable.

Contribuciones clave

• Localización del riesgo: El artículo localiza el riesgo de privacidad no en el idioma en sí, sino en modos de falla específicos en el pipeline donde el ruido de la traducción atenúa la intención de extracción lo suficiente como para eludir un filtro de entrada, mientras que el contexto de recuperación permite que el generador aún responda.
• Hallazgos condicionales al pipeline: Los autores declaran explícitamente que sus hallazgos son condicionales al pipeline Qwen2.5-7B. No afirman que los idiomas no ingleses sean inherentemente más seguros o riesgosos, sino que en esta configuración específica, el inglés mostró las mayores tasas de filtración bajo el filtrado de salida, y los riesgos residuales se concentraron en el árabe y el suajili bajo el filtrado de dos etapas.
• Hipótesis del mecanismo: El trabajo propone la hipótesis de la "degradación diferencial del pipeline bajo el ruido de traducción", donde el juez de entrada y el generador se degradan a ritmos diferentes cuando procesan consultas traducidas por máquina.

Significancia y Reivindicaciones
El artículo enmarca modestamente sus contribuciones como un piloto descompuesto por etapas y un prueba de concepto de oráculo, evitando explícitamente realizar afirmaciones sobre mecanismos causales generalizables o defensas desplegables.

• No es un ranking causal: Los autores enfatizan que, debido a que todo el pipeline (traductor, juez, generador) utiliza la misma familia de modelos, los resultados no pueden usarse para clasificar los idiomas por riesgo inherente.
• No es una defensa desplegable: El resultado F4 (bloqueo de 15/17 celdas con contexto) se presenta estrictamente como un diagnóstico de mecanismo. Los autores señalan que, sin medir las tasas de falsos positivos de consultas benignas o los costos de utilidad de la respuesta, esto no puede recomendarse como una defensa de producción.
• Límites del alcance: El estudio se limita a plantillas de ataque traducidas por máquina (no prompts escritos de forma nativa) y a una única familia de modelos. Los autores identifican como prioridad de seguimiento una replicación independiente utilizando un sistema de traducción automática diferente (por ejemplo, NLLB-200), un juez que no sea Qwen y un conjunto de consultas de hablantes nativos para distinguir entre artefactos de traducción y riesgos lingüísticos inherentes.

En resumen, el artículo desafía la intuición de que las consultas en otros idiomas son automáticamente más peligrosas en sistemas RAG de fuente inglesa, demostrando en cambio que, en un pipeline específico mediado por Qwen, las consultas en inglés son las que más filtran bajo el filtrado de salida, mientras que los riesgos residuales en el árabe y el suajili surgen de una interacción específica entre el ruido de la traducción y la falta de contexto de recuperación en el juez de entrada.