Cross-Lingual Jailbreak Detection via Semantic Codebooks

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) actualmente sufren una brecha de seguridad lingüística sistemática. La alineación de seguridad y los mecanismos de detección de jailbreak son predominantemente centrados en inglés. La investigación indica que traducir prompts maliciosos a idiomas no ingleses (por ejemplo, ruso, chino, árabe) aumenta significativamente las tasas de éxito de los jailbreaks, ya que los filtros de seguridad a menudo fallan al transferir comportamientos de rechazo entre idiomas.

Las soluciones existentes tienen limitaciones:

• Métodos internos (RLHF, ajuste fino) requieren acceso a los pesos del modelo y un reentrenamiento extenso, lo que los hace inadecuados para APIs de caja negra.
• Métodos externos a menudo dependen de filtros basados en reglas (fácilmente eludidos mediante reformulación) o clasificadores específicos del inglés que pierden efectividad al aplicarse a consultas traducidas.

La pregunta central de investigación es: ¿Se pueden mitigar los intentos de jailbreak multilingüe sin reentrenar el LLM objetivo, recopilar nuevos datos multilingües o realizar ajustes específicos por idioma?

2. Metodología

Los autores proponen un marco de guardarrail externo sin entrenamiento basado en similitud semántica. El sistema opera como un pre-filtro para LLMs de caja negra.

A. Arquitectura Central

1. Libro de códigos inglés fijo: Un conjunto estático de 13,811 prompts en inglés únicos y verificados como inseguros (derivados del dataset jayavibhav/prompt-injection-safety). Estos se incrustan en un espacio vectorial.
2. Incrustación multilingüe: Las consultas de usuario entrantes (en cualquier idioma) se codifican utilizando un modelo de incrustación de oraciones multilingüe (principalmente BGE-M3, con comparaciones frente a multilingual-e5-large y jina-embeddings-v3).
3. Detección de similitud: El sistema calcula la máxima similitud del coseno entre la incrustación de la consulta y las incrustaciones del libro de códigos inglés fijo.
   • Si $s(x) = \max_{c \in C} (f(x) \cdot c) \geq \tau$, la consulta se bloquea.
   • No se aplica preprocesamiento de traducción a la entrada; el método se basa en la capacidad del modelo de incrustación para alinear espacios semánticos entre idiomas.

B. Configuración Experimental

• Idiomas: Inglés (nativo), ruso, chino, árabe.
• Tuberías de traducción: Google Translate (comercial) y M2M100 (código abierto) para simular estrategias realistas de traducción por parte de atacantes.
• LLMs objetivo: Qwen, Llama y GPT-3.5.
• Benchmarks: Cuatro datasets que van desde plantillas canónicas de jailbreak hasta contenido inseguro heterogéneo:
  1. jayavibhav/prompt-injection-safety (Canónico)
  2. xTRam1/safe-guard-prompt-injection (Canónico)
  3. JailbreakBench/JBB-Behaviors (Diverso/Heterogéneo)
  4. nvidia/Aegis-AI-Content-Safety-Dataset-2.0 (Diverso/Heterogéneo)
• Restricciones: La evaluación se centra fuertemente en el régimen de baja FPR (Tasa de Falsos Positivos $\leq 1\%$), lo cual es crítico para los sistemas de seguridad en producción para evitar bloquear consultas legítimas de usuarios.

3. Contribuciones Clave

1. Guardarrail sin entrenamiento: Un filtro externo desplegable que utiliza un libro de códigos inglés fijo para detectar ataques multilingües sin reentrenar el modelo.
2. Descubrimiento de dos regímenes: El artículo identifica una dicotomía crítica en el rendimiento de detección:
   • Régimen 1 (Canónico): En benchmarks con jailbreaks planteados y canónicos, el método logra una separabilidad casi perfecta (AUC $\approx$ 0.99) y una alta recuperación (recall).
   • Régimen 2 (Heterogéneo): En benchmarks con comportamientos inseguros diversos y no planteados, el rendimiento se degrada significativamente (AUC $\approx$ 0.60–0.70), y la recuperación colapsa en configuraciones de baja FPR.
3. Análisis de sensibilidad del incrustador: Demuestra que, aunque las puntuaciones de AUC pueden parecer similares entre diferentes modelos de incrustación, su rendimiento diverge drásticamente bajo restricciones operativas estrictas (baja FPR).
4. Métricas de mitigación práctica: Proporciona datos de extremo a extremo que muestran la reducción en la Tasa de Éxito del Ataque (ASR) a través de diferentes modelos objetivo.

4. Resultados Clave

A. Separabilidad Multilingüe (PQ1)

• Benchmarks Canónicos (1 y 2): El libro de códigos inglés se transfiere efectivamente.
  • Benchmark 2: Logró un AUC de 0.993 (inglés) y mantuvo 0.847–0.884 a través de idiomas traducidos.
  • Benchmark 1: Mantuvo un AUC fuerte ($\approx$ 0.80) a través de idiomas.
• Benchmarks Heterogéneos (3 y 4): La separabilidad se degradó.
  • Benchmark 4: El AUC cayó a 0.59–0.63 en todos los idiomas y incrustadores, lo que indica que la similitud semántica con un conjunto inglés fijo no logra capturar ataques diversos y basados en no plantillas.

B. Rendimiento en Régimen de Baja FPR (PQ2)

• Benchmark 2 (Canónico): Con la FPR restringida a $\leq 1\%$, el sistema logró una Tasa de Verdaderos Positivos (TPR) del 78.5% – 91.9% a través de idiomas utilizando BGE-M3.
• Benchmark 4 (Heterogéneo): Bajo la misma restricción estricta de FPR, la TPR colapsó a dígitos simples (3.3% – 6.4%). Esto resalta que el filtrado basado en similitud es insuficiente para vectores de ataque complejos y variados cuando se deben minimizar los falsos positivos.

C. Mitigación de Extremo a Extremo (PQ3)

• Ataques Canónicos: El filtro redujo los jailbreaks exitosos en un 96.2% (Benchmark 1) y un 50.0% (Benchmark 2).
• Ataques Heterogéneos: La efectividad de la mitigación cayó al 43.7% (Benchmark 3) y al 18.6% (Benchmark 4).
• Elección del incrustador: BGE-M3 generalmente superó a otros modelos en el régimen de baja FPR, particularmente para entradas en chino y árabe, aunque todos los modelos lucharon en los datasets más diversos.

5. Significado y Conclusión

El artículo establece que la similitud semántica con un libro de códigos inglés fijo es una defensa viable y ligera de primera línea para LLMs de caja negra, pero solo bajo condiciones específicas:

• Fortalezas: Es altamente efectiva contra jailbreaks canónicos y basados en plantillas (por ejemplo, prompts estilo "DAN") en múltiples idiomas sin requerir reentrenamiento. Ofrece una solución escalable para un despliegue inmediato.
• Limitaciones: No logra generalizarse a contenido inseguro comportamentalmente diverso y reformulado adversarialmente. La "deriva semántica" causada por la traducción y la falta de matices culturales/lingüísticos específicos en el libro de códigos inglés limitan su utilidad como solución independiente para amenazas heterogéneas.

Direcciones Futuras: Los autores sugieren que este enfoque debe ser parte de una tubería de seguridad multicapa, combinada con señales ortogonales (por ejemplo, análisis de perplejidad, detección de patrones sintácticos) y actualizaciones dinámicas del libro de códigos para manejar morfologías de ataque en evolución.

En resumen, el trabajo proporciona una línea base empírica crucial: el filtrado semántico agnóstico al idioma funciona bien para patrones conocidos pero es frágil ante cambios de distribución, enfatizando la necesidad de estrategias de defensa híbridas en la seguridad de LLMs multilingües.