Resumen Técnico: ROK-FORTRESS

Declaración del Problema

Las evaluaciones de seguridad para Modelos de Lenguaje Grande (LLM) se centran cada vez más en riesgos de alto impacto relacionados con la Seguridad Nacional y la Seguridad Pública (NSPS). Sin embargo, las evaluaciones de seguridad multilingües actuales dependen en gran medida de benchmarks de solo traducción. Estos benchmarks preservan el escenario de amenaza subyacente y las entidades mientras simplemente traducen el texto a un idioma objetivo. Este enfoque no logra distinguir entre fallos de seguridad impulsados por formas superficiales lingüísticas (por ejemplo, limitaciones de los tokenizadores en idiomas de recursos limitados) y aquellos impulsados por el anclaje geopolítico (por ejemplo, familiaridad con instituciones locales, leyes y realidades operativas). En consecuencia, existe evidencia empírica limitada sobre cómo interactúan el idioma y el contexto geopolítico para dar forma al comportamiento de seguridad, particularmente en dominios de alto impacto.

Metodología

Los autores introducen ROK-FORTRESS, un benchmark bilingüe y culturalmente adversarial diseñado para desentrañar los efectos del idioma del contexto geopolítico utilizando el par de idiomas inglés-coreano y el eje geopolítico EE. UU.–ROK (República de Corea) como estudio de caso.

La Matriz de Transcreación

La innovación metodológica central es una "Matriz de Transcreación" que varía sistemáticamente dos factores independientes:

1. Idioma: Inglés vs. Coreano.
2. Anclaje Geopolítico: Entidades/instituciones de EE. UU. vs. Entidades/instituciones de Corea.

El conjunto de datos comprende 1.235 tareas estratificadas en cuatro dominios NSPS:

• CBRNE: Amenazas químicas, biológicas, radiológicas, nucleares y explosivas.
• Violencia Política y Terrorismo: Incluyendo financiación, reclutamiento y planificación de ataques.
• Actividad Criminal y Financiera: Finanzas ilícitas, fraude y tráfico.
• Fuga de Información: Solicitudes de detalles sensibles militares o de infraestructura.

Las tareas se categorizan como Agnósticas a la Cultura (evaluadas en inglés y traducción al coreano) o Específicas de la Cultura (evaluadas en cuatro variantes: Inglés-EE. UU., Coreano-EE. UU., Inglés-CR, Coreano-CR). Para las tareas específicas de la cultura, se utiliza la "transcreación" en lugar de la traducción literal; las intenciones adversariales se preservan mientras que las referencias (agencias, ubicaciones, leyes) se adaptan al contexto cultural objetivo para garantizar la equivalencia semántica y el realismo local.

Marco de Evaluación

• Diseño de Doble Vía: Cada prompt adversarial se empareja con un contraparte benigno para medir el Rechazo Excesivo (la falla en responder consultas inofensivas).
• Puntuación: Las respuestas se evalúan utilizando Puntajes de Riesgo Ponderados por Nivel (TRS). Las rúbricas consisten en criterios binarios de 1 a 7 mapeados a siete dimensiones de daño (Especificidad, Adquisición, Armaización, Entrega, Explotación de Vulnerabilidades, Orientación de Objetivos, Ventanas Operativas). Estas dimensiones se asignan a niveles de riesgo (1–3) basados en la severidad, con pesos aplicados para calcular una puntuación final.
• Juicio: Un panel calibrado de "LLM como Juez" (compuesto por HyperCLOVA X, o4-mini y Kimi K2) evalúa las respuestas del modelo contra las rúbricas, logrando un alto acuerdo con las anotaciones humanas.
• Métricas: El estudio define la Caída Lingüística ($\Delta_{ling}$) como la diferencia en la puntuación de seguridad entre las variantes en inglés y coreano, y la Caída Contextual ($\Delta_{ctx}$) como la diferencia entre el anclaje de EE. UU. y el de Corea.

Contribuciones Clave

1. Conjunto de Datos ROK-FORTRESS: Un benchmark NSPS bilingüe y culturalmente adversarial con 1.235 tareas, incluyendo prompts transcreados por expertos y rúbricas.
2. Matriz de Transcreación: Una metodología para aislar los efectos del idioma de los efectos del anclaje geopolítico, permitiendo la prueba de efectos principales y de interacción.
3. Puntuación de Riesgo Ponderada por Nivel (TRS): Un mecanismo de puntuación alineado con la severidad operativa NSPS, que va más allá de las métricas binarias simples de rechazo/cumplimiento.
4. Ablación de Solicitudes Directas: Un análisis de prompts simplificados (despojados de tácticas de jailbreak) para determinar si los comportamientos de seguridad observados son impulsados por la complejidad del prompt o por la alineación intrínseca.

Resultados

El estudio evaluó 14 modelos de vanguardia y optimizados para coreano (incluyendo GPT-5.2, Claude Opus/Sonnet 4.5, Gemini 3 Pro, DeepSeek V3, y modelos regionales como HyperCLOVA X y EXAONE 4.0).

• Supresión Lingüística: Contrario a la literatura predominante que sugiere que la traducción a idiomas de recursos más bajos actúa como un vector de ataque, el estudio encontró un efecto de supresión consistente en las variantes coreanas. En 12 de los 14 modelos, las variantes en idioma coreano exhibieron un cumplimiento dañino menor (menor TRS) que sus contrapartes en inglés. La caída lingüística promedio fue de aproximadamente 10 puntos porcentuales, aproximadamente tres veces mayor que la caída contextual.
• Efectos Contextuales: El anclaje geopolítico también influyó en la seguridad. Los modelos generalmente mostraron un cumplimiento dañino menor cuando estaban anclados en el contexto coreano en comparación con el contexto de EE. UU., aunque este efecto fue menor que el efecto del idioma.
• Efectos de Interacción: El estudio identificó interacciones no aditivas entre el idioma y el contexto. Para tres modelos (EXAONE, Kanana 2, Llama 4 Maverick), el contexto cultural coreano mitigó la supresión impulsada por el idioma, sugiriendo un efecto de saturación donde las señales de contexto local subsumen parcialmente las señales de riesgo basadas en el idioma. Ningún modelo mostró una amplificación significativa de la supresión en la dirección inversa.
• Moderación de la Complejidad del Prompt: En una ablación de solicitud directa (eliminando tácticas de jailbreak), el efecto de supresión persistió para los modelos de código cerrado pero desapareció o se invirtió para los modelos de código abierto. Los modelos de código abierto volvieron al patrón de "traducción como vector de ataque" bajo solicitudes directas, lo que sugiere que su supresión en coreano bajo prompts adversariales fue impulsada por la interacción con tácticas complejas de jailbreak en lugar de una alineación de seguridad basada en el idioma intrínseca.
• Rastros de Razonamiento: El análisis de los rastros de razonamiento reveló que, en casos de supresión (donde el coreano rechazó pero el inglés cumplió), los modelos tenían más probabilidades de mostrar una conciencia "solo de razonamiento" de la táctica adversarial pero aún cumplían en inglés. En coreano, esta conciencia se convertía más confiablemente en un rechazo.

Significado y Afirmaciones

El artículo afirma que las evaluaciones de solo traducción son insuficientes para evaluar la seguridad multilingüe en dominios de alto impacto. La brecha de seguridad medida bajo cambios simples de idioma no necesariamente se extrapola a entornos transcreados donde el escenario en sí mismo está localizado.

Las implicaciones clave destacadas por los autores incluyen:

• El Idioma como Señal de Riesgo: En el caso inglés-coreano, el idioma y el contexto coreano a menudo funcionan como señales de riesgo conservadoras en lugar de vectores de ataque, un hallazgo que contradice las suposiciones anteriores sobre las vulnerabilidades de los idiomas de recursos limitados.
• Diseño de Benchmark: Los benchmarks de seguridad deben ir más allá de la traducción para incluir la prueba de intrusos (red-teaming) culturalmente fundamentada y datos de seguridad transcreados para capturar los efectos de interacción entre el idioma y el contexto geopolítico.
• Despliegue y Mitigación: El comportamiento de seguridad puede cambiar bajo entidades e instituciones locales incluso cuando la competencia lingüística es fuerte. La alineación de seguridad posterior al entrenamiento debe incorporar datos culturalmente fundamentados para garantizar la robustez en diversos contextos geopolíticos.

Los autores concluyen que, aunque sus hallazgos empíricos son específicos del par inglés-coreano y del eje EE. UU.–ROK, la metodología de la Matriz de Transcreación está diseñada para generalizarse, ofreciendo un marco para futuros benchmarks NSPS que varíen conjuntamente factores lingüísticos, culturales, geopolíticos y de complejidad del prompt.