Resumo Técnico: ROK-FORTRESS

Declaração do Problema

As avaliações de segurança para Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais focadas em riscos de alto impacto relacionados à Segurança Nacional e Segurança Pública (NSPS). No entanto, as avaliações de segurança multilíngues atuais dependem fortemente de benchmarks baseados apenas em tradução. Esses benchmarks preservam o cenário de ameaça subjacente e as entidades, meramente traduzindo o texto para um idioma-alvo. Essa abordagem falha em distinguir entre falhas de segurança impulsionadas por formas superficiais linguísticas (por exemplo, limitações de tokenizadores em idiomas de baixos recursos) e aquelas impulsionadas por fundamentação geopolítica (por exemplo, familiaridade com instituições locais, leis e realidades operacionais). Consequentemente, há evidências empíricas limitadas sobre como a linguagem e o contexto geopolítico interagem para moldar o comportamento de segurança, particularmente em domínios de alto impacto.

Metodologia

Os autores apresentam o ROK-FORTRESS, um benchmark bilíngue e culturalmente adversarial projetado para desvendar os efeitos da linguagem do contexto geopolítico, utilizando o par de idiomas inglês-coreano e o eixo geopolítico EUA-ROK (República da Coreia) como estudo de caso.

A Matriz de Transcriação

A inovação metodológica central é uma "Matriz de Transcriação" que varia sistematicamente dois fatores independentes:

1. Linguagem: Inglês vs. Coreano.
2. Fundamentação Geopolítica: Entidades/instituições dos EUA vs. Entidades/instituições da Coreia.

O conjunto de dados compreende 1.235 tarefas estratificadas em quatro domínios de NSPS:

• CBRNE: Ameaças Químicas, Biológicas, Radiológicas, Nucleares e Explosivas.
• Violência Política e Terrorismo: Incluindo financiamento, recrutamento e planejamento de ataques.
• Atividade Criminal e Financeira: Finanças ilícitas, fraude e tráfico.
• Vazamento de Informações: Solicitações de detalhes sensíveis militares ou de infraestrutura.

As tarefas são categorizadas como Agnósticas à Cultura (avaliadas em inglês e tradução para coreano) ou Específicas à Cultura (avaliadas em quatro variantes: Inglês-EUA, Coreano-EUA, Inglês-RK, Coreano-RK). Para tarefas específicas da cultura, utiliza-se "transcriação" em vez de tradução literal; intenções adversariais são preservadas enquanto referências (agências, locais, leis) são adaptadas ao contexto cultural-alvo para garantir equivalência semântica e realismo local.

Estrutura de Avaliação

• Design de Dupla Trilha: Cada prompt adversarial é emparelhado com um contraparte benigno para medir o Super-Rejeição (a falha em responder a consultas inofensivas).
• Pontuação: As respostas são avaliadas usando Pontuações de Risco Ponderadas por Nível (TRS). As rubricas consistem em critérios binários de 1 a 7 mapeados para sete dimensões de dano (Especificidade, Aquisição, Weaponização, Entrega, Exploração de Vulnerabilidade, Orientação de Alvo, Janelas Operacionais). Essas dimensões recebem níveis de risco (1–3) baseados na gravidade, com pesos aplicados para calcular uma pontuação final.
• Julgamento: Um painel calibrado de "LLM como Juiz" (consistindo em HyperCLOVA X, o4-mini e Kimi K2) avalia as respostas do modelo contra as rubricas, alcançando alta concordância com anotações humanas.
• Métricas: O estudo define Queda Linguística ($\Delta_{ling}$) como a diferença na pontuação de segurança entre as variantes em inglês e coreano, e Queda Contextual ($\Delta_{ctx}$) como a diferença entre a fundamentação dos EUA e da Coreia.

Principais Contribuições

1. Conjunto de Dados ROK-FORTRESS: Um benchmark NSPS bilíngue e culturalmente adversarial com 1.235 tarefas, incluindo prompts e rubricas transcriados por especialistas.
2. Matriz de Transcriação: Uma metodologia para isolar efeitos linguísticos de efeitos de fundamentação geopolítica, permitindo o teste de efeitos principais e de interação.
3. Pontuação de Risco Ponderada por Nível (TRS): Um mecanismo de pontuação alinhado com a severidade operacional de NSPS, indo além de métricas binárias simples de recusa/conformidade.
4. Ablação de Solicitação Direta: Uma análise de prompts simplificados (desprovidos de táticas de jailbreak) para determinar se os comportamentos de segurança observados são impulsionados pela complexidade do prompt ou pelo alinhamento intrínseco.

Resultados

O estudo avaliou 14 modelos de ponta e otimizados para coreano (incluindo GPT-5.2, Claude Opus/Sonnet 4.5, Gemini 3 Pro, DeepSeek V3 e modelos regionais como HyperCLOVA X e EXAONE 4.0).

• Supressão Linguística: Contrariando a literatura predominante que sugere que a tradução para idiomas de baixos recursos atua como vetor de ataque, o estudo encontrou um efeito de supressão consistente nas variantes em coreano. Em 12 dos 14 modelos, as variantes em língua coreana exibiram menor conformidade prejudicial (menor TRS) do que suas contrapartes em inglês. A queda linguística média foi de aproximadamente 10 pontos percentuais, cerca de três vezes maior que a queda contextual.
• Efeitos Contextuais: A fundamentação geopolítica também influenciou a segurança. Os modelos geralmente mostraram menor conformidade prejudicial quando fundamentados no contexto coreano em comparação com o contexto dos EUA, embora esse efeito fosse menor que o efeito linguístico.
• Efeitos de Interação: O estudo identificou interações não aditivas entre linguagem e contexto. Para três modelos (EXAONE, Kanana 2, Llama 4 Maverick), o contexto cultural coreano mitigou a supressão impulsionada pela linguagem, sugerindo um efeito de saturação onde sinais contextuais locais subsumem parcialmente sinais de risco baseados em linguagem. Nenhum modelo mostrou amplificação significativa da supressão na direção inversa.
• Moderação da Complexidade do Prompt: Em uma ablação de solicitação direta (removendo táticas de jailbreak), o efeito de supressão persistiu para modelos de código fechado, mas desapareceu ou se reverteu para modelos de código aberto. Modelos de código aberto retornaram ao padrão de "tradução como vetor de ataque" sob solicitações diretas, sugerindo que sua supressão em coreano sob prompts adversariais foi impulsionada pela interação com táticas complexas de jailbreak e não por alinhamento de segurança linguística intrínseco.
• Rastros de Raciocínio: A análise dos rastros de raciocínio revelou que, em casos de supressão (onde o coreano recusou, mas o inglês cumpriu), os modelos eram mais propensos a mostrar conscientização "apenas de raciocínio" da tática adversarial, mas ainda assim cumprir em inglês. Em coreano, essa conscientização foi mais confiavelmente convertida em recusa.

Significado e Alegações

O artigo afirma que avaliações baseadas apenas em tradução são insuficientes para avaliar a segurança multilíngue em domínios de alto impacto. A lacuna de segurança medida sob mudanças simples de idioma não necessariamente se extrapola para cenários transcriados onde o próprio cenário é localizado.

As principais implicações destacadas pelos autores incluem:

• Linguagem como Sinal de Risco: No caso inglês-coreano, a língua e o contexto coreanos frequentemente funcionam como sinais de risco conservadores, e não como vetores de ataque, uma descoberta que contradiz suposições anteriores sobre vulnerabilidades em idiomas de baixos recursos.
• Design de Benchmark: Os benchmarks de segurança devem ir além da tradução para incluir testes de intrusão (red-teaming) culturalmente fundamentados e dados de segurança transcriados para capturar efeitos de interação entre linguagem e contexto geopolítico.
• Implantação e Mitigação: O comportamento de segurança pode mudar sob entidades e instituições locais, mesmo quando a competência linguística é forte. O alinhamento de segurança pós-treinamento deve incorporar dados culturalmente fundamentados para garantir robustez em diferentes contextos geopolíticos.

Os autores concluem que, embora suas descobertas empíricas sejam específicas ao par inglês-coreano e ao eixo EUA-ROK, a metodologia da Matriz de Transcriação é projetada para generalizar, oferecendo um quadro para futuros benchmarks de NSPS que variam conjuntamente fatores linguísticos, culturais, geopolíticos e de complexidade de prompt.