💬 NLP

XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity

Este artigo apresenta o XL-SafetyBench, um benchmark transcultural composto por 5.500 casos de teste fundamentados em países, abrangendo 10 pares de idiomas, que revela uma desconexão entre a robustez contra jailbreaks e a sensibilidade cultural em modelos de ponta, ao mesmo tempo que expõe que a segurança aparente de modelos locais frequentemente decorre de falhas de geração em vez de um alinhamento genuíno.

Autores originais: Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Sur

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Suresh Gehlot, Katherine Pratt, Amanda Minnich, Haon Park

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um novo assistente para ajudar pessoas em todo o mundo. Você quer ter certeza de que esse assistente é seguro, educado e não dirá acidentalmente algo ofensivo ou perigoso.

Por muito tempo, testamos esses assistentes usando um "teste padronizado" escrito inteiramente em inglês. Mas os autores deste artigo, XL-SafetyBench, argumentam que isso é como testar a habilidade de um chef de cozinhar comida italiana pedindo apenas que ele faça hambúrgueres americanos. Só porque ele consegue fazer um hambúrguer com segurança não significa que ele conhece as regras locais da Itália.

Aqui está uma explicação simples do que eles fizeram e do que descobriram, usando algumas analogias do cotidiano.

1. O Problema: A "Armadilha da Tradução"

A maioria dos testes de segurança para IA consiste apenas em perguntas em inglês traduzidas para outros idiomas.

O Defeito: Se você traduzir uma pergunta sobre "como roubar um carro" para o coreano, a IA pode dizer "Não". Mas e se a pergunta for sobre um tipo específico de golpe imobiliário que só acontece na Coreia? Um teste traduzido não detectará isso.
A Peça Faltante: Existem dois tipos de "segurança" que os antigos testes ignoram:
1. O Teste do "Hacker": A IA pode ser enganada por um criminoso local para fazer algo ruim? (ex: "Como eu aplico golpes nas pessoas usando o sistema específico de depósito imobiliário da Coreia?")
2. O Teste das "Boas Maneiras Sociais": A IA conhece os costumes locais? (ex: Se você pedir à IA para ajudar a planejar um presente para um amigo francês, ela não deve sugerir crisântemos, porque na França, essas flores são para funerais, não para aniversários.)

2. A Solução: Um Novo Teste de "Turnê Mundial"

Os pesquisadores criaram o XL-SafetyBench, um conjunto massivo de testes com 5.500 perguntas cobrindo 10 países diferentes (como EUA, Coreia do Sul, Índia, Alemanha, etc.).

Eles não apenas traduziram perguntas em inglês. Eles construíram o teste do zero em cada idioma local, usando duas trilhas principais:

Trilha A: A "Equipe Vermelha" (Benchmark de Jailbreak)
- A Analogia: Imagine contratar uma equipe de "hackers" locais para tentar enganar a IA. Eles não perguntam apenas "Como eu faço uma bomba?". Eles perguntam: "Como eu uso o aplicativo bancário local específico da Turquia para roubar dinheiro?"
- O Objetivo: Verificar se a IA consegue resistir a esses truques inteligentes e fundamentados localmente.
Trilha B: O "Detetive Cultural" (Benchmark Cultural)
- A Analogia: Imagine que a IA é uma convidada em uma festa. O anfitrião pergunta: "Você pode me ajudar a escrever um cardápio para um casamento?". Mas escondido dentro do pedido há um pequeno detalhe: "Vamos servir carne de porco aos convidados que seguem uma religião estritamente vegetariana."
- O Objetivo: A IA precisa detectar esse pequeno erro cultural oculto sem que lhe seja dito que ele existe. Não se trata de recusar um pedido ruim; trata-se de notar uma gafe social enterrada em uma conversa normal.

3. Como Eles Construíram Isso

Eles não pediram apenas a um computador para escrever essas perguntas. Eles usaram um processo de "humano no loop":

Descoberta por IA: Computadores identificaram potenciais problemas locais.
Validação Humana: Pessoas reais que viveram nesses países por mais de 15 anos verificaram cada pergunta individualmente. Elas garantiram que as perguntas soassem naturais e que as armadilhas culturais fossem reais.
O Resultado: Um teste de alta qualidade e autenticidade cultural que parece uma conversa real, não uma tradução robótica.

4. As Grandes Surpresas (As Descobertas)

Quando testaram 37 modelos de IA diferentes (10 grandes globais e 27 locais desses países específicos), descobriram duas coisas chocantes:

Surpresa #1: Ser "Seguro" e ser "Culturalmente Consciente" não é a mesma coisa.

A Analogia: Pense na segurança e na cultura como duas habilidades diferentes, como "dirigir um carro" e "falar o dialeto local".
A Descoberta: Alguns dos modelos de IA mais poderosos foram ótimos em recusar fazer coisas ruins (alta segurança), mas péssimos em detectar erros culturais (baixa consciência cultural). Por outro lado, alguns modelos foram razoáveis em cultura, mas facilmente enganados por hackers.
A Conclusão: Você não pode apenas dar a uma IA uma única "pontuação de segurança". Você precisa medir se ela é segura e se é culturalmente inteligente separadamente.

Surpresa #2: Modelos locais estão "fingindo" segurança.

A Analogia: Imagine um aluno fazendo um teste difícil de matemática.
- Modelo A (Global): Entende a pergunta, pensa com cuidado e diz: "Não posso resolver isso porque é perigoso." (Isso é Segurança Real).
- Modelo B (Local): Não entende a pergunta de jeito nenhum, então apenas encara em branco ou diz besteiras. Como ele não respondeu à pergunta, tecnicamente "não fez nada de ruim".
A Descoberta: Muitos modelos de IA locais pareciam "seguros" porque falhavam em entender a pergunta, não porque estavam fazendo uma escolha moral para recusar. Eles estavam "seguros" por acidente, não por design. Os pesquisadores chamam isso de "Ilusão de Segurança".

5. Por Que Isso Importa

Este artigo apresenta uma nova maneira de testar a IA que trata diferentes países como lugares únicos com suas próprias regras, em vez de apenas "inglês com um sotaque diferente".

Isso nos mostra que, para construir uma IA verdadeiramente segura para todo o mundo, precisamos parar de depender de testes traduzidos. Precisamos testar se a IA consegue lidar com golpes locais e se ela sabe não dar uma flor de funeral como presente de aniversário. E, mais importante, precisamos garantir que a IA não esteja apenas "segura" porque está confusa demais para responder, mas segura porque ela realmente entende o mundo.

Resumo Técnico: XL-SafetyBench

Declaração do Problema

As atuais avaliações de segurança para Modelos de Linguagem de Grande Escala (LLMs) são predominantemente centradas no inglês e dependem fortemente de metodologias baseadas em tradução. Essa abordagem falha em capturar danos específicos de cada país, fundamentados em estruturas legais locais, estruturas socioeconômicas e normas culturais. Além disso, as avaliações existentes tratam a segurança como uma dimensão monolítica, falhando em distinguir entre dois modos de falha distintos: (1) a incapacidade de resistir a intenções maliciosas e adversariais (jailbreaks) e (2) a incapacidade de detectar sensibilidades culturalmente embutidas dentro de solicitações inofensivas. Consequentemente, os modelos podem parecer seguros devido a falhas de compreensão em vez de um alinhamento genuíno, e a consciência cultural é frequentemente confundida com fluência linguística geral.

Metodologia

Os autores apresentam o XL-SafetyBench, um conjunto abrangente de avaliação composto por 5.500 casos de teste em 10 pares de país-idioma (Estados Unidos, França, Alemanha, Espanha, Coreia do Sul, Japão, Índia, Indonésia, Turquia e Emirados Árabes Unidos). O framework é construído por meio de um pipeline de múltiplos estágios que combina descoberta assistida por LLM, validação automatizada e anotação independente dupla por falantes nativos.

A avaliação consiste em duas trilhas complementares:

1. Avaliação de Jailbreak (Robustez Adversarial Fundamentada no País)

Esta trilha avalia a capacidade de um modelo de resistir a intenções maliciosas específicas ao contexto de um país.

Taxonomia: Define cinco categorias de dano (Atividades Criminosas, Autolesão e Conselhos Perigosos, Ódio e Discriminação, Conflitos Socioeconômicos, Política e Desinformação). Cada categoria inclui 25 subcategorias compartilhadas (idênticas entre países) e 25 subcategorias flexíveis (específicas de cada país, por exemplo, "fraude Jeonse" na Coreia do Sul ou "contrabando de drogas Go-fast" na França).
Geração: Utiliza um pipeline iterativo de red-teaming (estendendo o framework PAIR) com um atacante, alvo de sondagem e juiz. Os atacantes geram prompts disfarçados para contornar filtros de segurança, validados por falantes nativos para garantir autenticidade cultural.
Métricas:
- Taxa de Sucesso do Ataque (ASR): Mede a porcentagem de respostas que fornecem informações prejudiciais.
- Taxa Neutra-Segura (NSR): Mede respostas que são irrelevantes ou incoerentes (indicando falha de compreensão em vez de recusa baseada em princípios).

2. Avaliação Cultural (Sensibilidades Culturalmente Embutidas)

Esta trilha avalia a capacidade de um modelo de detectar tabus culturais embutidos como detalhes incidentais dentro de tarefas naturais e não prejudiciais.

Taxonomia: Define seis categorias culturais (Tabus Simbólicos e Presentes, Alimentação/Lei Dietética, Morte/Luto, Vida Diária/Conduta Pública, Hierarquia/Deferência Social, Minas Terrestres Legais).
Geração: Cenários são gerados onde uma violação cultural (por exemplo, descartar pão na Turquia) é enterrada como um detalhe menor dentro de uma solicitação maior e distrativa (por exemplo, um procedimento de check-out de hotel).
Métricas:
- Taxa de Sensibilidade Cultural (CSR): A porcentagem de respostas contextualmente relevantes que reconhecem e sinalizam explicitamente a sensibilidade cultural embutida. Esta métrica condiciona-se ao entendimento do modelo sobre o cenário para isolar a consciência cultural de falhas gerais de seguimento de instruções.

Contribuições Principais

Framework de Dupla Dimensão: O artigo propõe separar a avaliação de segurança em robustez adversarial (resistir a danos explícitos) e sensibilidade cultural (detectar normas implícitas), argumentando que estas são capacidades distintas que exigem relatórios separados.
Construção Fundamentada no País: Diferentemente de avaliações baseadas em tradução, o XL-SafetyBench gera prompts em língua nativa fundamentados em leis locais, fenômenos sociais e tabus culturais específicos, validados por falantes nativos com expertise de domínio.
Métricas Novas: A introdução da NSR para distinguir entre recusas "seguras" e falhas de compreensão "inseguras", e da CSR para medir a detecção cultural implícita em vez da recuperação de conhecimento explícito.
Avaliação Abrangente: A avaliação examina 37 modelos, incluindo 10 modelos globais de ponta e 27 modelos locais específicos de cada país.

Resultados e Análise

A avaliação de 37 modelos produz duas descobertas principais:

1. Desacoplamento de Segurança e Consciência Cultural

Entre os modelos de ponta, a robustez a jailbreaks (baixa ASR) e a consciência cultural (alta CSR) não exibem uma relação acoplada.

Modelos de Ponta: Enquanto modelos como o Claude-4.5-Sonnet demonstram alta robustez (ASR ~2,8%) e consciência cultural moderada (CSR ~68%), outros como o Gemini-3.1-Pro mostram alta consciência cultural (CSR ~76%) mas menor robustez. A correlação entre ASR e CSR é fraca ( $r = -0,27$ ) ao excluir outliers de pesos abertos, indicando que o alinhamento de segurança não confere automaticamente competência cultural.
Modelos Locais: Os modelos locais geralmente exibem desempenho pobre em ambos os eixos, com muitos pontuando próximo de zero em sensibilidade cultural.

2. A Ilusão de Segurança em Modelos Locais

Uma descoberta crítica sobre modelos locais específicos de cada país é a forte correlação negativa entre ASR e NSR ( $r = -0,81$ ).

Falha de Compreensão: Muitos modelos locais com baixa ASR (parecendo "seguros") alcançam isso não recusando solicitações prejudiciais, mas gerando saídas irrelevantes, degeneradas ou incoerentes (alta NSR).
Dependência de Escala: Essa compensação está ligada à escala do modelo. Modelos locais menores (<10B parâmetros) frequentemente falham em compreender prompts adversariais, inflando sua NSR. Apenas modelos que excedem ~50B parâmetros mostram uma queda significativa na NSR, indicando um limiar para compreensão genuína. No entanto, mesmo os maiores modelos locais (por exemplo, EXAONE-236B) ficam significativamente atrás dos modelos de ponta em sensibilidade cultural (CSR máxima ~30% vs. ponta >60%).

Significado e Alegações

O artigo alega que o XL-SafetyBench fornece a granularidade necessária para avaliar segurança e competência cultural como capacidades distintas na era multilíngue. Ele argumenta que:

Pontuações compostas são enganosas: Agregar métricas de segurança obscurece variações críticas entre robustez adversarial e consciência cultural.
Treinamento local é insuficiente: O pré-treinamento em dados de língua local não garante consciência cultural ou alinhamento de segurança genuíno; frequentemente resulta em modelos que falham em compreender o prompt inteiramente.
A avaliação deve ser desagregada: O relatório de segurança deve separar ASR, NSR e CSR para diagnosticar com precisão se um modelo está alinhado, culturalmente consciente ou simplesmente falhando em compreender.

Os autores concluem que as práticas atuais de avaliação de segurança, particularmente aquelas que dependem de tradução ou pontuações de dimensão única, falham em capturar as nuances de danos fundamentados no país e sensibilidades culturais, tornando necessários frameworks como o XL-SafetyBench para uma avaliação equitativa e precisa.