💻 computer science

Language-Specific Gaps in AI Safety Training Datasets

Este artigo expõe lacunas críticas, frequentemente não abordadas, na proveniência, anotação e cobertura de taxonomia de danos dos conjuntos de dados de treinamento de segurança de IA entre idiomas de baixos, médios e altos recursos, demonstrando que essas deficiências estruturais — particularmente em línguas africanas e categorias de danos específicas — comprometem as reivindicações de segurança multilíngue e contribuem para vulnerabilidades persistentes contra ataques de jailbreak de múltiplos turnos.

Autores originais: Chialuka Prisca-Mary Onuoha, Bright Etornam Sunu, Rashidat Sikiru

Publicado 2026-08-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chialuka Prisca-Mary Onuoha, Bright Etornam Sunu, Rashidat Sikiru

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma biblioteca gigante e movimentada onde livros são escritos em todas as línguas imagináveis. Por muito tempo, os bibliotecários (as pessoas que constroem a IA) falavam majoritariamente inglês, então escreveram todas as regras de segurança e placas de "proibida a entrada" em inglês. Recentemente, eles perceberam que precisavam dar as boas-vindas a leitores que falam outras línguas, então começaram a traduzir essas placas. Mas há um porém: só porque uma biblioteca diz que tem regras de segurança para 20 línguas diferentes não significa que as regras estejam realmente lá, ou que façam sentido naquelas línguas. Este artigo mergulha no canto da "Segurança de IA" da ciência da computação. Ele examina como ensinamos os computadores a serem educados, seguros e prestativos e, especificamente, verifica se os materiais de treinamento usados para ensiná-los são realmente bons o suficiente para quem não fala inglês. A grande questão é: estamos apenas colando um adesivo de tradução em uma placa ou realmente escrevemos um novo livro de regras culturalmente apropriado para todos?

Os autores deste artigo decidiram brincar de detetive. Eles não aceitaram apenas a palavra das empresas de IA de que seus modelos são seguros para todos. Em vez disso, eles foram aos arquivos e auditaram 21 coleções diferentes de dados de segurança (os "livros de regras" usados para treinar a IA) através de 25 fatias de idiomas diferentes. Eles focaram em três línguas para representar diferentes níveis de recursos: Hausa (baixo recurso, como uma pequena biblioteca de vila), Swahili (recurso médio, como uma biblioteca de cidade pequena) e Francês (alto recurso, como uma enorme biblioteca de uma metrópole).

Aqui está o que eles descobriram, e é um pouco como descobrir que a seção de "Segurança" na biblioteca da vila está majoritariamente vazia, enquanto a seção da biblioteca da cidade está cheia de livros que foram apenas fotocopiados do inglês.

A "Armadilha da Tradução"
A maior surpresa foi que muitos conjuntos de dados afirmam ser "nativos" (escritos por pessoas que cresceram falando a língua), mas quando os autores olharam de perto, na verdade eram traduções automáticas do inglês. É como um restaurante que afirma servir "culinária local autêntica", mas quando você espreita na cozinha, vê um robô traduzindo um cardápio de outro país e colando-o em um prato. Para a língua de baixo recurso (Hausa), quase todos os dados de segurança eram ou traduzidos ou inventados por computadores, não escritos por falantes nativos. Pior ainda, em alguns casos, a tradução foi tão ruim que ficou abaixo da pontuação de qualidade que os próprios pesquisadores haviam definido como o padrão mínimo aceitável. Um pipeline específico testou tanto o Hausa quanto o Swahili; a versão em Swahili passou no teste confortavelmente, mas a versão em Hausa falhou, embora tenham usado exatamente o mesmo processo. Isso prova que o problema não é que a língua seja "difícil" de traduzir; é que o processo não foi cuidadoso o suficiente para a língua específica.

O Problema dos "Capítulos Ausentes"
Os autores também verificaram se as regras de segurança cobriam todos os tópicos perigosos. Eles encontraram uma lacuna enorme: para as línguas africanas que estudaram, quase não havia regras nativas sobre autoflagelação ou conteúdo sexual. É como se a biblioteca tivesse toda uma seção sobre "Não roubar" e "Não brigar", mas as prateleiras para "Não machuque a si mesmo" e "Mantenha coisas privadas em privado" estivessem completamente vazias. Isso é uma lacuna total, não apenas uma pequena. Para o francês, esses tópicos foram cobertos, mas para o Hausa e o Swahili, os dados simplesmente não existiam de forma nativa. Isso significa que, se um usuário perguntar à IA sobre esses tópicos sensíveis em sua língua nativa, a IA pode não entender as nuances culturais ou pode dar uma resposta perigosa porque nunca foi ensinada as regras corretas.

A Ilusão da "Contagem Dupla"
Outro truque que os autores descobriram foi a "contagem dupla". Imagine uma biblioteca que afirma ter 10.000 livros únicos. Mas, se você olhar de perto, percebe que eles apenas pegaram os mesmos 1.000 livros, colocaram capas diferentes e os contaram como novos. Os pesquisadores descobriram que, para o Swahili, muitos conjuntos de dados eram apenas os mesmos tweets ou postagens originais sendo re-anotados (re-rotulados) por diferentes grupos. Isso fazia parecer que havia uma quantidade enorme de dados disponíveis, mas, na realidade, a "diversidade" era uma ilusão. É como ter uma playlist que diz ter 500 músicas, mas que é na verdade as mesmas 50 músicas tocadas repetidamente com nomes diferentes.

Por que o Rótulo de "Baixo Recurso" Não é Toda a História
Você pode pensar: "Bem, é claro que a pequena biblioteca da vila tem menos livros do que a grande biblioteca da cidade". O artigo concorda que línguas de baixo recurso têm menos dados, mas argumenta que não se trata apenas de quanto dado existe; trata-se de que tipo de dado. Eles descobriram que, às vezes, a língua de recurso médio (Swahili) tinha pontuações de qualidade piores do que a de baixo recurso (Hausa) para tarefas específicas, e às vezes a língua de alto recurso (Francês) tinha lacunas em áreas onde a de recurso médio tinha uma cobertura nativa forte. Isso sugere que o problema não é apenas a falta de dinheiro ou computadores; é sobre como as comunidades de pesquisa priorizam o que construir. Se uma comunidade se importa profundamente com desinformação eleitoral, ela constrói ótimos dados para isso. Se não, esse dado não existe, independentemente de quão "rica" seja a língua.

A Consequência no Mundo Real
Por que isso importa? O artigo conecta essas lacunas de dados ausentes ou ruins a um problema real de segurança. Pesquisadores descobriram que, embora os modelos de IA estejam ficando melhores em deter "jailbreaks" simples de uma única frase (truques para fazer a IA dizer algo ruim) em línguas africanas, eles ainda estão falhando em deter conversas complexas de múltiplos turnos. Os autores argumentam que isso ocorre porque os dados de treinamento para essas conversas complexas são majoritariamente sintéticos (feitos por computadores) e traduzidos, não nativos. É como ensinar um motorista a parar no sinal vermelho (passo simples, único) mas nunca ensinar como lidar com uma tempestade repentina ou uma estrada escorregadia (passos complexos, múltiplos). A IA consegue lidar com os truques simples, mas desmorona quando a conversa fica complicada.

A Lição Principal
O artigo não diz que devemos parar de tentar tornar a IA segura para todos. Em vez disso, diz que precisamos parar de fingir que uma afirmação "multilíngue" significa que está tudo bem. Só porque um conjunto de dados diz que cobre 14 línguas, não significa que as regras de segurança estejam realmente lá para todas elas. Os autores sugerem que os criadores precisam ser honestos: se uma fatia de língua é traduzida, digam que é traduzida. Se um tópico está faltando, admitam que está faltando. Eles querem que paremos de contar os números do "manchete" e comecemos a olhar para as fatias individuais do bolo. Até que façamos isso, a IA pode ser segura para falantes de inglês, mas para muitos outros, ela ainda está navegando em uma biblioteca com livros perdidos e placas quebradas.

Resumo Técnico: Lacunas de Especificidade Linguística em Conjuntos de Dados de Treinamento de Segurança de IA

Declaração do Problema
Provedores de grandes modelos de linguagem (LLMs) frequentemente citam benchmarks de segurança multilingues que cobrem uma dúzia ou mais de idiomas como evidência de que seus modelos são seguros para usuários não anglófonos. Essas alegações baseiam-se tipicamente em estatísticas de nível de coleção de recursos amplamente citados (ex: Aya Red-teaming, AfriHate, MultiJail). Este artigo argumenta que tal inferência é frequentemente injustificada. Os autores postulam que as alegações de cobertura agregada se dissolvem quando inspecionadas ao nível de fatias de idiomas individuais. Especificamente, lacunas em proveniência, confiabilidade de anotação, acesso a dados, cobertura de taxonomia de danos e reutilização de dados recorrem em padrões que não são distribuídos uniformemente, mas que se agrupam por nível de recurso e categorias de danos específicas. O artigo identifica um descompasso crítico: enquanto ataques de jailbreak de turno único, baseados em tradução, foram amplamente mitigados em modelos recentes, ataques conversacionais de múltiplos turnos permanecem eficazes em línguas de baixos recursos. Os autores hipotetizam que esta assimetria é estruturalmente consistente com as áreas mais finas de treinamento e dados de avaliação identificadas em sua auditoria.

Metodologia
O estudo emprega uma metodologia de auditoria estruturada e reutilizável, projetada para avaliar fatias de idiomas individuais de conjuntos de dados de segurança de IA multilingues, em vez de tratar as estatísticas de nível de coleção como representativas de qualquer idioma individual.

Unidade de Auditoria: A unidade de análise é a "fatia de idioma" (language slice). Um conjunto de dados que cobre múltiplos idiomas é tratado como uma coleção de subconjuntos independentes, cada um avaliado separadamente.
Corpus: A auditoria cobre 21 recursos (resultando em 20 conjuntos de dados sob regras de contagem específicas) através de 25 fatias de idiomas. O estudo foca em três idiomas representando diferentes níveis de recursos: Hausa (baixo recurso), Swahili (médio recurso) e Francês (alto recurso).
Regras de Contagem: Os autores aplicam regras de contagem rigorosas para evitar a inflação de alegações de cobertura: reavaliações derivadas de conjuntos de prompts existentes não são contadas como conjuntos de dados independentes; recursos proprietários ou não lançados são excluídos; e camadas de reanotação de corpora existentes são contadas apenas uma vez na camada do novo conjunto de dados.
Instrumento de Auditoria: Um esquema de 31 campos é aplicado a cada fatia, agrupado em sete famílias: Identificação, Cobertura de Idioma, Proveniência, Cobertura de Danos, Anotação & Cultura, Características do Artefato e Usabilidade.
Categorias de Lacunas: As lacunas são categorizadas em seis tipos:
1. Proveniência: Conteúdo descrito como de autoria nativa, mas rastreado até tradução automática.
2. Anotação/Acordo: Ausência de acordo de inter-anotadores (IAA) relatado ao nível da fatia.
3. Acesso e Licenciamento: Dados que são restritos, sob solicitação ou sem licença.
4. Cobertura de Taxonomia: Categorias de danos ausentes em uma fatia de idioma específica em relação à cobertura geral da coleção.
5. Reuso e Contagem Dupla: Diversidade aparente que se resolve em reanotação repetida do mesmo texto bruto.
6. Qualidade Quantificada: Casos em que as métricas de um único estudo permitem comparação direta de qualidade entre idiomas.
Estrutura de Danos: O estudo adota uma estrutura de seis categorias de danos (Discurso de Ódio, Assédio, Autolesão, Extremismo, Conteúdo Sexual, Desinformação) adaptada da taxonomia da Trust and Safety Professional Association (TSPA) para normalizar comparações entre conjuntos de dados com taxonomias nativas variadas.

Principais Resultados
A auditoria revela que as lacunas não são aleatórias, mas seguem padrões específicos e recorrentes que correlacionam com os níveis de recursos, embora não monotonicamente em todas as dimensões.

Lacunas de Proveniência: A autoria nativa diminui significamente conforme os níveis de recursos caem. Para o Hausa, dados de múltiplos danos são predominantemente traduzidos ou sintéticos. Notavelmente, alguns recursos alegam autoria nativa em descrições secundárias, mas admitem em seções metodológicas que os itens foram traduzidos automaticamente do inglês.
Lacuna de Qualidade Quantificada (Comparação Controlada): Em um pipeline de 2026 processando tanto Hausa quanto Swahili através de etapas idênticas, a fatia de material de política do Hausa pontuou 66,37 em qualidade de tradução, ficando abaixo do limiar de aceitação de 70 pontos do próprio artigo. A fatia de Swahili do mesmo pipeline pontuou 93,30, ultrapassando confortavelmente a meta. Isso demonstra que as lacunas de qualidade são mensuráveis e endereçáveis, não inerentes ao idioma.
Anotação & Acordo: O acordo relatado é escasso. Onde presente, as fatias de Hausa mostraram forte concordância (ex: $\kappa = 0,75$ ), enquanto o Swahili apresentou o menor acordo na auditoria ( $\kappa = 0,13$ ) em um recurso anteriormente notado por rigor metodológico. Os autores interpretam o baixo acordo como evidência de incompatibilidade taxonômica, e não de falta de confiabilidade do anotador.
Acesso & Licenciamento: Falhas de acesso concentram-se no nível de baixo recurso. Recursos de Hausa frequentemente sofrem por não serem lançados, serem apenas sob solicitação ou carecerem de documentação de tamanho (ex: NaijaOffens nunca foi lançado; o lançamento do TukaBench continha menos itens do que o descrito).
Cobertura de Taxonomia:
- Autolesão e Conteúdo Sexual: Estas categorias têm zero cobertura em língua nativa tanto para Hausa quanto para Swahili. Para autolesão em Hausa, não há cobertura de qualquer tipo (nativa, traduzida ou sintética).
- Desinformação: O Swahili possui cobertura nativa impulsionada por contextos eleitorais locais, enquanto o Francês (alto recurso) carece de cobertura nativa de desinformação no corpus, desafiando a suposição de que o nível de recurso dita a amplitude da cobertura.
Reuso e Contagem Dupla: A diversidade aparente do corpus é inflada por cadeias de reanotação. Para o Swahili, um único pool de tweets é reanotado através de quatro conjuntos de dados nominalmente distintos (AfriSenti, PolitiKweli, AfriHate, conjunto Onyango), inflando artificialmente o volume sem adicionar evidência independente.

Significância e Alegações
O artigo afirma fornecer a primeira auditoria sistemática da qualidade de evidência ao nível de fatia de idioma em conjuntos de dados de segurança de IA multilingues, utilizando uma metodologia estratificada por nível de recurso e idioma. Suas principais contribuições são:

Mudança Metodológica: Estabelece que a unidade de análise apropriada para a segurança multilingue é a fatia de idioma, não a coleção de conjuntos de dados. A documentação ao nível de coleção esconde sistematicamente a conjunção de cobertura estreita, verificação tênue, acesso restrito e qualidade marginal que caracteriza as fatias de idiomas de baixos recursos.
Explicação Estrutural para a Assimetria de Segurança: Os achados oferecem uma explicação estrutural para a persistência de vulnerabilidades de jailbreak de múltiplos turnos em línguas de baixos recursos. A auditoria mostra que, enquanto existem dados nativos abundantes e bem verificados para discurso de ódio/ofensivo, os dados conversacionais de múltiplos turnos são quase inteiramente sintéticos e traduzidos automaticamente. O artigo argumenta que a superfície de ataque com dados nativos abundantes e verificados foi corrigida, enquanto a superfície com apenas dados sintéticos e traduzidos automaticamente permanece aberta.
Refutação da Escassez Pura: Os resultados desafiam uma conta de "escassez pura" das lacunas de segurança. Embora línguas de baixos recursos geralmente tenham menos dados, os déficits não são uniformes. Por exemplo, o Swahili (médio recurso) tem pior acordo de anotação do que o Hausa (baixo recurso), e o Francês (alto recurso) possui lacunas de desinformação nativa que o Swahili não possui. Isso sugere que a provisão de dados de segurança é moldada pelas prioridades e restrições da comunidade de pesquisa, não apenas pela disponibilidade bruta de dados.
Recomendações Acionáveis: O artigo fornece recomendações concretas para criadores de conjuntos de dados (ex: relatar métricas ao nível de fatia, distinguir a proveniência precisamente), provedores de modelos (ex: tratar dados nativos de múltiplos turnos como um requisito distinto) e veículos (ex: exigir tabelas de relatório por idioma) para tornar as alegações de "cobertura multilingue" verificáveis em vez de meramente declaradas.

Os autores enfatem que documentar essas lacunas não é um argumento para o desinvestimento, mas um chamado para o reinvestimento direcionado, particularmente para dados de autoria nativa, de múltiplos turnos e com concordância verificada para categorias de danos subatendidas, como autolesão e conteúdo sexual.

Mais como este