'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
Este artigo revela que os grandes modelos de linguagem exibem inconsistências de segurança significativas e taxas de "falha na detecção em urdu" ao detectar discurso de ódio em urdu através de vários alfabetos, destacando uma lacuna crítica na confiabilidade da moderação de conteúdo causada pela ausência completa de urdu em nove anos de principais anais de pesquisa de segurança de IA.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A internet é um mercado vasto e barulhento onde bilhões de pessoas compartilham pensamentos, piadas e queixas a cada segundo. Para manter este espaço seguro, as empresas de tecnologia dependem de sistemas automatizados que atuam como porteiros digitais, analisando postagens para identificar discurso de ódio e ameaças antes que possam causar danos no mundo real. Esses sistemas são treinados em quantidades massivas de texto, aprendendo a reconhecer padrões de abuso nos idiomas que melhor conhecem. No entanto, o mundo fala muitas línguas, e a capacidade desses porteiros digitais de compreendê-las não é igual. Alguns idiomas, como o inglês, estão bem representados nos dados dos quais esses sistemas aprendem, enquanto outros são frequentemente negligenciados. Quando um sistema falha em reconhecer o discurso de ódio em um idioma específico, cria-se um ponto cego onde o dano pode se espalhar sem controle, mesmo que o mesmo sistema bloqueie com sucesso esse mesmo dano se ele fosse escrito em uma língua diferente. Essa lacuna não é apenas uma falha técnica; é uma falha de segurança que deixa milhões de falantes vulneráveis.
Um estudo recente de pesquisadores da Brunel University London e do Hasso Plattner Institute, na Alemanha, lança luz sobre um dos pontos cegos mais significativos destes: o urdu. O urdu é a décima língua mais falada no mundo, com 246 milhões de falantes no Paquistão, Índia e grandes comunidades no Reino Unido e nos Estados Unidos. Apesar do tamanho e do alto volume de abusos online documentados em comunidades de falantes de urdu, os pesquisadores descobriram que o campo da pesquisa de segurança online quase totalmente o ignorou. Em uma revisão abrangente de nove anos de principais conferências acadêmicas dedicadas ao abuso online, a equipe descobriu que nem um único artigo foi dedicado ao urdu. Essa ausência é impressionante, especialmente porque um workshop importante em 2022 havia explicitamente pedido mais trabalhos sobre o idioma. Os pesquisadores partiram para ver se essa falta de atenção tinha consequências mensuráveis para as ferramentas de segurança atualmente em uso.
Para testar isso, a equipe examinou cinco dos modelos de inteligência artificial mais avançados disponíveis hoje. Eles alimentaram esses modelos com uma grande coleção de textos contendo discurso de ódio, ameaças e conversas normais, mas apresentaram o conteúdo de diferentes maneiras. Alguns textos estavam no script original do urdu, conhecido como Nastaliq, que flui da direita para a esquerda. Outros textos foram escritos em urdu romano, onde as palavras do urdu são grafadas usando letras inglesas, uma prática comum nas redes sociais. Os pesquisadores também forneceram traduções para o inglês das mesmas mensagens. Ao comparar como os modelos reagiam à mesma mensagem em diferentes formatos, eles puderam ver se os sistemas de segurança estavam realmente compreendendo o conteúdo ou se estavam apenas reagindo à forma das letras.
Os resultados revelaram uma inconsistência preocupante. Quando os modelos liam o conteúdo prejudicial em inglês, identificavam-no corretamente como abusivo. No entanto, quando a exata mesma mensagem era apresentada no script original do urdu, os modelos frequentemente falhavam em sinalizá-la como perigosa. Em média, entre os diferentes modelos testados, cerca de 18 por cento das mensagens prejudiciais eram rotuladas de forma diferente dependendo de estarem em urdu ou inglês. Em termos mais simples, se uma pessoa postasse uma ameaça em urdu, o sistema poderia deixá-la passar como uma postagem normal, mas se essa mesma ameaça fosse traduzida para o inglês, o sistema a bloquearia imediatamente. Esta taxa de "falha no urdu", onde o conteúdo prejudicial passa despercebido apenas devido ao script em que foi escrito, variou de aproximadamente 2 por cento a quase 10 por cento, dependendo do modelo específico utilizado.
O estudo também destacou que nem todos os modelos de inteligência artificial são igualmente vulneráveis a este problema. Os modelos mais avançados e de grande escala, frequentemente chamados de modelos de fronteira, mostraram maior consistência, com menos erros. No entanto, modelos menores e de código aberto mostraram taxas de falha muito mais altas, perdendo quase um terço do conteúdo prejudicial quando este estava em urdu. Isso sugere que os recursos de segurança desses sistemas não são uniformes; eles são distribuídos de forma desigual, oferecendo proteção mais forte aos falantes de alguns idiomas enquanto deixam outros expostos. Os pesquisadores também notaram uma lacuna estrutural nos dados disponíveis: não existe um conjunto de dados dedicado ao discurso de ódio que misture urdu e inglês, uma forma comum de comunicação online. Sem esse tipo específico de dado, é impossível testar plenamente quão bem esses sistemas lidam com a realidade complexa e de linguagem mista das redes sociais modernas.
Em última análise, o trabalho demonstra que as ferramentas de segurança atuais fornecem um escudo desigual. Um sistema que consegue detectar de forma confiável o discurso de ódio em inglês, mas falha em reconhecer o mesmo discurso em urdu, não é verdadeiramente seguro para os milhões de pessoas que falam esse idioma. As descobertas confirmam que a ausência do urdu na pesquisa de segurança não é apenas um descuido acadêmico; tem consequências reais e mensuráveis para a moderação de conteúdo. Até que essas lacunas sejam preenchidas com melhores dados e testes mais rigorosos através de diferentes scripts, uma parte significativa da população online mundial permanecerá vulnerável a danos que os próprios sistemas projetados para protegê-los simplesmente não conseguem ver.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.