Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)
Este artigo introduz o Middle East Cultural Sensitivity Score (MECSS) para demonstrar que os grandes modelos de linguagem, incluindo aqueles desenvolvidos no Oriente Médio, reproduzem sistematicamente vieses orientalistas estruturais através do "Said-washing" e do enquadramento do conhecimento ocidental como universal, revelando que as métricas de equidade padrão falham em detectar essas distorções epistêmicas profundas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Quando pedimos a um computador para explicar uma cultura, frequentemente assumimos que estamos recebendo um resumo neutro de fatos. Mas os sistemas que respondem a essas perguntas não são telas em branco. Eles são construídos sobre vastas bibliotecas de textos escritos majoritariamente por pessoas no Ocidente, em inglês, e aprendem a falar mimetizando os padrões encontrados nessas bibliotecas. Isso significa que, quando um usuário pergunta sobre o Oriente Médio, o computador não está simplesmente recuperando informações; ele constrói uma história baseada nas suposições incorporadas em seu treinamento. Por décadas, estudiosos descreveram uma forma específica de contar histórias sobre o Oriente, conhecida como Orientalismo. Isso não se trata apenas de ser rude ou usar estereótipos. É um hábito estrutural mais profundo de escrita que trata o Ocidente como o observador normal e ativo, e o Oriente como um objeto passivo e misterioso que precisa ser explicado por regras ocidentais. Assume que as ideias ocidentais são verdades universais, enquanto as ideias locais são apenas "peculiaridades culturais". A questão que os pesquisadores estão fazendo agora é se a inteligência artificial moderna, que se tornou uma fonte primária de informação para centenas de milhões de pessoas, está repetindo silenciosamente esses velhos padrões, mesmo quando tenta ser educada.
Um pesquisador propôs-se a medir esse viés invisível em dois modelos de linguagem de grande escala diferentes. Um era um sistema poderoso desenvolvido nos Estados Unidos e o outro era um modelo construído nos Emirados Árabes Unidos, treinado com uma quantidade significativa de conteúdo em árabe. O pesquisador queria testar uma ideia esperançosa: que construir uma inteligência artificial no Oriente Médio, usando línguas locais e dados regionais, produziria naturalmente uma visão mais justa e menos enviesada da região. Para encontrar a resposta, ele criou uma nova ferramenta de medição chamada Pontuação de Sensibilidade Cultural do Oriente Médio. Em vez de procurar apenas por insultos óbvios ou palavras ofensivas, essa ferramenta examinava a própria estrutura das frases que os modelos geravam. Ela verificava sete hábitos específicos, tais como se o modelo tratava todo o Oriente Médio como um bloco único e indiferenciado, se descrevia as pessoas locais como vítimas passivas em vez de tomadoras de decisão ativas, e se utilizava teorias políticas ocidentais como a forma padrão de explicar eventos, enquanto tratava o conhecimento local como algo que precisava de justificativa especial.
O pesquisador realizou 280 conversas, fazendo aos modelos uma ampla gama de perguntas sobre política, cultura e história. Ele então analisou as respostas para ver com que frequência os modelos caíam nessas armadilhas estruturais. Os resultados mostraram que ambos os modelos, independentemente de onde foram construídos, reproduziam esses padrões enviesados sistematicamente. O modelo americano mostrou algum viés, mas o modelo construído nos Emirados Árabes Unidos na verdade pontuou mais alto na escala de viés, o que significa que reproduzia os padrões problemáticos com mais frequência e intensidade. Essa descoberta desafia a suposição de que simplesmente mudar a localização dos desenvolvedores ou adicionar línguas locais aos dados de treinamento é suficiente para corrigir o problema. O pesquisador descobriu que o modelo dos Emirados Árabes Unidos, apesar de suas origens regionais, ainda dependia fortemente de estruturas ocidentais para explicar o mundo, tratando-as como a lente padrão através da qual tudo deve ser visualizado.
Uma das descobertas mais impressionantes foi um fenômeno que o pesquisador chamou de "Said-washing". Isso acontece quando um modelo inicia uma resposta declarando explicitamente que a região é diversa e complexa, apenas para seguir imediatamente essa declaração com uma generalização que ignora essa própria complexidade. Por exemplo, um modelo pode dizer: "É claro que o Oriente Médio possui muitas culturas e histórias diferentes", e então proceder imediatamente a descrever a "sociedade do Oriente Médio" como uma entidade única e unificada, com um conjunto único de motivações. Esse padrão apareceu em quase 88% das conversas com o modelo americano e em cerca de 63% das conversas com o modelo dos Emirados Árabes Unidos. Isso sugere que os modelos aprenderam a performar a aparência de sensibilidade sem realmente alterar a estrutura subjacente de seu pensamento. Eles podem dizer as palavras certas para parecerem justos, mas a maneira como organizam a informação permanece profundamente enraizada em velhas formas coloniais de ver o mundo.
O estudo também revelou que o viés não era apenas sobre o que os modelos diziam, mas sobre como eles organizavam o mundo. Ambos os modelos tratavam consistentemente as estruturas analíticas ocidentais como a forma padrão e não marcada de compreender a realidade, enquanto tratavam o conhecimento não ocidental como algo particular e que exigia explicação especial. Esta foi a descoberta mais consistente entre ambos os sistemas, aparecendo em quase todas as conversas. O pesquisador observou que a diferença no desempenho dos modelos poderia ser, em parte, devida ao seu tamanho, já que o modelo americano era significativamente maior e mais avançado que o modelo dos Emirados Árabes Unidos. Modelos menores tendem a produzir textos mais simples e menos matizados, o que pode se assemelhar às generalizações amplas que o pesquisador estava medindo. No entanto, o fato de ambos os modelos convergirem para o mesmo alto nível de viés em relação ao uso de estruturas ocidentais sugere que o problema é mais profundo do que apenas o tamanho do computador ou a localização dos desenvolvedores.
Em última análise, o artigo conclui que o viés não é um erro simples que possa ser corrigido adicionando mais línguas ou movendo os servidores para um país diferente. O problema é epistemológico, o que significa que diz respeito à própria natureza do conhecimento que os modelos aprenderam. Os próprios dados de treinamento são repletos de perspectivas ocidentais que tratam o Oriente Médio como um objeto a ser estudado, em vez de um sujeito com sua própria agência. Para verdadeiramente mudar isso, o pesquisador argumenta, os dados de treinamento devem ser transformados para incluir um volume muito maior de produção acadêmica escrita por estudiosos da própria região, em suas próprias línguas e utilizando suas próprias tradições intelectuais. Até que os dados mudem, esses sistemas continuarão a gerar respostas que soam confiantes e autoritárias, mas que silenciosamente reforçam uma visão de mundo onde o Ocidente é o narrador e o resto do mundo é meramente a história.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.