Bias Taught: Linguistic and Model Stereotypes in AI-Based Educational Evaluations
Este estudo revela que os grandes modelos de linguagem exibem vieses linguísticos e culturais sistemáticos em avaliações educacionais, gerando avaliações com níveis variados de dificuldade e extensão entre idiomas que se correlacionam com as pontuações do PISA, ao mesmo tempo em que reforçam estereótipos que enfatizam a empatia em contextos ocidentais versus a hierarquia em contextos asiáticos, tornando necessárias auditorias culturalmente sustentáveis antes da implementação.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na sala de aula moderna, uma revolução silenciosa está ocorrendo. Professores e alunos estão recorrendo cada vez mais à inteligência artificial, especificamente aos modelos de linguagem de grande escala, para ajudar a elaborar testes, corrigir trabalhos e oferecer feedback. Esses programas de computador são treinados em vastas quantidades de texto da internet, aprendendo a prever quais palavras devem vir a seguir em uma frase. Como são muito bons em imitar a escrita humana, as escolas estão começando a usá-los para criar materiais educacionais para estudantes de todo o mundo. No entanto, há uma preocupação crescente de que essas ferramentas possam não ser tão neutras quanto parecem. Assim como uma pessoa pode ter crenças inconscientes sobre como diferentes grupos de pessoas aprendem, esses programas de computador podem ter absorvido preconceitos semelhantes dos dados com os quais foram alimentados. Se um sistema de IA tratar um aluno de forma diferente simplesmente porque ele fez uma pergunta em uma língua diferente, isso poderá criar um ambiente de aprendizagem injusto que reforça velhos estereótipos em vez de ajudar os alunos a terem sucesso.
Uma equipe de pesquisadores do Bowdoin College decidiu testar se essas ferramentas digitais eram verdadeiramente imparciais. Eles se propuseram a ver se a linguagem que um aluno usava para pedir ajuda mudaria a dificuldade do trabalho que o computador atribuía. Para fazer isso, pediram a quatro dos modelos de IA mais populares que criassem testes de matemática, leitura e ciências para alunos de quinze anos. Deram exatamente as mesmas instruções para cada computador, mas traduziram essas instruções para oito idiomas diferentes: árabe, inglês, francês, alemão, hindi, mandarim, português e espanhol. No total, os pesquisadores coletaram mais de quatro mil respostas das máquinas. Eles então analisaram a extensão dos testes, o quão difíceis os modelos diziam que os testes eram e que tipo de comportamentos os modelos consideravam como de um "bom" ou "mau" aluno e professor.
Os resultados revelaram um padrão impressionante. Quando os pesquisadores pediram à IA para criar um teste em hindi ou mandarim, o computador gerou consistentemente tarefas muito mais longas e difíceis do que quando lhe foi pedido para realizar a mesma tarefa em árabe, alemão ou espanhol. Por exemplo, um modelo estimou que um teste de matemática escrito em mandarim levaria um aluno duas horas para completar, enquanto um teste em espanhol levaria menos de uma hora, embora as instruções fossem idênticas. Os modelos também classificaram a dificuldade dos testes em hindi e mandarim como significativamente maior. Isso não foi uma falha aleatória; as diferenças eram tão consistentes que apareceram em todos os quatro diferentes sistemas de IA testados pelos pesquisadores. O estudo descobriu que a dificuldade e a extensão dos testes gerados por IA correspondiam fortemente aos rankings internacionais reais de desempenho estudantil. Em outras palavras, os computadores pareciam acreditar que alunos de países com altas pontuações em testes mereciam trabalhos mais difíceis, enquanto alunos de países com pontuações mais baixas mereciam trabalhos mais fáceis, independentemente do aluno real sentado à frente da tela.
Além de apenas criar testes, os pesquisadores também pediram à IA para descrever como é um "bom" professor ou aluno. Aqui, também, a linguagem utilizada mudou a resposta. Quando o comando estava em inglês, alemão ou português, a IA tendia a descrever bons professores como empáticos, pacientes e focados em construir relacionamentos com os alunos. No entanto, quando o comando estava em hindi ou mandarim, a IA descrevia bons professores como rigorosos, disciplinados e focados em conhecimento e hierarquia. Da mesma forma, os modelos descreveram "maus" alunos de forma diferente dependendo do idioma. Em algumas línguas, a IA focava na falta de disciplina ou procrastinação, enquanto em outras, focava na falta de respeito ou mau comportamento geral. Essas diferenças sugerem que a IA não está apenas traduzindo palavras; ela está extraindo de um banco de dados de estereótipos culturais sobre como a educação funciona em diferentes partes do mundo.
Os pesquisadores foram cuidadosos para verificar se essas diferenças eram simplesmente porque diferentes países têm currículos escolares distintos. Eles consultaram um grupo de educadores de todo o mundo para ver se a IA estava apenas seguindo padrões nacionais. Eles descobriram que as diferenças de currículo poderiam explicar apenas uma fração mínima dos resultados. A vasta maioria da variação veio da própria IA. O estudo sugere que esses programas de computador aprenderam a associar certas línguas a expectativas acadêmicas específicas, agindo efetivamente como espelhos para as desigualdades globais. Se um aluno em um país não ocidental usa um tutor de IA, ele pode receber uma carga de trabalho muito mais pesada ou um tipo de feedback diferente de um aluno em um país ocidental, simplesmente por causa da língua que fala.
Esta pesquisa destaca um problema crítico para o futuro da educação. À medida que as escolas dependem cada vez mais da inteligência artificial para projetar aulas e avaliar alunos, há o risco de que essas ferramentas reforcem silenciosamente estereótipos prejudiciais. A IA não está fazendo esses julgamentos porque entende os alunos; ela está repetindo padrões que encontrou em seus dados de treinamento. O estudo conclui que, antes que essas ferramentas sejam amplamente utilizadas em salas de aula, elas precisam ser auditadas para garantir que não tratem os alunos de forma desigual com base em sua língua. Sem essa verificação, a promessa de uma educação personalizada e global poderia, em vez disso, tornar-se um sistema que aprofunda a divisão entre os alunos, ensinando-lhes que seu potencial é definido pela língua que falam, e não por suas próprias habilidades.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.