Revisiting validation in language testing: an updated critical review of argument-based approaches in the era of justice-oriented and AI-mediated assessment
Este artigo atualiza uma revisão crítica de 2019 sobre a validação baseada em argumentos em testes de linguagem ao examinar desenvolvimentos até 2026, destacando a expansão do campo para contextos diversos e disciplinas adjacentes, ao mesmo tempo em que aborda desafios emergentes impostos pelas críticas orientadas à justiça e pela pontuação mediada por IA, argumentando, em última análise, pela integração da equidade e da transparência algorítmica como garantias centrais dentro dos argumentos de validade.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Todos os dias, milhões de pessoas realizam testes padronizados para provar que conseguem falar um idioma bem o suficiente para um emprego, para ingressar em uma universidade ou para mudar para um novo país. Essas pontuações atuam como porteiros, decidindo quem recebe uma oportunidade e quem não recebe. Por décadas, especialistas têm feito uma única e vital pergunta: como sabemos que esses testes realmente medem o que afirmam medir? A resposta evoluiu de simples listas de verificação para um método mais complexo chamado "abordagem baseada em argumentos". Imagine um advogado construindo um caso para um júri; em vez de apenas listar fatos, ele deve construir uma cadeia lógica de raciocínio que conecte o desempenho de um aluno em um teste a uma decisão do mundo real, como a concessão de um visto. Cada elo nesta corrente — como o teste é pontuado, como essa pontuação representa a verdadeira habilidade de um aluno e como essa habilidade prevê o sucesso futuro — deve ser sustentado por evidências. Se um elo for fraco, todo o caso desmorona.
Recentemente, o cenário dos testes de idiomas mudou drasticamente. Duas forças poderosas estão remodelando a forma como esses testes são construídos e julgados. Primeiro, há uma demanda crescente por justiça, com pesquisadores argumentando que os testes devem trabalhar ativamente contra as desigualdades raciais e sociais, não apenas evitar erros óbvios. Segundo, a inteligência artificial está agora corrigindo muitos desses testes, substituindo leitores humanos por algoritos de computador que podem processar a linguagem em velocidades incríveis. Uma nova revisão da área, publicada em 2026 pela pesquisadora Thi Tuyet Hanh Nguyen, examina como o "caso do advogado" para a validade do teste está resistindo a esses novos desafios. Ao analisar estudos publicados entre 2019 e 2026, Nguyen traça como o campo está tentando equilibrar o rigor da prova com a necessidade urgente de justiça e a natureza misteriosa da correção por máquina.
A revisão começa analisando como os pesquisadores têm aplicado a abordagem baseada em argumentos nos últimos anos. Nguyen descobriu que, embora o método tenha se espalado para novos tipos de testes, desde exames de imigração até avaliações para crianças pequenas, as evidências que sustentam esses testes permanecem desiguais. A maioria dos estudos foca intensamente nos primeiros elos da corrente: provar que o teste é pontuado de forma consistente e que as pontuações são confiáveis. No entanto, os elos posteriores, mais difíceis, são frequentemente ignorados. Os pesquisadores raramente reúnem evidências robustas para mostrar que uma pontuação de teste realmente prevê o quão bem uma pessoa desempenhará em um trabalho no mundo real ou que as decisões tomadas com base nessas pontuações são verdadeiramente justas. Esse padrão tem persistido por anos; mesmo à medida que o campo cresceu, o "caso" de um teste muitas vezes para antes de provar seu valor último no mundo real.
Uma parte significativa da revisão aborda um novo movimento teórico conhecido como validade orientada pela justiça. Essa abordagem desafia a ideia de que um teste pode ser considerado válido simplesmente por ser tecnicamente preciso. Em vez disso, ela pergunta quais valores estão sendo usados para definir o que é "correto". Se um teste é construído por um grupo específico de pessoas, ele pode, involuntariamente, favorecer o contexto cultural delas enquanto penaliza outros, mesmo que a pontuação seja matematicamente perfeita. Nguyen destaca um debate dentro da área: alguns pesquisadores temem que focar demais na justiça social possa enfraquecer o rigor científico da testagem, enquanto outros argumentam que, sem abordar essas desigualdades profundamente enraizadas, os testes são fundamentalmente falhos. A revisão sugere que a justiça não deve ser um detalhe posterior ou uma verificação separada; ela deve ser tecida no próprio cerne do argumento de por que um teste é válido.
O segundo grande desenvolvimento é o aumento da inteligência artificial na correção. Modelos de linguagem de grande escala, a mesma tecnologia por trás de chatbots avançados, estão agora corrigindo redações e testes de fala. Isso cria um problema único para a validação. Quando um professor humano corrige um texto, ele pode explicar por que deu determinada nota. Quando uma IA o faz, o processo é frequentemente uma "caixa preta", onde o raciocínio está oculto dentro de um código de computador complexo. Nguyen aponta que as estruturas de teste atuais não foram projetadas para lidar com essa opacidade. Estudos mostram que, embora a IA possa às vezes concordar com corretores humanos, ela frequentemente falha em fazer isso de forma consistente entre diferentes idiomas ou para estudantes de diferentes origens. A revisão alerta que confiar na IA sem exigir transparência e prova de justiça pode introduzir novos vieses invisíveis ao sistema.
O artigo conclui propondo sete considerações fundamentais para o futuro dos testes de idiomas. As cinco primeiras, identificadas em uma revisão anterior, permanecem relevantes: os pesquisadores devem analisar as tarefas do mundo real que o teste mimetiza, envolver uma ampla gama de pessoas no processo e usar métodos mistos para reunir evidências. No entanto, Nguyen argumenta que duas novas considerações são agora essenciais. Primeiro, a justiça e a equidade devem ser tratadas como partes explícitas do argumento de validade, não como extras opcionais. Isso significa que o teste deve provar que as pontuações são justas para cada subgrupo de pessoas, não apenas na média. Segundo, quando a IA é usada para corrigir testes, a evidência deve incluir a prova de que o algoritmo é transparente e livre de vieses. A revisão sugere que os desenvolvedores de testes devem construir essas verificações éticas no design do teste desde o início, em vez de tentar corrigir problemas depois que o teste já está em uso.
Em última análise, o artigo não pede o abandono da abordagem baseada em argumentos. Em vez disso, defende a expansão da definição do que conta como evidência forte. O "caso do advogado" para um teste deve agora incluir a prova de que o sistema é justo e que a máquina que o corrige é confiável. À medida que o campo avança, o objetivo é tornar essas considerações tão rotineiras e esperadas quanto a verificação da consistência da pontuação. Ao fazer isso, a comunidade de testes de idiomas espera garantir que os portões que esses testes abrem sejam justos para todos, independentemente de sua origem ou da tecnologia usada para medi-los.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.