When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

A cada poucos anos, um enorme experimento global ocorre em salas de aula ao redor do mundo. Centenas de milhares de jovens de quinze anos sentam-se para realizar os mesmos testes de matemática, leitura e ciências. Este é o Programa Internacional de Avaliação de Estudantes, conhecido como PISA. Os resultados são mais do que apenas um boletim para as escolas; eles são um retrato de quão bem os jovens de uma nação estão preparados para o futuro. Como os testes ocorrem em ciclos, os pesquisadores podem olhar para trás e ver se um país está melhorando ou piorando ao longo do tempo. Mas há uma complicação oculta nesta comparação. Os alunos que realizam o teste nem sempre são a mesma fatia da população de um ano para o outro. Em alguns países, o teste pode atingir quase todos os jovens de quinze anos, enquanto em outros, pode atingir apenas uma pequena fração. Quando o grupo de estudantes muda, a pontuação média pode sofrer um deslocamento simplesmente porque a mistura de pessoas mudou, não porque os próprios alunos aprenderam mais ou menos. Para corrigir isso, a organização que realiza os testes utiliza um ajuste matemático especial. Ela tenta estimar qual seria a pontuação dos alunos com melhor desempenho se o teste tivesse alcançado todos os quinze anos de idade de um país, e não apenas aqueles que compareceram. Esse número ajustado deve ser uma forma justa de comparar o progresso entre diferentes anos e nações.

Dois pesquisadores, Jonas A. Mandalunes e Danica Jane S. Mandalunes, decidiram ver o quão frágil esse ajuste realmente é. Eles focaram na peça mais crítica do quebra-cabeça: o número total de jovens de quinze anos em cada país. Esse número atua como o denominador, ou a parte de baixo da fração, que determina o tamanho do ajuste necessário. Os pesquisadores fizeram uma pergunta simples, mas profunda: o que acontece com os resultados finais se você alterar esse número de baixo? Eles não assumiram que uma fonte de dados populacionais fosse perfeita e a outra errada. Em vez disso, trataram duas formas diferentes de contar os jovens de quinze anos como dois cenários distintos. Um cenário usou os números que os governos nacionais enviaram oficialmente aos organizadores do teste. O outro cenário usou uma projeção de crescimento populacional global amplamente respeitada das Nações Unidas. Ao executar toda a análise de tendência duas vezes — uma com os números oficiais e outra com as projeções globais — eles puderam ver o quanto a história do progresso de um país mudava dependendo de qual contagem era usada.

Os pesquisadores analisaram dados de setenta e três economias entre 2018 e 2022. Eles descobriram que a contagem oficial de jovens de quinze anos utilizada pelos organizadores do teste mudou significamente em muitos lugares. Em média, a diferença na taxa de cobertura entre os dois anos foi de quase dois pontos percentuais, mas em alguns casos, a mudança foi massiva, oscilando até vinte e sete pontos em uma direção ou quarenta e cinco na outra. Quando eles analisaram o porquê dessas mudanças, descobriram que, na maioria dos casos, o deslocamento veio da própria pesquisa — ou seja, o teste alcançou uma parcela diferente dos alunos matriculados — e não de uma mudança na quantidade de alunos que estavam realmente matriculados na escola. Essa distinção é vital porque significa que um aumento na pontuação pode não significar que mais crianças estão indo à escola; pode apenas significar que o teste alcançou um grupo diferente delas.

A descoberta mais impressionante foi o quão sensíveis os resultados finais foram a este denominador. Quando os pesquisadores substituíram a contagem populacional oficial pela projeção das Nações Unidas, a mudança estimada nas pontuações dos testes deslocou-se dramaticamente. Em matemática, a diferença média entre os dois cenários foi de cerca de 3,4 pontos. Em leitura, foi de 3,5 pontos e em ciências, 3,4 pontos. Para colocar isso em perspectiva, os organizadores do teste publicam um valor de "erro de ligação" padrão para ajudar os leitores a entender a margem de incerteza em suas tendências. Para matemática, esse valor é de 2,24 pontos. A diferença causada simplesmente pela mudança na contagem populacional foi maior do que essa margem de erro padrão em trinta e oito de sessenta e nove países. Em leitura, excedeu a margem em cinquenta e dois países e, em ciências, em cinquenta e um países. Isso significa que, para a maioria dos países estudados, a escolha de qual número populacional usar importou mais do que a incerteza estatística normalmente associada ao próprio teste.

Os pesquisadores também examinaram o que acontece quando a matemática atinge um limite. O procedimento de ajuste assume que o teste alcançou menos alunos do que realmente existem no país. Mas, em alguns casos específicos, a matemática sugeriu que o teste alcançou mais alunos do que a contagem populacional oficial. Quando isso aconteceu, o procedimento teve que fazer um ajuste especial: ele simplesmente definiu o peso extra como zero e relatou a pontuação bruta dos alunos que realizaram o teste, efetivamente desligando o ajuste. Isso ocorreu em países como Coreia e Irlanda em 2022. Os pesquisadores mostraram que essa transição de uma pontuação ajustada para uma pontuação bruta cria uma ruptura súbita nos dados. Não é uma transição suave; é uma parada brusca onde o método muda inteiramente. Eles também observaram que, em alguns casos, a contagem populacional oficial era maior do que o número de alunos que o teste afirmou ter alcançado, o que deveria ser impossível se as definições estivessem perfeitamente alinhadas, sugerindo que as definições de quem conta como um "jovem de quinze anos" ou quem é "matriculado" podem diferir entre os organizadores do teste e os estatísticos populacionais.

O estudo não concluiu que uma contagem populacional fosse a verdadeira e a outra um erro. Os pesquisadores foram cuidadosos ao afirmar que nem os números oficiais do governo nem as projeções das Nações Unidas são a verdade absoluta. Os números oficiais muitas vezes carecem de detalhes sobre o momento exato em que a contagem foi realizada ou qual definição específica de "residente" foi usada. As projeções globais são modelos baseados em suposições. O problema central é que a pontuação da tendência final depende fortemente de um número que não é totalmente explicado ou consistente. Os pesquisadores descobriram que mesmo quando tentaram limpar os dados removendo países com disputas territoriais conhecidas ou registros inconsistentes, as diferenças permaneceram. A lacuna entre os dois cenários não desapareceu; apenas mudou ligeiramente. Isso sugere que a sensibilidade é uma característica fundamental do método atual, e não apenas o resultado de dados desorganizados.

No fim, os pesquisadores argumentam que a forma como essas tendências são relatadas precisa mudar para ser mais honesta sobre essa incerteza. Eles recomendam que os organizadores do teste publiquem exatamente de onde vêm os números populacionais, incluindo a data e a definição específica utilizada. Eles sugerem que, toda vez que uma tendência for relatada, ela deve vir acompanhada de uma amplitude mostrando o que o resultado seria se uma contagem populacional diferente e razoável fosse usada. Isso não seria um intervalo de confiança no sentido estatístico, mas uma declaração clara de quanto o resultado depende do denominador. Finalmente, eles propõem que, se a matemática falhar porque os números não batem, a pontuação ajustada não deve ser silenciosamente corrigida ou escondida; ela deve ser sinalizada e retida até que os dados de entrada sejam reconciliados. O estudo mostra que a história de como os países estão melhorando ou declinando é real, mas os números precisos que usamos para contar essa história são muito mais delicados do que parecem. As tendências existem, mas sua magnitude precisa está atada a uma escolha de números que é atualmente feita no escuro.