From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
Este estudo argumenta que, para os indicadores dos questionários não cognitivos do PISA, as comparações internacionais devem deixar de depender de classificações de médias nacionais potencialmente enganosas para analisar as inclinações intraescolares, as quais oferecem uma compreensão mais robusta e relevante para políticas sobre como os sistemas educacionais moldam as experiências e o desempenho dos alunos.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é um detetive tentando resolver um mistério sobre como diferentes escolas ao redor do mundo estão se saindo. Por anos, a principal ferramenta que os detetives usavam era um placar gigante, ou uma "tabela de classificação", que simplesmente listava os países do primeiro ao último lugar com base em suas pontuações médias. É como classificar equipes de basquete apenas olhando para o total de pontos que elas marcaram na temporada, sem se importar com quem jogou, como jogaram ou se estavam até mesmo jogando o mesmo jogo. Isso funciona bem para matemática ou leitura, onde as respostas geralmente estão certas ou erradas. Mas quando se trata de sentimentos, motivação ou o quão feliz os alunos estão, isso fica complicado. Essas não são coisas que você pode medir com uma régua; são como sabores ou cores. Se você perguntar às pessoas em diferentes culturas o quão "apimentada" é a comida delas, uma classificação de "muito apimentada" em um país pode significar algo totalmente diferente do que em outro. Este artigo é sobre um grupo de pesquisadores que decidiu parar de apenas olhar para o placar e começou a olhar para as relações entre os jogadores e o jogo. Em vez de perguntar: "Qual país tem a maior felicidade média?", eles perguntaram: "Como o histórico de um aluno ou suas notas de teste mudam seus sentimentos em relação à escola?". Eles queriam ver se as regras do jogo mudam quando você amplia o zoom de um único aluno para um país inteiro.
Os pesquisadores, liderados por Kit-Tai Hau e sua equipe, pegaram um enorme instantâneo de dados de 612.004 alunos de 80 países, coletados durante o teste PISA de 2018. Eles analisaram 31 questionários diferentes sobre coisas como motivação, bem-estar e como os alunos se sentem em relação às suas salas de aula. Sua primeira grande descoberta foi que o placar era majoritariamente inútico para esses sentimentos. Quando eles processaram os números, descobriram que as diferenças entre os países eram minúsculas — apenas cerca de 6% da variação nesses sentimentos acontecia devido ao país em que o aluno estava. Os outros 94% aconteciam dentro dos países, principalmente entre diferentes escolas. É como tentar comparar a altura média de pessoas na França versus na Itália e descobrir que a diferença é tão pequena que não importa, enquanto a diferença entre uma equipe de basquete e uma de ginástica na mesma cidade é enorme.
Mas a verdadeira mágica aconteceu quando eles pararam de olhar para médias e começaram a olhar para "inclinações" (slopes). Imagine um gráfico onde a linha sobe ou desce. Uma "inclinação" diz como uma coisa muda conforme outra coisa muda. Os pesquisadores descobriram que, se você olhar apenas para a média do país, a história muitas vezes vira de cabeça para baixo. Por exemplo, no nível do aluno individual, ir bem em leitura geralmente faz um aluno se sentir bem consigo mesmo. Mas quando você olha para o nível do país, países com médias de leitura mais altas às vezes tinham alunos que relatavam menor autoconfiança. É um pouco como o efeito "Peixe Grande, Lago Pequeno": se você é um peixe inteligente em um lago cheio de outros peixes inteligentes, você pode se sentir menos especial do que se fosse o peixe mais inteligente em um lago pequeno e silencioso. A média do país esconde isso porque mistura todos os lagos.
O artigo argumenta que, em vez de classificar os países por sua "humor" médio, devemos olhar para essas inclinações para entender como os sistemas educacionais funcionam. Eles descobriram que a relação entre o histórico de um aluno (como a riqueza de sua família) e sua experiência escolar é uma maneira muito melhor de julgar um sistema. Eles descobriram que essas relações (as inclinações) eram majoritariamente consistentes em direção — o que significa que a teoria se sustentava — mas a força dessas relações variava de país para país. Curiosamente, a maioria das diferenças nessas inclinações não era entre países, mas entre escolas dentro do mesmo país. Isso sugere que, se quisermos corrigir problemas ou melhorar as coisas, não devemos olhar apenas para as políticas nacionais; precisamos olhar para o que está acontecendo dentro de escolas específicas.
Os autores também verificaram para garantir que suas descobertas não fossem apenas um acaso causado pela forma como contaram os dados. Eles testaram diferentes maneiras de ponderar os números, e os resultados permaneceram os mesmos. Eles também descobriram que algumas características estruturais de um país, como o quão segregadas são as escolas (o quanto alunos de diferentes históricos são separados), poderiam explicar por que as inclinações eram diferentes em alguns lugares. Por exemplo, em países onde as escolas eram mais mistas, a ligação entre fazer o trabalho bem feito e se sentir bem era frequentemente mais forte.
No fim, o artigo sugere uma mudança importante na forma como pensamos sobre relatórios educacionais internacionais. Não devemos jogar o placar fora inteiramente, mas não devemos confiar nele para nos dizer o quão feliz ou motivados os alunos estão. O placar é uma ferramenta fraca para sentimentos porque ignora o contexto. A abordagem da "inclinação" é como trocar uma foto de grupo borrada por um vídeo de alta definição que mostra como os alunos interagem com seu mundo. Ela diz que as diferenças mais importantes não são entre nações, mas entre as escolas dentro delas. Ao focar nessas relações em vez de apenas nas médias, podemos obter uma imagem mais clara e honesta de como os sistemas educacionais moldam as vidas dos jovens, movendo-nos de simplesmente classificar quem é o "melhor" para entender como tornar as coisas melhores para todos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.