📊 statistics

Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022

Este estudo demonstra que o teto de precisão de medição inerente aos valores plausíveis do PISA 2022 limita fundamentalmente a acurácia preditiva alcançável e desestabiliza os rankings de preditores entre domínios e sistemas educacionais, necessitando que as comparações de desempenho e as interpretações de modelos sejam fundamentadas nesses limites de medição computáveis.

Autores originais: Jonas A. Mandalunes

Publicado 2026-08-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jonas A. Mandalunes

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Todos os anos, milhões de adolescentes ao redor do mundo realizam um teste massivo chamado PISA, projetado para ver o quão bem eles compreendem matemática, leitura e ciências. Os resultados são usados por governos e educadores para julgar quais escolas e países estão fazendo o melhor trabalho. Nos últimos anos, pesquisadores começaram a usar essas pontuações de testes para construir modelos computacionais que tentam prever o sucesso de um aluno com base em seu histórico, como a renda familiar, os livros em sua casa ou o clima de sua escola. Esses estudos frequentemente produzem uma lista classificada dos fatores mais importantes, sugerindo que, se quisermos melhorar as pontuações, devemos focar nos itens principais dessa lista. No entanto, há um problema oculto com essa abordagem. As pontuações de teste usadas nesses estudos não são observações diretas da habilidade de um aluno. Em vez disso, são estimativas estatísticas, criadas ao extrair dez números diferentes possíveis para cada aluno de uma nuvem de possibilidades. Como esses números são estimativas, eles contêm uma certa quantidade de ruído intrínseco, ou incerteza, que nenhuma quantidade de dados poderá jamais explicar. Essa incerteza estabelece um limite rígido para o quão precisamente um modelo pode prever o desempenho de um aluno, um limite que muda dependendo da disciplina testada e do país onde o teste foi realizado.

Um novo estudo de Jonas Mandalunes investiga exatamente o quanto esse ruído oculto limita nossa capacidade de aprender com esses testes massivos. O pesquisador utilizou o banco de dados internacional do ciclo PISA de 2022, que inclui dados de mais de 600.000 alunos de 80 sistemas educacionais diferentes. O estudo focou em quatro áreas: matemática, leitura, ciências e uma adição mais recente chamada pensamento criativo. A questão central era simples: quanto da pontuação de um aluno um modelo computacional pode realmente explicar, e esse limite altera a lista de fatores que parecem importar mais? Para responder a isso, o pesquisador calculou um "teto" para cada disciplina em cada país. Esse teto representa a precisão máxima possível que qualquer modelo de previsão poderia alcançar, simplesmente porque as próprias pontuações de teste não são perfeitas. O estudo descobriu que esse teto varia drasticamente. Para o pensamento criativo, o limite variou de cerca de 65% a quase 90%, dependendo do país. Para a matemática, a variação foi menor, mas ainda assim variou, de cerca de 81% a 93%. Isso significa que, em alguns lugares, nenhum modelo pode jamais explicar mais de dois terços das diferenças nas pontuações dos alunos, enquanto em outros, o limite é muito mais alto.

O estudo foi além para ver se esse limite afeta as classificações dos fatores que influenciam as pontuações. O pesquisador executou os mesmos modelos computacionais repetidamente, utilizando a cada vez uma estimativa diferente de um dos dez números possíveis para os alunos. Nas disciplinas medidas com maior precisão, a lista de principais fatores permaneceu majoritariamente a mesma. Mas nas disciplinas menos precisas, como o pensamento criativo, a lista mudou dramaticamente. Quando o pesquisador alternava de uma estimativa de pontuação para outra, mais de 40% dos cinco principais fatores da lista trocavam de lugar. Isso significa que um estudo que reporta uma única lista de fatores "mais importantes" está, essencialmente, mostrando apenas um instantâneo aleatório de uma realidade muito mais ampla e mutável. Se um pesquisador tivesse escolhido uma estimativa de pontuação diferente, ele poderia ter concluído que um conjunto completamente diferente de fatores estava impulsionando o sucesso dos alunos.

Outra descoberta crítica diz respeito a como os dados foram divididos para testar os modelos. Muitos estudos misturam aleatoriamente alunos de diferentes escolas em grupos de treinamento e teste. A nova pesquisa mostrou que esse método cria uma falsa sensação de precisão. Como alunos da mesma escola tendem a ser semelhantes, um modelo que vê alunos de uma escola específica durante o treinamento pode aprender padrões específicos daquela escola, em vez de aprender sobre os próprios alunos. Quando o pesquisador forçou o modelo a manter escolas inteiras separadas durante o treinamento e o teste, a precisão prevista caiu significativamente. Em alguns casos, a queda foi massiva, revelando que estudos anteriores haviam inflado seus resultados em até 0,36 pontos simplesmente porque não contabilizaram a estrutura escolar. O tamanho dessa inflação dependia de quantas escolas havia no estudo, e não da complexidade do modelo computacional utilizado.

O estudo também analisou por que a precisão das pontuações diferia tanto entre as disciplinas. Descobriu-se que, quanto mais um teste dependia de avaliadores humanos para pontuar respostas abertas, menos precisas tendiam a ser as pontuações, especialmente em países muito grandes. O pensamento criativo, que era pontuado inteiramente por humanos lendo respostas escritas, apresentou a maior variação de precisão. Em contraste, a matemática, que é majoritariamente pontuada por máquinas, era mais consistente. Isso sugere que a forma como um teste é administrado e pontuado é tão importante quanto as próprias questões quando se trata de quanto podemos aprender com os resultados.

As implicações dessas descobertas são diretas para qualquer pessoa que tente entender dados educacionais. Você não pode comparar o desempenho de um modelo em um país com outro, ou em uma disciplina com outra, sem antes conhecer o teto de precisão para aquele contexto específico. Um modelo que explica 45% da variância em um país com um teto baixo está, na verdade, desempenhando muito bem, capturando a maior parte do que é possível saber. O mesmo modelo em um país com um teto alto pode estar desempenhando mal, deixando grande parte do sinal inexplicado. Além disso, qualquer lista de fatores importantes derivada desses testes deve ser tratada com cautela. Como as classificações mudam tanto dependendo de qual estimativa de pontuação é usada, uma única lista não é um fato estável, mas uma realização temporária. O estudo conclui que os pesquisadores devem sempre reportar o teto de precisão junto com seus resultados e devem testar seus modelos através de todas as estimativas de pontuação possíveis para ver se suas conclusões se sustentam. Sem essas verificações, as classificações e comparações que guiam as políticas educacionais podem ser construídas sobre uma base de ruído estatístico em vez de evidências sólidas.

Resumo Técnico: Inferência Preditiva Limitada pela Medição no PISA 2022

Problema
Pesquisas que utilizam Avaliações Internacionais de Grande Escala (ILSAs), como o PISA, empregam cada vez mais modelos preditivos flexíveis para identificar características de estudantes, famílias e escolas associadas ao desempenho. No entanto, três propriedades estruturais dessas avaliações complicam a interpretação de tais estudos, sendo frequentemente negligenciadas:

Desempenho Não Observado: O desempenho do estudante não é observado diretamente, mas representado por "valores plausíveis" (PVs) extraídos de uma distribuição posterior. Consequentemente, uma parte da variância do resultado é ruído de medição que nenhum preditor pode explicar.
Amostragem Agrupada: Os estudantes são amostrados em agrupamentos escolares (escolas). Divisões de dados de nível de estudante aleatórias permitem que os modelos aprendam estruturas de nível escolar que reaparecem nas amostras de avaliação, inflando artificialmente as estimativas de desempenho.
Sinal Não Comparável: A precisão preditiva relatada e os rankings de preditores são frequentemente comparados entre sistemas educacionais como se a quantidade de sinal aprendível fosse constante, ignorando que a precisão da medição varia conforme o domínio e o sistema.

Embora o princípio de que a imprecisão da medição atenua as associações esteja estabelecido (Spearman, 1904), e tetos de ruído tenham sido derivados para contextos específicos (ex: predição cérebro-comportamento, correção automática de ensaios), ainda não está estabelecido como esses fatores governam a precisão alcançável e a estabilidade dos rankings de preditores através dos diversos domínios e sistemas educacionais dentro das bases de dados de ILSA.

Metodologia
O estudo utiliza a base de dados internacional PISA 2022, abrangendo 80 sistemas educacionais para matemática, leitura e ciências, e 63 sistemas para pensamento criativo.

Teto de Precisão de Medição ( $\rho$ ): O autor estima um teto para o desempenho preditivo alcançável para cada domínio em cada sistema. Este teto é definido como a correlação intraclasse (ICC) dos dez valores plausíveis liberados, tratados como medidas repetidas dentro de um estudante. O estimador aplica uma correção de desenho finito para considerar o fato de que a variância das médias dos estudantes é inflacionada pelo ruído de medição residual ( $1/M$ em vez de zero).
$\rho = \frac{\text{Var}(\mu)}{\text{Var}(\mu) + E(\sigma^2)}$
onde $\mu$ é a média posterior e $\sigma^2$ é a variância posterior.
Arquitetura de Validação: Para evitar o vazamento da estrutura de nível escolar, todas as estimativas primárias utilizam validação cruzada de cinco dobras disjuntas por escola. Escolas inteiras são atribuídas às dobras, garantindo que nenhuma escola contriba tanto para o treinamento quanto para a avaliação. Isso é contrastado com divisões aleatórias convencionais ao nível do estudante para quantificar a inflação.
Modelos: Dois modelos foram ajustados em paralelo em dobras idênticas: uma regressão ridge ponderada (linha de base linear) e um regressor de gradient boosting baseado em histogramas ponderado. Os hiperparâmetros foram mantidos fixos em todos os sistemas e domínios para garantir que as comparações pareadas fossem interpretáveis.
Análise de Estabilidade: O pipeline foi reajustado uma vez para cada um dos dez valores plausíveis. A importância do preditor foi avaliada via importância de permutação ponderada. A estabilidade foi medida usando a correlação de rank de Kendall média e a sobreposição de Jaccard dos cinco principais preditores através das dez reajustes.
Atribuição de Instabilidade: Um design nulo comparou três condições para distinguir a instabilidade causada pelo ruído de medição da instabilidade causada pelo próprio estimador de importância de permutação: (1) PVs variando com semente do estimador fixa, (2) PV fixo com semente do estimador variando, (3) ambos fixos.
Design Pareado Dentro do Sistema: Para isolar o efeito da precisão da medição de outras diferenças de sistema, o estudo pareou domínios dentro do mesmo sistema, mantendo estudantes, escolas, preditores e dobras constantes. Apenas o constructo medido (e, portanto, $\rho$ ) variou.

Principais Contribuições

Estimativa da Precisão de Nível Individual: O estudo fornece um teto de precisão de medição ( $\rho$ ) para cada domínio em cada sistema participante, demonstrando que este estatístico de nível individual é distinto das medidas de confiabilidade de estatísticas grupais publicadas (que correlacionam fracamente, $r=0,195$ ).
Demonstração de Não Comparabilidade: O autor mostra que $\rho$ varia significativamente entre sistemas e domínios (variando de 0,654 a 0,933) e é fracamente correlacionado entre domínios nos mesmos estudantes. Portanto, o desempenho preditivo bruto não é comparável entre domínios ou sistemas sem referenciar este limite.
Relacionamento Gradual: Usando um design pareado, o estudo estabelece que tanto a precisão alcançável quanto a estabilidade dos rankings de preditores escalam com o teto de medição de maneira gradual. À medida que a diferença entre os tetos de dois domínios se aproxima de zero, a diferença no desempenho subsequente e na estabilidade de ranking também se aproxima de zero.
Quantificação da Inflação de Divisão: O estudo quantifica o custo de divisões aleatórias ao nível do estudante em dados agrupados, identificando o número de escolas amostradas como o parâmetro governante para a inflação de desempenho.

Resultos

Variabilidade do Teto: O teto de precisão de medição variou de 0,654 a 0,894 para pensamento criativo, 0,766 a 0,915 para leitura, 0,790 a 0,916 para ciências e 0,811 a 0,933 para matemática. Os tetos medianos ordenados foram Matemática (0,900) > Ciências (0,871) > Leitura (0,857) > Pensamento Criativo (0,802).
Ortogonalidade: Dentro dos 63 sistemas avaliados tanto em pensamento criativo quanto em matemática, os tetos correlacionaram-se fracamente ( $r=0,148$ ), indicando que a qualidade da medição em um domínio é um guia pobre para outro.
Precisão Alcançável: O $R^2$ fora da dobra (out-of-fold) foi positivamente associado a $\rho$ em todos os domínios. Na análise pareada, um maior gap nos tetos ( $\Delta\rho$ ) correspondeu a um maior gap em $R^2$ , estabilidade de ranking (Kendall's $\tau$ ) e sobreposição de lista de preditores (Jaccard). Para o maior gap (Matemática vs. Pensamento Criativo, $\Delta\rho \approx 0,088$ ), a diferença em $R^2$ foi altamente significativa ( $p < 10^{-10}$ ). Para o menor gap (Ciências vs. Leitura, $\Delta\rho \approx 0,008$ ), as diferenças foram próximas de zero e frequentemente não significativas.
Instabilidade de Ranking: No domínio com medição menos precisa (pensamento criativo), mais de 40% de uma lista de cinco preditores mudou entre dois valores plausíveis dos mesmos dados. Essa instabilidade foi confirmada como atribuível ao ruído de medição, e não ao estimador de permutação isoladamente.
Inflação de Divisão: Divisões aleatórias ao nível do estudante inflaram o desempenho em 604 de 606 análises. A magnitude da inflação foi governada pelo número de escolas amostradas (Spearman $r \approx -0,4$ ), com casos extremos mostrando uma inflação de $R^2=0,002$ (disjunto por escola) para $0,361$ (divisão aleatória).
Achado Exploratório: A precisão da medição (razão ruído-sinal) pareceu declinar com o número de estudantes avaliados, particularmente em domínios que exigem codificação humana de respostas abertas (Pensamento Criativo), embora essa relação tenha sido impulsionada pelo contraste entre os maiores sistemas e os típicos.

Significância e Alegações
O artigo argumenta que o desempenho preditivo de bases de dados de ILSA não é comparável entre domínios ou sistemas sem referência ao limite de medição. Um modelo que atinge $R^2=0,45$ em um sistema com um teto de 0,65 capturou significativamente mais do sinal disponível do que um modelo com o mesmo $R^2$ em um sistema com um teto de 0,93.

O autor afirma que:

Rankings de preditores de um único valor plausível são apenas uma realização de uma ampla distribuição. Em domínios de baixa precisão, um ranking único é instável, com uma parte substancial dos principais preditores mudando entre valores plausíveis.
O "teto de ruído" é uma propriedade governante do design da avaliação e da execução operacional, não uma constante. Ele dita tanto a precisão máxima alcançável quanto a estabilidade das variáveis explicativas relatadas.
Existem dois vieses opostos: O ruído de medição deflaciona o desempenho alcançável, enquanto o condicionamento dos valores plausíveis a variáveis de fundo infla as associações aparentes. Nenhum dos dois é atualmente reconhecido na literatura aplicada.

Recomendações Práticas
O autor propõe dois ajustes modestos e de baixo custo para pesquisadores:

Relatar o Teto: Junto a qualquer métrica de desempenho preditivo, relate o telo de precisão de medição ( $\rho$ ) para aquele domínio e sistema específicos. O desempenho deve ser expresso como uma fração deste limite ( $R^2/\rho$ ) para permitir comparações válias entre sistemas.
Relatar Estatísticas de Estabilidade: Ao relatar rankings de preditores, os pesquisadores devem ajustar modelos em todos os valores plausíveis e relatar uma estatística de estabilidade (ex: correlação de rank ou sobreposição de Jaccard) junto com o ranking. Um único ranking de uma única extração é insuficiente para caracterizar a distribuição dos preditores importantes.

O artigo conclui que a capacidade analítica das bases de dados de grandes avaliações não é uniforme; onde a medição é menos precisa, menos pode ser aprendido e as conclusões são menos estáveis. Como a precisão é em parte uma propriedade de design e operacional, é uma variável que os programas de avaliação podem potencialmente melhorar.

Mais como este