Instructional Quality and PISA Mathematics Trajectories, 2012–2022: Frequentist and Bayesian Conditional Latent Growth Curve Analysis

Resumo Técnico: Qualidade Instrucional e Trajetórias de Matemática no PISA, 2012–2022

Problema de Pesquisa
Este estudo aborda duas questões distintas, mas analiticamente vinculadas, relativas ao framework da "economia do conhecimento" e à política educacional. Primeiro, investiga a validade da "hipótese do comovimento" (co-movement hypothesis), que assume que as melhorias nacionais na qualidade da educação, no investimento em pesquisa e desenvolvimento (P&D) e na participação no mercado de trabalho são mutuamente reforçadoras ao longo do tempo. Embora os dados transversais mostrem consistentemente que esses pilares estão correlacionados, permanece não testado se países que melhoram em um desses pilares melhoram simultaneamente nos outros de forma longitudinal. Segundo, o estudo examina se as tendências nacionais na qualidade instrucional — especificamente o suporte docente e o clima disciplinar — predizem a trajetória dos resultados de aprendizagem dos alunos (pontuações de matemática do PISA) ao longo de uma década. Isso aborda uma lacuna na literatura onde as associações dentro de um mesmo ciclo entre qualidade de ensino e desempenho são bem documentadas, mas seu poder preditivo entre ciclos em nível de país permanece desconhecido.

Metodologia
A pesquisa utiliza um design longitudinal transnacional secundário utilizando dados de 52 países em quatro ciclos do PISA (2012, 2015, 2018, 2022).

• Fontes de Dados: O estudo integra pontuações de matemática do PISA (via pacote learningtower do R), Indicadores de Desenvolvimento do Banco Mundial (gastos em P&D como % do PIB) e dados da ILO (taxa de emprego de população em idade ativa). As variáveis de qualidade instrucional (Índice de Suporte Docente [TEACHSUP] e Índice de Clima Disciplinar [DISCLIM]) foram derivadas dos questionários dos estudantes do PISA.
• Padronização: Todas as variáveis de resultado foram padronizadas via z-score utilizando a onda de 2012 como linha de base. O tempo foi codificado como anos métricos desde 2012.
• Estrutura Analítica:
  • Análise Primária: Um Modelo de Curva de Crescimento Latente (LGCM) paralelo Bayesiano foi implementado utilizando brms e rstan para estimar simultaneamente os parâmetros de crescimento para matemática do PISA, P&D e emprego. Esta abordagem permite a estimação de correlações de intercepto e inclinação entre domínios. Foram utilizados priors fracamente informativos para regularizar as estimativas dado o pequeno tamanho do cluster (N=52 países).
  • Análise Condicional: Uma série de modelos de crescimento condicional (tanto de efeitos mistos frequencistas usando lme4 quanto equivalentes Bayesianos usando brms) testou se as variáveis de qualidade instrucional (nível de TEACHSUP em 2012, mudança em TEACHSUP de 2012–2022 e DISCLIM de 2022) moderaram a taxa de mudança da matemática no PISA.
• Diagnósticos: A convergência foi avaliada via estatísticas $\hat{R}$ e tamanhos de amostra efetivos. O ajuste do modelo foi avaliado por LOO-CV (Bayesiano) e AIC (frequencista).

Resultos Principais

1. Trajetórias Divergentes e Desacoplamento: As inclinações médias populacionais para os três domínios divergiram significamente. As pontuações de matemática do PISA declinaram ($\beta = -0,025$/ano), enquanto os gastos em P&D ($\beta = +0,020$/ano) e o emprego de população em idade ativa ($\beta = +0,064$/ano) aumentaram.
2. Ausência de Comovimento: Embora as correlações de intercepto entre domínios tenham sido positivas e críveis (indicando que países de alto desempenho começam com níveis mais altos em todos os domínios), todas as correlações de inclinação entre domínios foram próximas de zero e não críveis. Isso indica que as taxas de crescimento em educação, P&D e emprego evoluíram independentemente ao longo da década, apoiando a "hipótese do desacoplamento" em vez da hipótese do comovimento.
3. Preditores de Qualidade Instrucional: Modelos condicionais revelaram que nem o nível de suporte docente em 2012, nem a mudança decadal no suporte docente, nem o clima disciplinar de 2022 moderaram significativamente a taxa de mudança da matemática no PISA. Os termos de interação foram pequenos ($\beta$ entre 0,003–0,006) e seus intervalos de credibilidade/confiança de 95% cruzaram o zero.
4. O Caso da Turquia: A Turquia serviu como um caso ilustrativo, apresentando um perfil único onde as pontuações de matemática do PISA melhoraram significativamente (+32,51 pontos), apesar de ter experimentado um dos maiores declínios de percepção de suporte docente na amostra. Isso reforça ainda mais a independência das trajetórias do PISA em relação às tendências de suporte docente em nível de país.

Principais Contribuições

• Metodológica: O estudo demonstra a utilidade do LGCM paralelo Bayesiano para modelar o comovimento da economia do conhecimento transnacional. Destaca como a estimação Bayesiana com priors fracamente informativos proporciona robustez contra falhas de convergência e estimativas de fronteira em modelos de equações estruturais com pequenos clusters, um problema comum em pesquisas de painel transnacionais.
• Empírica: Fornece o primeiro teste longitudinal da hipótesa dos pilares da economia do conhecimento, encontrando que, embora esses pilares se agrupem transversalmente, eles se desacoplam longitudinalmente. Isso desafia a premissa de que índices compostos que agregam esses pilares fornecem resumos válidos das trajetórias de desenvolvimento nacional.
• Reprodutibilidade: Os autores fornecem um pipeline totalmente reprodutível, incluindo o script de análise e o conjunto de dados processado, integrando dados do PISA, Banco Mundial e ILO.

Significância e Alegações
O artigo alega que a independência estrutural dos pilares da economia do conhecimento sugere que classificações compostas (ex: Índice de Competitividade Global) podem obscurecer a heterogeneidade temporal crítica para o desenho de políticas. Formuladores de políticas que dependem de índices agregados podem perder o fato de que um país pode melhorar em um domínio (ex: P&D) enquanto estagna ou declina em outro (ex: educação).

Em relação à qualidade instrucional, o estudo conclui que as tendências nacionais na percepção dos alunos sobre o suporte docente não predizem as trajetórias decadais do PISA. Os autores atribuem este achado nulo a:

1. Descompasso Temporal: O TEACHSUP mede a percepção de uma coorte específica de professores atuais, o que não se alinha com as tendências de resultados decadais de diferentes coortes.
2. Efeitos de Grupo de Referência: Sistemas de alto desempenho frequentemente possuem alunos que avaliam os professores com notas mais baixas, criando uma correlação transversal negativa que complica a interpretação longitudinal.
3. Viés de Agregação: Médias de nível de país podem mascarar a variação intra-país onde os efeitos da qualidade instrucional são realmente operantes.

O estudo alerta desenvolvedores de programas educacionais contra o uso de dados de tendência do PISA sobre suporte docente como um proxy direto para reformas de qualidade instrucional em todo o sistema, observando que um declínio na percepção de suporte não indica necessariamente um declínio na qualidade do ensino ou um fracasso das reformas. Em vez disso, os achados sugerem que as alavancas políticas que regem educação, pesquisa e emprego operam em escalas temporais distintas e através de canais institucionais separados.