Student Dispositions and Instructional Practices as Predictors of Science Achievement: A Multilevel Analysis of PISA 2022 Data from Kosovo

Resumo Técnico: Disposições dos Estudantes e Práticas Instrucionais como Preditores do Desempenho em Ciências no Kosovo

Problema de Pesquisa
Este estudo aborda o subdesempenho persistente do sistema educacional do Kosovo em ciências, evidenciado pela sua pontuação média no PISA 2022 de 353,57, que está aproximadamente 146 pontos abaixo da média da OCDE. Embora pesquisas anteriores tenham examinado separadamente os fatores motivacionais ao nível do estudante e as práticas instrucionais ao nível da escola, poucos estudos analisaram sua influência conjunta dentro de um quadro analítico unificado, particularmente em contextos educacionais de baixo desempenho e pós-conflito. O estudo busca determinar em que medida os recursos disposicionais ao nível do estudante (curiosidade e criatividade) e as práticas instrucionais ao nível da escola (instrução adaptativa e feedback) predizem o desempenho em ciências no Kosovo, e se as práticas ao nível da escola moderam a relação entre as disposições dos estudantes e o desempenho.

Metodologia
A pesquisa emprega um desenho de modelagem linear hierárquica de dois níveis (multinível) transversal, utilizando dados da avaliação PISA 2022 no Kosovo.

• Amostra: A amostra analítica consiste em 4.891 estudantes agrupados em 100 escolas. Esta amostra foi derivada do conjunto de dados completo do PISA 2022 para o Kosovo (6.027 estudantes em 229 escolas) após a agregação dos dados dos professores ao nível da escola (exigindo um mínimo de três professores por escola) e o tratamento de dados ausentes nas variáveis disposicionais dos estudantes via imputação múltipla.
• Variável de Desfecho: O desempenho em ciências foi medido utilizando dez valores plausíveis gerados pelo PISA para dar conta da incerteza de medição.
• Preditores:
  • Nível 1 (Estudante): Curiosidade (motivação intrínseca para explorar) e Criatividade (percepção de oportunidades criativas), juntamente com controles demográficos: status socioeconômico (ESCS), gênero e status de imigrante.
  • Nível 2 (Escola): Relatos agregados de professores sobre Instrução Adaptativa (ajuste da pedagogia às diversas necessidades) e Práticas de Feedback (frequência e qualidade do feedback).
• Abordagem Analítica: O estudo utilizou o pacote WeMix em R para estimar modelos multiníveis ponderados, incorporando tanto pesos de amostragem ao nível do estudante (W_FSTUWT) quanto ao nível da escola (W_SCHGRNRABWT) para garantir a representatividade da população. Para lidar com a estrutura de valores plausíveis do desfecho, a função wrapper mixPV foi utilizada para estimar modelos separadamente em todos os dez valores plausíveis e agrupar os resultados usando as regras de Rubin. Os dados ausentes sobre curiosidade e criatividade (decorrentes do design de cadernos rotacionados do PISA) foram tratados usando o pacote mice com correspondência de média preditiva (predictive mean matching).
• Seleção de Modelo: Quatro modelos sequenciais foram estimados. A seleção de modelos foi guiada pelos valores médios de AICbar (calculados sobre os valores plausíveis e conjuntos de dados imputados) em vez de testes de razão de verossimilhança, devido à complexidade de agrupar estatísticas de teste neste contexto.

Principais Resultados
A análise gerou os seguintes achados baseados no modelo selecionado final (Modelo 2):

• Correlação Intraclasse (ICC): O modelo não condicional revelou um ICC de .324, indicando que 32,4% da variância total no desempenho em ciências é atribuível às diferenças entre escolas, justificando a abordagem multinível.
• Preditores ao Nível do Estudante:
  • A Curiosidade foi o preditor disposicional mais forte do desempenho em ciências ($\beta = .084, p < .001$).
  • A Criatividade também demonstrou um efeito positivo significativo ($\beta = .046, p = .005$), embora seu tamanho de efeito seja menor que o da curiosidade.
  • O status socioeconômico (ESCS) e o gênero (masculino) foram preditores positivos significativos. O status de imigrante não foi significativo.
• Preditores ao Nível da Escola:
  • A Instrução Adaptativa emergiu como o preditor geral mais forte no modelo ($\beta = .192, p = .005$), explicando 19,1% da variância entre escolas. Um aumento de um desvio padrão na instrução adaptativa foi associado a um aumento de 32,67 pontos no desempenho em ciências.
  • As Práticas de Feedback não foram um preditor significativo ($\beta = -.022, p = .755$) após o controle da instrução adaptativa.
• Interações Cross-Level: As interações entre as disposições dos estudantes e as práticas instrucionais (Curiosidade $\times$ Instrução Adaptativa; Criatividade $\times$ Feedback) não foram estatisticamente significativas, sugerindo que os benefícios da curiosidade e da criatividade são relativamente uniformes entre as escolas, independentemente do ambiente instrucional.
• Variância Explicada: O modelo final explicou 2,7% da variância dentro da escola, 19,1% da variância entre escolas e 8,0% da variância total no desempenho em ciências.

Significância e Contribuições
O artigo reivindica três contribuições primárias para a literatura e o discurso político:

1. Extensão Contextual: Estabelece a curiosidade e a criatividade como preditores significativos do desempenho em ciências em um contexto educacional de baixo desempenho e não ocidental, estendendo pesquisas prévias que focaram majoritariamente em sistemas ocidentais de alto desempenho.
2. Alavancagem Instrucional: Identifica a instrução adaptativa como uma alavanca mais poderosa para reduzir a desigualdade de desempenho entre escolas do que as disposições individuais dos estudantes. O achado de que a instrução adaptativa ao nível da escola explica substancialmente mais variância do que os fatores ao nível do estudante sugere que melhorar a qualidade instrucional é um caminho crítico para a melhoria sistêmica no Kosovo.
3. Rigor Metodológico: O estudo demonstra a importância metodológica do tratamento adequado de valores plausíveis e da ponderação de dois níveis em análises multiníveis do PISA. Os autores observam que abordagens analíticas incorretas podem levar a estimativas de ICC e erros padrão substancialmente diferentes, o que tem implicações diretas para a precisão de inferências relevantes para políticas públicas.

Limitações e Modéstia das Alegações
Os autores explicitam diversas limitações que qualificam suas conclusões:

• Inferência Causal: O desenho transversal impede a inferência causal; as associações são correlacionais.
• Restrições de Medição: O peso ao nível da escola foi derivado do arquivo do questionário do professor, e não do arquivo do questionário da escola. Além disso, a correlação moderada entre instrução adaptativa e práticas de feedback ($r = .65$) sugere potencial multicolinearidade, dificultando o isolamento do efeito independente do feedback.
• Variância Não Explicada: O modelo explica apenas 8,0% da variância total. Fatores não medidos, como o desempenho acadêmico prévio, a capacidade cognitiva e características estruturais, como o sistema de escolaridade de turno dividido no Kosovo (que limita o tempo instrucional), provavelmente explicam partes significativas da variância não explicada.
• Generalização: A falta de interações cross-level significativas pode ser devida à relativa homogeneidade das práticas instrucionais entre as escolas do Kosovo, limitando a capacidade de detectar efeitos de moderação.

Consequentemente, os autores enquadram seus achados como o estabelecimento de "orientação acionável" e "pontos de alavancagem" para melhoria, em vez de mecanismos causais definitivos, enfatizando a necessidade de pesquisas longitudinais futuras e da inclusão de variáveis de contexto estrutural da escola.