Cross-construct Optimization of TIMSS Mathematics Affective Scales

Resumo Técnico: Otimização Transconstruto das Escalas Afetivas de Matemática do TIMSS

Definição do Problema
Avaliações internacionais de larga escala, como o Estudo Internacional de Tendências em Matemática e Ciências (TIMSS), utilizam questionários extensos para medir o engajamento afetivo dos estudantes com a matemática. Especificamente, o TIMSS 2023 avalia três dimensões distintas para alunos do 8º ano: Alunos Gostam de Aprender Matemática (SLM), Alunos Têm Confiança na Matemática (SCM) e Alunos Valorizam a Matemática (SVM). Essas escalas compõem coletivamente 26 itens. Embora essas dimensões estejam teoricamente ligadas dentro do Modelo Tridimensional de Atitude (TMA) e da Teoria de Expectativa-Valor, elas são tipicamente administradas e analisadas como construtos independentes. Essa abordagem impõe uma carga considerável de pesquisa sobre alunos e educadores. O estudo aborda uma questão de medição fundamental: se essas escalas operam como uma rede afetiva integrada onde itens de uma dimensão podem prever classificações em outra, permitindo assim uma "otimização transconstruto" que reduz a contagem de itens sem sacrificar a precisão preditiva.

Metodologia
O estudo utilizou dados de 232.970 alunos do 8º ano de 44 países provenientes do banco de dados internacional TIMSS 2023. A abordagem analítica empregou um arcabouço de otimização cross-diagnóstica adaptado da literatura de triagem psiquiátrica, aplicado aqui à avaliação educacional.

1. Modelagem de Rede: Todos os 26 itens das escalas SLM, SCM e SVM foram agrupados e analisados utilizando um Modelo Gráfico Gaussiano (GGM). O GGM, estimado via LASSO gráfico com ajuste pelo Critério de Informação Bayesiano Estendido (EBIC), modelou a estrutura de dependência condicional entre os itens. Cada nó representava um item, e as arestas representavam correlações parciais controlando por todos os outros itens.
2. Análise de Centralidade de Ponte: A centralidade de intermediação (betweenness centrality) foi calculada para cada item para identificar "itens de ponte" — nós que residem nos caminhos mais curtos entre outros nós, particularmente aqueles que atravessam fronteiras de escalas. Os itens foram classificados por esta métrica de centralidade.
3. Seleção Sequencial de Itens: Um processo de seleção sequencial foi conduzido para determinar o conjunto mínimo de itens necessário para prever as classificações oficiais de três níveis do TIMSS (Alta, Intermediária, Baixa) para cada escala. Os itens foram adicionados um a um em ordem de sua centralidade de intermediação (priorizando as pontes).
   • Predição Cross-construto: Crucialmente, itens de uma escala foram permitidos para prever a classificação de outra escala (ex: itens de SVM prevendo SLM).
   • Detecção de Platô: O processo foi interrompido quando o desempenho preditivo (medido por macro-AUROC média) atingiu 99% da maior linha de base de item único alcançável dentro da escala alvo. Este limiar permitiu uma perda de precisão negligenciável (<1%) em troca de um instrumento parcimonioso.
4. Validação: O procedimento foi replicado independentemente para cada um dos 44 países para avaliar a consistência transnacional da estrutura de itens de ponte. O desempenho foi avaliado por meio de divisões de treino-teste 80/20 estratificadas e validação cruzada de 5 dobras (5-fold cross-validation).

Resultados Principais

• Identificação de Hub Estrutural: A análise GGM revelou que os itens da escala Alunos Valorizam a Matemática (SVM) ocupavam as posições de ponte mais centrais na rede afetiva. O item "Eu gostaria de um emprego que envolva o uso da matemática" (BSBM23E) exibiu a maior centralidade de intermediação e foi o primeiro item selecionado para prever as três dimensões.
• Conjuntos de Itens Otimizados:
  • SLM: Requereu 7 itens para atingir o platô de desempenho. Notavelmente, 5 destes (71%) eram itens cross-escala (provenientes de SVM ou SCM).
  • SCM: Requeriu 6 itens. Os quatro primeiros itens adicionados foram todos cross-escala (de SVM ou SLM), com nenhum item da própria escala entrando até o quinto passo.
  • SVM: Atingiu o platô com apenas 2 itens, ambos extraídos da própria escala SVM (BSBM23E e BSBM23A).
• A Bateria Compacta: As soluções SLM e SCM compartilharam um núcleo comum de seis itens. Combinados com um item adicional único para SLM, uma bateria de 7 itens foi derivada, capaz de rastrear simultaneamente as três dimensões. Isso representa uma redução de 73% em relação ao instrumento original de 26 itens.
• Desempenho Preditivo: A bateria de 7 itens alcançou alta precisão preditiva em todas as dimensões, com valores de AUROC variando de .889 (SVM) a .939 (SLM).
• Consistência Transnacional: Embora os itens de ponte específicos tenham variado, a utilidade preditiva do arcabouço foi robusta. O índice de consistência de itens de ponte (proporção dos 5 principais itens de ponte globais reproduzidos localmente) average foi de .509. No entanto, a precisão preditiva (AUROC) permaneceu alta e estável (mediana de .87–.95) em todos os 44 países, mesmo em nações com menor consistência estrutural (ex: Arábia Saudita, Romênia, Turquia, Uzbequistão).

Contribuições Principais

1. Caracterização Empírica do TMA: O estudo fornece o primeiro mapeamento ao nível de item da estrutura de dependência condicional entre as escalas afetivas do TIMSS em uma amostra internacional de grande escala. Ele identifica empiricamente a dimensão "Visão da Matemática" (SVM) como o hub estrutural da rede, estendendo o arcabouço teórico do TMA ao especificar o papel integrativo das crenças de valor.
2. Inovação Metodológica: Introduz a otimização cross-construto à avaliação educacional de larga escala. Ao alavancar a centralidade de ponte em GGM, o estudo demonstra que itens de um construto podem prever eficientemente as classificações de outro, desafiando a convenção de tratar as escalas como grupos isolados.
3. Instrumento Prático: O estudo entrega uma bateria compacta de 7 itens validada que substitui o conjunto oficial de 26 itens. Para facilitar a adoção, os autores fornecem recursos de acesso aberto, incluindo um módulo Python para predição em lote e uma ferramenta baseada em navegador para autoavaliação individual do aluno.

Significância e Alegações
O artigo alega que as crenças de valor da matemática funcionam como o principal nó integrativo na rede afetiva, carregando uma informação desproporcional entre os construtos. Este achado apoia a afirmação da Teoria de Expectativa-Valor de que as crenças de valor medeiam a relação entre competência e interesse.

O estudo conclui que uma bateria de 7 itens pode efetivamente rastrear alunos em todas as três dimensões do TMA com alta precisão, reduzindo significativamente a carga da pesquisa. Isso permite o monitoramento periódico do afeto dos alunos (ex: no início de cada período letivo) sem as restrições logísticas da administração de escala completa. Os autores observam que, embora o arcabouço seja robusto globalmente, países com menor consistência de itens de ponte (especificamente Arábia Saudita, Romênia, Turquia e Uzbequistão) devem tratar a bateria como um ponto de partida que requer validação local, uma vez que fatores culturais e institucionais podem alterar as dependências condicionais entre os itens afetivos. Os achados oferecem uma abordagem fundamentada para o monitoramento afetivo eficiente tanto em contextos de pesquisa quanto de sala de aula.