Cross-construct Optimization of TIMSS Mathematics Affective Scales

Technische Samenvatting: Cross-construct Optimalisatie van TIMSS Wiskunde Affectieve Schalen

Probleemstelling
Grootschalige internationale assessments, zoals de Trends in International Mathematics and Science Study (TIMSS), maken gebruik van uitgebreide vragenlijsten om de affectieve betrokkenheid van leerlingen bij wiskunde te meten. Specifiek beoordeelt TIMSS 2023 drie afzonderlijke dimensies voor leerlingen in de 2e klas van het voortgezet onderwijs (Grade 8): Leerlingen houden van leren in de context van wiskunde (SLM), Leerlingen hebben vertrouwen in wiskunde (SCM) en Leerlingen waarderen wiskunde (SVM). Deze schalen bestaan gezamenlijk uit 26 items. Hoewel deze dimensies theoretisch verbonden zijn binnen het driedimensionale model van attitude (TMA) en de Expectancy-Value Theory, worden ze doorgaans toegediend en geanalyseerd als onafhankelijke constructen. Deze aanpak legt een substantiële enquêtebelasting op aan leerlingen en docenten. De studie adresseert een fundamentele meetvraag: of deze schalen opereren als een geïntegreerd affectief netwerk waarbij items uit één dimensie classificaties in een andere kunnen voorspellen, wat een "cross-construct optimalisatie" mogelijk maakt die het aantal items vermindert zonder verlies van voorspellende nauwkeurigheid.

Methodologie
De studie maakte gebruik van gegevens van 232.970 leerlingen uit de 2e klas van het voortgezet onderwijs uit 44 landen uit de TIMSS 2023 internationale database. De analytische benadering maakte gebruik van een cross-diagnostisch optimalisatiekader, aangepast uit de psychiatrische screeningliteratuur en toegepast op educatieve assessment.

1. Netwerkmodellering: Alle 26 items van de SLM-, SCM- en SVM-schalen werden samengevoegd en geanalyseerd met behulp van een Gaussian Graphical Model (GGM). Het GGM, geschat via graphical LASSO met Extended Bayesian Information Criterion (EBIC) tuning, modelleerde de conditionele afhankelijkheidsstructuur tussen de items. Elk knooppunt vertegenwoordigde een item, en randen (edges) vertegenwoordigden partiële correlaties waarbij voor alle andere items werd gecorrigeerd.
2. Bridge Centrality Analyse: Betweenness centrality werd berekend voor elk item om "bridge items" te identificeren—knooppunten die op de kortste paden liggen tussen andere knooppunten, met name die de grenzen tussen verschillende schalen overspannen. Items werden gerangschikt op basis van deze centrality-metriek.
3. Sequentiële Itemselectie: Een sequentieel selectieproces werd uitgevoerd om de minimale set items te bepalen die vereist is om de officiële TIMSS drieniveau-classificaties (Hoog, Gemiddeld, Laag) voor elke schaal te voorspellen. Items werden één voor één toegevoegd in volgorde van hun betweenness centrality (bridge-first).
   • Cross-construct Voorspelling: Cruciaal is dat items van één schaal werden toegestaan om de classificatie van een andere schaal te voorspellen (bijv. SVM-items die SLM voorspellen).
   • Plateau Detectie: Het proces stopte wanneer de voorspellende prestatie (gemeten als macro-gemiddelde AUROC) 99% van de hoogst haalbare single-item baseline binnen de doel-schaal bereikte. Deze drempelwaarde maakte een verwaarloosbaar verlies aan nauwkeurigheid (<1%) mogelijk in ruil voor een parsimonisch instrument.
4. Validatie: De procedure werd onafhankelijk gerepliceerd voor elk van de 44 landen om de cross-nationale consistentie van de bridge-itemstructuur te beoordelen. Prestaties werden geëvalueerd met gestratificeerde 80/20 train-test splits en 5-voudige kruisvalidatie.

Belangrijkste Resultaten

• Structurele Hub Identificatie: De GGM-analyse toonde aan dat items uit de Leerlingen waarderen wiskunde (SVM) schaal de meest centrale bridge-posities in het affectieve netwerk bezetten. Het item "Ik zou graag een baan willen die met wiskunde te maken heeft" (BSBM23E) vertoonde de hoogste betweenness centrality en was het eerste geselecteerde item voor het voorspellen van alle drie de dimensies.
• Geoptimaliseerde Itemsets:
  • SLM: Had 7 items nodig om het prestatieplateau te bereiken. Opvallend genoeg waren 5 hiervan (71%) cross-scale items (uit SVM of SCM).
  • SCM: Vereiste 6 items. De eerste vier toegevoegde items waren allemaal cross-scale (uit SVM of SLM), waarbij pas bij de vijfde stap een eigen-schaal item werd toegevoegd.
  • SVM: Bereikte het plateau met slechts 2 items, beide afkomstig van de SVM-schaal zelf (BSBM23E en BSBM23A).
• De Compacte Batterij: De SLM- en SCM-oplossingen deelden een gemeenschappelijke kern van zes items. Gecombineerd met één aanvullend item dat uniek is voor SLM, werd een 7-item batterij afgeleid die in staat is om alle drie de dimensies simultaan te screenen. Dit vertegenwoordigt een reductie van 73% ten opzichte van het oorspronkelijke 26-item instrument.
• Voorspellende Prestaties: De 7-item batterij behaalde een hoge voorspellende nauwkeurigheid over alle dimensies, met AUROC-waarden variërend van .889 (SVM) tot .939 (SLM).
• Cross-nationale Consistentie: Hoewel de specifieke bridge-items varieerden, was de voorspellende bruikbaarheid van het framework robuust. De bridge item consistentie-index (proportie van de top-5 globale bridge items die lokaal werd gereproduceerd) bedroeg gemiddeld .509. De voorspellende nauwkeurigheid (AUROC) bleef echter hoog en stabiel (mediaan .87–.95) in alle 44 landen, zelfs in landen met een lagere structurele consistentie (bijv. Saoedi-Arabië, Roemenië, Turkije, Oezbekistan).

Belangrijkste Bijdragen

1. Empirische Karakterisering van TMA: De studie biedt de eerste item-niveau mapping van de conditionele afhankelijkheidsstructuur over de TIMSS affectieve schalen in een grote internationale steekproef. Het identificeert empirisch de "Visie op Wiskunde" (SVM) dimensie als de structurele hub van het netwerk, waarmee het theoretische TMA-raamwerk wordt uitgebreid door de integratieve rol van waarde-overtuigingen te specificeren.
2. Methodologische Innovatie: Het introduceert cross-construct optimalisatie voor grootschalige educatieve assessments. Door gebruik te maken van bridge centrality in GGM's, toont de studie aan dat items van één construct efficiënt de classificatie van een ander construct kunnen voorspellen, wat de conventie uitdaagt om schalen als geïsoleerde pools te behandelen.
3. Praktisch Instrument: De studie levert een gevalideerde, compacte 7-item batterij die de officiële 26-item batterij vervangt. Om adoptie te vergemakkelijken, bieden de auteurs open-access bronnen aan, inclusclusief een Python-module voor batch-voorspellingen en een browser-gebaseerde tool voor individuele zelfassessment door leerlingen.

Betekenis en Claims
Het artikel claimt dat de waarde-overtuigingen over wiskunde fungeren als de primaire integratieve node in het affectieve netwerk, waarbij zij een disproportionele hoeveelheid cross-construct informatie dragen. Deze bevinding ondersteunt de stelling van de Expectancy-Value Theory dat waarde-overtuigingen de relatie tussen competentie en interesse mediëren.

De studie concludeert dat een 7-item batterij effectief kan screenen op alle drie de TMA-dimensies met een hoge nauwkeurigheid, wat de enquêtebelasting aanzienlijk vermindert. Dit maakt periodieke monitoring van het affect van leerlingen mogelijk (bijv. aan het begin van elk kwartaal) zonder de logistieke beperkingen van volledige uitvoering. De auteurs merken op dat hoewel het framework globaal robuust is, landen met een lagere bridge item consistentie (specifiek Saoedi-Arabië, Roemenië, Turkije en Oezbekistan) de batterij als startpunt moeten beschouwen dat lokale validatie vereist, aangezien culturele en institutionele factoren de conditionele afhankelijkheden tussen affectieve items kunnen wijzigen. De bevindingen bieden een geprincipeerde aanpak voor efficiënte affectieve monitoring in zowel onderzoek als klasomgevingen.