A Deep Investigation Using Factorial Analysis and Rasch Model: An Optimized Short-Version of the Computational Thinking Scale (COTS)

Technische Samenvatting: Een Geoptimaliseerde Korte Versie van de Computational Thinking Scale (COTS)

Probleemstelling
Computationeel denken (CT) wordt erkend als een fundamentele competentie voor de 21e eeuw die essentieel is voor systematische probleemoplossing binnen diverse disciplines. Ondanks het groeiende belang ervan in het onderwijs, kampt het vakgebied met een gebrek aan psychometrisch robuuste instrumenten die specifiek zijn ontworpen om CT-vaardigheden te beoordelen, met name in niet-ICT-contexten zoals sociale wetenschappen. Bestaande instrumenten leunen vaak op gesloten vragenlijsten die mogelijk geen rekening houden met culturele verschillen of voldoende validiteit en betrouwbaarheid bezitten. Deze kloof beperkt het vermogen van onderzoekers en docenten om de sterktes en zwaktes van studenten nauwkeurig te diagnosticeren, wat het ontwerp van effectieve educatieve interventies belemmert. De studie adresseert de behoefte aan een hoogwaardig, gevalideerd meetinstrument dat gebaseerd is op rigoureuze psychometrische analyse.

Methodologie
De studie maakte gebruik van een tweestaps sequentieel validatieproces om een instrument voor Computational Thinking Skills (COTS) te ontwikkelen en te verfijnen, dat oorspronkelijk werd aangepast van een 22-items schaal.

• Deelnemers en Gegevensverzameling: Gegevens werden anoniem verzameld van bachelorstudenten in Makassar, Indonesië. Het proces omvatte twee verschillende steekproeven: 364 deelnemers voor de initiële Confirmatieve Factoranalyse (CFA) en 434 deelnemers voor de daaropvolgende Rasch-modelanalyse.
• Fase 1: Confirmatieve Factoranalyse (CFA): Met behulp van JASP-software evalueerden de onderzoekers de factoriële validiteit van het 22-items instrument. De analyse richtte zich op factorladingen (vereist >0,50), modelfit-indices (CFI, GFI, TLI, NNFI, IFI, RNI >0,90; RMSEA en SRMR <0,08) en interne consistentie betrouwbaarheid (McDonald's ω en Cronbach's α >0,80 voor de totale schaal). Items die niet aan deze criteria voldeden, werden verwijderd.
• Fase 2: Rasch Rating Scale Model (RSM): Het verfijnde instrument werd geanalyseerd met behulp van J.Metrik-software. Deze fase beoordeelde fundamentele meetveronderstellingen, waaronder:
  • Unidimensionaliteit: Geverifieerd via de Principale Componentanalyse (PCA) van residuen (eigenwaarde van het eerste contrast <3,0).
  • Lokale Onafhankelijkheid: Geëvalueerd via residu-correlaties tussen itemparen (drempelwaarde <0,40).
  • Functioneren van de Rating Scale: Onderzocht op monotoon stijgende patronen in gemiddelde maten en geordende drempelparameters.
  • Model Fit: Beoordeeld met Infit en Outfit Mean Square statistieken (acceptabele range 0,5–1,5).
  • Betrouwbaarheid en Separatie: Berekend voor zowel items als personen om de precisie van de meting en het vermogen om te differentiëren tussen verschillende niveau's van bekwaamheid te bepalen.
  • Item Moeilijkheid: Geanalyseerd om de distributie van items over het latente kenmerk-continuüm te bepalen.

Belangrijkste Resultaten

• Instrument Verfijning: De CFA-fase resulteerde in de verwijdering van twee items uit de dimensie "abstractie" vanwege factorladingen onder de 0,50. Het definitieve instrument bestaat uit 20 items verdeeld over vier dimensies: Abstractie (3 items), Decompositie (6 items), Algoritmisch Denken (6 items) en Generalisatie/Patroonherkenning (5 items).
• CFA Uitkomsten: Het definitieve model vertoonde een uitstekende fit. Alle fit-indices overschreden 0,90 (bijv. CFI = 0,922, TLI = 0,908), en fout-indices waren lager dan 0,06 (RMSEA = 0,057, SRMR = 0,046). Factorladingen varieerden van 0,52 tot 0,75. De algehele betrouwbaarheid was 0,89, waarbij de subschaal-betrouwbaarheden varieerden van 0,62 tot 0,85.
• Rasch Uitkomsten:
  • Veronderstellingen: Het instrument voldeed aan de dimensionaliteit (eigenwaarde van het eerste contrast = 2,54) en lokale onafhankelijkheid (maximale residu-correlatie = 0,40).
  • Model Fit: Alle 20 items vielen binnen de acceptabele Infit/Outfit range (0,5–1,5), en de rating scale functioneerde optimaal met monotoon stijgende drempels.
  • Betrouwbaarheid: De item-betrouwbaarheid was uitstekend (0,97–0,98), en de persoon-betrouwbaarheid was goed (0,87–0,88). Separatie-indices gaven aan dat het instrument ongeveer 9,89 strata van item-moeilijkheid en 3,80 strata van persoon-bekwaamheid kan onderscheiden.
  • Item Moeilijkheid: Het bereik van de moeilijkheid liep van −0,79 tot 0,82 logits. De distributie geeft aan dat het instrument het meest effectief is voor het beoordelen van individuen met matige niveaus van CT-vaardigheden.

Betekenis en Claims
Het artikel claimt een psychometrisch solide, korte versie van het instrument (COTS) te bieden voor het beoordelen van computationeel denken onder universiteitsstudenten. Door CFA en Rasch-modellering te integreren, biedt de studie een uitgebreide validatie die zowel de structurele validiteit als de item-niveau meeteigenschappen adresseert.

De auteurs stellen dat de COTS een valide en betrouwbaar instrument is voor educatieve contexten, in staat om de sterktes en zwaktes van studenten te identificeren om gerichte interventies en curriculumontwerp te informeren. De studie erkent echter bescheiden een beperking: het instrument is primair gericht op individuen met matige CT-vaardigheden. Vanwege de clustering van item-moeilijkheid in het lage- tot matige bereik, heeft het instrument een beperkte precisie voor het differentiëren van individuen met geavanceerde of hoogwaardige CT-vaardigheden. Bij consequent concludeert het artikel dat hoewel het huidige instrument robuust is voor algemene beoordeling, toekomstige ontwikkeling zich moet richten op het creëren van meer uitdagende items om de dekking aan het hogere einde van het bekwaamheidsspectrum te verbeteren.