Data evaluation processes of different-sized datasets: an eye-tracking with concurrent think-aloud study

Technische Samenvatting: Evaluatieprocessen van Datasets met Verschillende Grootten

Probleemstelling
De toenemende beschikbaarheid van digitale meetinstrumenten in het natuurkundig onderwijs heeft geleid tot een verschuiving van kleine, handmatig verzamelde datasets naar grote, geautomatiseerde datasets. Hoewel de bestaande literatuur vaak aanneemt dat grotere datasets een grotere complexiteit introduceren, suggereert recent werk dat ze, wanneer gepresenteerd in diagrammen, het redeneren niet noodzakelijkerwijs belemmeren. De specifieke mechanismen waarmee studenten datasets van variërende grootten evalueren en interpreteren, blijven echter onderbelicht. Voorgaand onderzoek heeft zich voornamelijk gericht op resultaatgerichte maten of geïdealiseerde curve-representaties met duidelijke "correcte" interpretaties, waardoor er een gat is ontstaan in het begrip van hoe studenten discrete meetpunten, inherente epistemische onzekerheid en variërende datavolumes verwerken. Specifiek is het onduidelijk hoe de omvang van een dataset interageert met de zichtbaarheid van patronen om de perceptuele en cognitieve processen van data-evaluatie te vormen.

Methodologie
De studie maakte gebruik van een procesgeoriënteerde aanpak met oogtracking en gelijktijdige think-aloud protocollen om de data-evaluatieprocessen van $N=20$ universiteitsstudenten natuurkunde te analyseren.

• Experimenteel Ontwerp: Deelnemers werden willekeurig toegewezen aan twee groepen (Groep S en Groep L) en evalueerden twee datasets afgeleid van een wrijvingsexperiment (een lichaam dat versnelt over een ruw oppervlak).
  • Kleine Dataset: Verzameld met een lage bemonsteringsfrequentie (10 samples/s), wat een relatief uniforme toename in positie en een constante kracht presenteert, wat wijst op een glijdende fase.
  • Grote Dataset: Verzameld met een hoge bemonsteringsfrequentie (50 samples/s), wat afwisselende fasen van positietoename en constantheid onthult, met bijbehorende fluctuaties in de kracht, wat wijst op een stick-slip fenomeen.
  • Noot: De manipulatie van de bemonsteringsfrequentie veranderde tegelijkertijd de omvang van de dataset en de zichtbaarheid van onderliggende patronen (stick-slip versus glijden), wat betekende dat deze factoren in het ontwerp geconfundeerd waren.
• Taak: Studenten kregen de opdracht om de bewegingstoestand van het lichaam binnen een specifiek tijdsinterval (1,7 s tot 1,9 s) te bepalen en een schriftelijke rechtvaardiging te geven.
• Dataverzameling:
  • Oogtracking: Een Tobii Pro Fusion tracker (250 Hz) registreerde fixaties. Fixaties werden gecategoriseerd op basis van de gemeten grootheid (kracht/positie), het type kenmerk (enkelvoudig punt, trend, globaal patroon) en het tijdsinterval.
  • Think-Aloud: Deelnemers verwoordden hun gedachten tijdens de evaluatie.
  • Schriftelijke Rechtvaardigingen: Deelnemers leverden schriftelijke argumenten aan voor hun conclusies.
• Analyse: Drie databronnen (schriftelijke rechtvaardigingen, oogtracking-fixaties en transcripten van de think-aloud protocollen) werden inductief gecodeerd met behulp van specifieke handleidingen. De interrater-betrouwbaarheid werd vastgesteld (Cohen's $\kappa$ variërend van 0,75 tot 1,00). De analyse vergeleken de frequentie van verwijzingen naar specifieke data-elementen (bijv. enkelvoudige punten versus trends) en de expressie van onzekerheid tussen de datasetcondities.

Belangrijkste Resultaten

1. Conclusies en Expert-overeenstemming: Het evalueren van de grote dataset leidde tot een significant hoger aandeel conclusies die consistent zijn met een natuurkundige expert-interpretatie (het identificeren van het stick-slip fenomeen) vergeleken met de kleine dataset. Kleine datasets resulteerden in meer verspreide en ambigue conclusies.
2. Evaluatiestrategieën en Focus:
   • Kleine Datasets: Geassocieerd met een sterkere focus op enkelvoudige meetpunten en individuele datafluctuaties. Deelnemers verwezen frequent naar meetonzekerheid en articuleerden een "behoefte aan data". Dit leidde tot een overinterpretatie of een te zware weging van enkelvoudige metingen.
   • Grote Datasets: Geassocieerd met een verschuiving naar evaluatie op basis van trends en patronen. Deelnemers letten vaker op trends en intervallen, met name in de krachtdata, en integreerden meerdere datapunten in coherente interpretaties.
3. Informatieverwerkingsstroom: De studie identificeerde een meerstaps selectieproces. Hoewel oogtracking een brede visuele aandacht voor diverse diagramelementen liet zien, werd slechts een subset van deze informatie verbaal geuit in de think-aloud protocollen, en een nog kleinere subset werd opgenomen in de schriftelijke rechtvaardigingen. Dit duidt op een filter- en transformatieproces van perceptie naar argumentatie.
4. Onzekerheidsbeheer: Verwijzingen naar meetonzekerheid kwamen prominenter voor tijdens de evaluatie van kleine datasets. In contrast daarmee faciliteerde de grote dataset een beweging weg van onzekerheid-gerelateerde, lokaal gefocuste evaluatie naar meer integratieve redenering.

Belangrijkste Bijdragen

• Procesgeoriënteerd Inzicht: De studie gaat verder dan een resultaatgerichte analyse en onthult de onderliggende visuele en cognitieve mechanismen van data-evaluatie, waarbij wordt aangetoond dat de omvang van de dataset de redeneerstrategieën systematisch vormgeeft.
• Integratie van Methoden: Door oogtracking te combineren met gelijktijdige think-aloud protocollen en schriftelijke rechtvaardigingen, biedt de studie een uitgebreid verslag van hoe studenten informatie selecteren, wegen en integreren, waarbij de discrepanties tussen wat gezien, gedacht en geschreven wordt, worden belicht.
• Patroonzichtbaarheid versus Datavolume: De bevindingen suggereren dat de voordelen van grotere datasets in deze context gekoppeld zijn aan de verhoogde zichtbaarheid van onderliggende patronen (stick-slip), wat integratieve redenering ondersteunt en ambiguïteit vermindert, in plaats van aan het datavolume alleen.

Betekenis en Claims
De auteurs stellen dat de studie bijdraagt aan een procesgeoriënteerd begrip van de betrokkenheid van studenten bij meetdata in het natuurkundig onderwijs. De resultaten suggereren dat grotere datasets, wanneer zij relevante patronen zichtbaarder maken, studenten kunnen ondersteunen bij het integreren van meerdere datapunten in coherente interpretaties, wat potentieel kan leiden tot minder ambigue conclusies. Omgekeerd zijn kleinere datasets geassocieerd met strategieën die zich richten op lokale kenmerken en onzekerheid, wat kan leiden tot overinterpretatie van enkelvoudige punten.

Het artikel benadrukt dat effectieve data-evaluatie niet louter afhangt van de hoeveelheid beschikbare data, maar van hoe studenten deze data interpreteren, structureren en integreren. Het stelt dat grotere datasets een pedagogisch potentieel kunnen hebben in contexten waarin zij patronen onthullen die in kleinere datasets verborgen blijven, mits studenten over de strategieën beschikken om de informatie te structureren en samen te vatten. De auteurs nemen een bescheiden standpunt in door te merken dat de geobserveerde effecten contextafhankelijk zijn (vanwege de confounding van omvang en patroonzichtbaarheid) en dat de studie verkennend is, wat oproept tot toekomstig onderzoek om de onderliggende cognitieve mechanismen direct te beoordelen en de effecten van datahoeveelheid van de effecten van patroonstructuur te ontwarren.