Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS)

Technische Samenvatting: Ontwikkeling en Validatie van de GenAI-RTS

Probleemstelling
Nu de adoptie van generatieve AI (GenAI) in het hoger onderwijs de universaliteit nadert, heeft de binaire vraag of studenten deze hulpmiddelen gebruiken zijn diagnostische waarde verloren. De cruciale empirische vraag is verschoven naar hoe studenten vertrouwen op GenAI tijdens het iteratieve academische schrijfproces. Bestaande meetinstrumenten lijden aan drie primaire beperkingen: (1) ze zijn ontwikkeld voor discrete besluitvormingstaken in plaats van iteratieve schrijfprocessen; (2) ze vertrouwen op inductieve factorextractie in plaats van theoriegestuurde typologieën; en (3) ze missen bewijs van scalaire meetinvariantie over diverse demografische groepen, wat geldige vergelijkingen met betrekking tot gelijkheid verhindert. Bovendien falen huidige validatiepraktijken vaak in het bieden van een coherent, meervoudig bron-validiteitsargument zoals vereist door de Standards for Educational and Psychological Testing (AERA et al., 2014).

Methodologie
Deze studie ontwikkelde en valideerde de Generative AI Reliance Types Scale (GenAI-RTS), een zelfrapportage-instrument bestaande uit 20 items. Het onderzoek volgde een sequentieel verklarend mixed-methods design aan een Amerikaanse publieke R1 Minority-Serving Institution (MSI).

• Theoretisch Kader: Het instrument werd deductief afgeleid uit drie literatuurstromen: metacognitie (Schraw & Dennison, 1994), kritische AI-geletterdheid (Long & Magerko, 2020) en de 'approaches-to-learning' theorie (Biggs, 1987). Dit resulteerde in een vierdelige typologie: Strategisch (bestaande uit de facetten Doelbewust Gebruik en Kritische Evaluatie), Instrumenteel, Afhankelijk en Dialogisch.
• Participanten: De validatiesample bestond uit $N=382$ bachelorstudenten (gemiddelde leeftijd 20,8), die een etnisch diverse populatie vertegenwoordigden zonder raciale meerderheid (34,3% Wit, 27,2% Zwart/Afrikaans-Amerikaans, 24,9% Aziatisch, 7,6% Hispanic/Latino). Een doelgerichte subgroep van 14 studenten werd geïnterviewd met behulp van maximum variation sampling over de verschillende scores van afhankelijkheid.
• Validatiekader: De studie hanteerde het argument-gebaseerde validatiekader (Kane, 2013), waarbij bewijs werd verzameld uit vier van de vijf Standards-bronnen: testinhoud, responsprocessen, interne structuur en relaties met andere variabelen.
• Analytische Strategie:
  • Structurele Analyse: Zes concurrerende bevestigende factoranalyse (CFA) modellen werden getest met zowel Maximum Likelihood (ML) als Diagonally Weighted Least Squares (DWLS) schatters.
  • Invariantie: Multi-group CFA testte configurale, metrische en scalaire invariantie over gender, eerste-generatie status en STEM/niet-STEM disciplines.
  • Rasch-analyse: Rating-scale modellen evalueerden de werking van het 7-punts Likert-responsschema.
  • Kwalitatieve Analyse: Directe inhoudsanalyse van interviews onderzocht de overeenstemming tussen de zelfrapportage van studenten en de impliciete gedragingen van de schaal.

Belangrijkste Resultaten

1. Interne Structuur: Het gepostuleerde vierfactorenmodel (waarbij Strategisch als één factor werd beschouwd) vertoonde een zwakke fit. Een vijffactorenmodel (waarbij Strategische afhankelijkheid werd gescheiden in Doelbewust Gebruik en Kritische Evaluatie) bood de beste fit ($CFI_{DWLS} = .976$, $RMSEA_{DWLS} = .066$). Deze structuur presteerde beter dan concurrerende één-, twee-, drie-, vier- en hogere-orde modellen.
2. Betrouwbaarheid en Discriminante Validiteit: De subschaalbetrouwbaarheid was acceptabel tot goed ($\omega = .75–.88$). De facetten Kritische Evaluatie en Afhankelijk waren empirisch onderscheidbaar (latente $r = -.07$), wat de theoretische oppositie tussen waakzaamheid en uitbesteding ondersteunt. Hoewel de Instrumentele en Dialogische afhankelijkheid sterk gecorreleerd waren ($r = .77$), bevestigden structurele tests dat dit verschillende factoren zijn; het samenvoegen ervan verslechterde de modelfit aanzienlijk ($\Delta CFI = -.135$).
3. Meetinvariantie: De studie stelde scalaire meetinvariantie vast over gender, eerste-generatie status en academische discipline. Dit maakt zinvolle vergelijkingen van latente gemiddelden tussen deze demografische groepen mogelijk, een eerste voor GenAI-afhankelijkheidsinstrumenten.
4. Responsprocessen: Interviews bevestigden dat de beschrijvingen van studenten over AI-gebruik overeenkwamen met de gedragingen die inherent zijn aan alle vijf de facetten bij lage, gemiddelde en hoge scoreurs. De analyse onthulde echter dat afhankelijkheidspatronen fluïde profielen zijn in plaats van vaste typen, en dat "Afhankelijke" afhankelijkheid vaak retrospectief werd beschreven in plaats van als huidig gedrag.
5. Rasch-analyse: Het 7-punts responsschema vertoonde drempelverstoring (threshold disordering), specif specifiek op het niveau "Vind ik niet helemaal eens" (Categorie 3), dat onderbenut was en functioneel niet te onderscheiden was van aangrenzende categorieën. De analyse adviseert het formaat te reduceren tot een 5-puntsschaal.
6. Relaties met Andere Variabelen:
   • Convergent: Strategische afhankelijkheid correleerde positief met AI-geletterdheid ($r = .61$).
   • Discriminant: Strategische en Afhankelijke afhankelijkheid vertoonden de zwakste associatie ($r = .19$).
   • Criterium: Afhankelijkheidstypen differentieerden studenten significant over tien variabelen van het schrijfproces en de uitkomst (bijv. waargenomen kwaliteit, kritisch denken), met grote effectgroottes ($\eta^2 = .166–.329$).

Belangrijkste Bijdragen

• Eerste Theorie-gestuurde Typologie: De GenAI-RTS is het eerste instrument dat GenAI-afhankelijkheid in academisch schrijven operationaliseert op basis van een deductieve, uit theorie afgeleide typologie, waarmee het verder gaat dan inductieve itempools.
• Multi-bron Validatie: De studie levert een gestructureerd validiteitsargument dat bewijs integreert uit inhoud, responsproces, interne structuur en externe relationele bewijsvoering, waarmee een gat in eerdere validatiestudies wordt gedicht.
• Bewijs voor Scalaire Invariantie: Het rapporteert het eerste bewijs van scalaire meetinvariantie voor een GenAI-afhankelijkheidsinstrument over gender, eerste-generatie status en discipline, wat valide onderzoek naar gelijkheid mogelijk maakt.
• Verfijning van Strategische Afhankelijkheid: De data toonden empirisch aan dat Strategische afhankelijkheid het beste gemodelleerd kan worden als twee afzonderlijke facetten (Doelbewust Gebruik en Kritische Evaluatie) in plaats van één enkel construct, wat het theoretische begrip van metacognitieve betrokkenheid bij AI verfijnt.

Betekenis en Claims
Het artikel claimt dat de GenAI-RTS onderzoekers en docenten een psychometrisch gevalideerd instrument biedt om onderscheidende profielen van afhankelijkheid bij bachelorstudenten te identificeren. Door onderscheid te maken tussen productieve (Strategisch, Instrumenteel, Dialogisch) en onproductieve (Afhankelijk) patronen, ondersteunt het instrument het ontwerp van gerichte AI-geletterdheidinterventies. De auteurs positioneren de schaal expliciet als een formatief diagnostisch instrument voor het begrijpen van studentbetrokkenheid en het ondersteunen van leren, in plaats van een middel voor het detecteren van academische fraude.

De studie erkent bescheiden beperkingen, waaronder de afhankelijkheid van zelfrapportagegegevens, het dwarsdoorsnededesign (wat causale claims over ontwikkelingsverandering verhindert) en de noodzaak voor replicatie in onafhankelijke steekproeven. Er wordt ook vermeld dat het instrument niet het onderscheid kan maken tussen strategische terughoudendheid gedreven door leerdoelen en terughoudendheid gedreven door angst voor institutionele consequenties. De auteurs bevelen specifieke revisies aan voor de volgende iteratie van de schaal: het herformuleren van het zwakke item Doelbewust Gebruik en het adopteren van een 5-puntsschaal om problemen met de categoriefunctie op te lossen.