The Agency Gap in AI-Supported Writing: How Reactive and Proactive Agent Designs Shape Multimodal Reasoning

Technische Samenvatting: De Agency Gap in AI-ondersteund Schrijven

Probleemstelling
De integratie van Generatieve AI (GenAI) in academisch schrijven introduceert een kritische ontwerpuitdaging: de "agency gap" (de kloof in handelingsbekwaamheid). Dit concept beschrijft een potentiële mismatch tussen de initiatiefname die door een AI-agent wordt gevraagd (bijv. reactief versus proactief) en de capaciteit van een lerende om AI-ondersteunde redenering te initiëren, te monitoren en te evalueren. Ho와 GenAI-tools kansen bieden voor scaffolding (ondersteuning), hangt hun educatieve waarde af van hoe controle wordt gedeeld. Reactieve agenten vereisen dat lerenden beschikken over hoge prompting-vaardigheden en metacognitief bewustzijn, wat potentieel nadelig is voor hen met een lagere GenAI-geletterdheid. Daarentegen kunnen proactieve agenten die een opeenvolging van vragen en feedback bieden, de cognitieve belasting verminderen, maar lopen zij het risico het leerproces te veel te structureren en de agency van de lerende te verminderen. Bestaand onderzoek mist empirisch bewijs over hoe deze interactieontwerpen de epistemische redenering, de opname van feedback en de directe onafhankelijke prestaties bij multimodale analytische schrijftaken beïnvloeden.

Methodologie
De studie maakte gebruik van een tweefasig, mixed-method experimenteel ontwerp met 79 medische en verpleegkundige studenten. Deelnemers voltooiden twee multimodale analytische schrijftaken gebaseerd op visualisaties van gezondheidszorgsimulaties (een staafdiagram, een communicatienetwerk en een zaalkaart).

• Experimentele Condities: Deelnemers werden willekeurig toegewezen aan een van de twee AI-agentontwerpen:
  • Reactieve Agent: Reageert alleen wanneer de lerende daarom vraagt, waarbij van de student wordt verwacht dat deze onzekerheden identificeert, prompts formuleert en de volgorde van de ondervraging bepaalt.
  • Proactieve Agent: Initieert een vaste sequentie van sturende vragen en biedt feedback op taak- of procesniveau op basis van door experts ontwikkelde scaffolds, waarbij de leerder door de visuele interpretatie wordt geleid zonder de uiteindelijke tekst te genereren.
• Metingen:
  • GenAI-geletterdheid: Beoordeeld met de gevalideerde 20-items Generative AI Literacy Assessment Test (GLAT).
  • Schrijfprestaties: Geëvalueerd via een ordinale rubriek die vijf dimensies beslaat: Inzichtelijkheid, Integratie van Visuele Data, Organisatie en Coherentie, Linguïstische Kwaliteit en Kritisch Denken.
  • Epistemische Redenering: Geanalyseerd met behulp van Epistemic Network Analysis (ENA) om de relationele structuur van redenering en betrokkenheid (gebaseerd op ICAP- en argumentatiekaders) binnen mens-AI-dialogen in kaart te brengen.
• Analytische Aanpak: De studie maakte gebruik van ordinale logistische regressie om onafhankelijke schrijfprestaties (na verwijdering van de AI) te voorspellen op basis van geletterdheid en ontwerp. Een mediatie-analyse testte of de AI-ondersteunde prestaties de relatie tussen geletterdheid en onafhankelijke prestaties medieerden. Thematische analyse van reflecties van lerenden leverde kwalitatieve inzichten op over de ervaring van agency.

Belangrijkste Resultaten

• Epistemische Redenering (RQ1): ENA onthulde duidelijke relationele structuren tussen de condities. Proactieve interacties bevorderden sterkere verbanden tussen conceptuele redenering, adequate toepassing van bewijsmateriaal en constructieve betrokkenheid. In contrast hiermee werden reactieve interacties gekenmerkt door sterkere associaties tussen feitelijke beschrijvingen en off-task of procedurele uitwisselingen. Proactieve scaffolding leek planning- en monitoringsfuncties te externaliseren, waardoor de aandacht werd verlegd van observaties naar synthese.
• GenAI-geletterdheid en Prestaties (RQ2): GenAI-geletterdheid voorspelde significant de directe onafhankelijke prestatie in Visuele Dataintegratie, Kritisch Denken en de algehele samengestelde score na verwijdering van de AI-ondersteuning. Echter, geletterdheid voorspelde niet significant de prestaties in Inzichtelijkheid, Organisatie of Linguïstische Kwaliteit. Cruciaal was dat de interactie tussen GenAI-geletterdheid en agentontwerp niet statistisch significant was; de studie vond geen bewijs dat het ene ontwerp hogere scores of andere geletterdheidscurves produceerde dan het andere.
• Mediatie-effecten (RQ3): Mediatie-analyse toonde een significante totale associatie tussen GenAI-geletterdheid en onafhankelijke prestaties in de reactieve conditie, maar niet in de proactieve conditie. Echter, indirecte effecten waren in beide condities niet statistisch significant, en de betrouwbaarheidsintervallen waren breed. De resultaten suggereren dat hoewel proactieve ondersteuning de zichtbare verschillen in geletterdheid-gebaseerde prestaties kan verminderen, de studie geen compensatoire causale effectiviteit vaststelt of mediatie bevestigt.
• Ervaring van de Lerende (RQ4): Kwalitatieve analyse identificeerde drie ontwerpheuristieken: (1) het in stand houden van autonomie door contextuele en bevestigende feedback (reactief); (2) het bevorderen van integratieve redenering door dialogische scaffolding (proactief); en (3) het waarborgen van gelijkheid door initiatief af te stemmen op de waargenomen expertise van de lerende en de taakcomplexiteit. Lerenden waardeerden proactieve begeleiding bij het verbinden van bewijsmateriaal, maar vonden het redundant voor eenvoudige taken of wanneer zij zich competent voelden.

Belangrijkste Bijdragen
De primaire theoretische bijdrage van het artikel is de conceptualisering van de "agency gap" als een relationele mismatch tussen de initiatiefname van de AI-agent en de capaciteit van de lerende, in plaats van een individueel tekort. Het positioneert de distributie van initiatief als een ontwerp-niveau randvoorwaarde die de allocatie van epistemische arbeid vormgeeft.

• Proces versus Uitkomst: De studie demonstreert dat interactieontwerp de procedure van redenering (de netwerkstructuur van de dialoog) significant verandert, zelfs wanneer directe effecten op de uitkomsten (schrijfscores) niet statistisch significant zijn.
• Ontwerpimplicaties: De bevindingen suggereren dat effectieve AI-schrijfondersteuning contextuele feedback, dialogische scaffolding en de kalibratie van initiatief vereist. Proactieve ontwerpen kunnen conceptuele integratie verdiepen, terwijl reactieve ontwerpen de controle van de lerende behouden maar hogere geletterdheid eisen.

Significantie en Claims
De auteurs claimen een bescheiden significantie en benadrukken dat de "agency gap" een opkomend verklarend kader is in plaats van een gevalideerde algemene theorie. De studie beweert niet dat proactieve agenten universeel beter presteren dan reactieve agenten, noch stelt zij dat proactieve scaffolding de lage geletterdheid definitief compenseert. In plaats daarvan ondersteunen de bevindingen de hypothese dat interactieontwerp de epistemische arbeid van het leren reorganiseert. De praktische implicatie is dat educatieve AI-agenten aanpasbare niveaus van initiatief moeten bieden, waardoor lerenden begeleiding kunnen aanvragen of scaffolding kunnen verminderen naarmate zij competentie tonen. De auteurs waarschuwen dat deze resultaten specifief zijn voor kortetermijn, multimodale evidentie-synthesetaken en roepen op tot toekomstig onderzoek met grotere steekproeven, directe metingen van agency en longitudinale beoordelingen om de duurzaamheid van deze effecten te testen.