The Agency Gap in AI-Supported Writing: How Reactive and Proactive Agent Designs Shape Multimodal Reasoning

Technisches Resümee: Die Agency-Lücke in der KI-gestützten Schreibkompetenz

Problemstellung
Die Integration von Generativer KI (GenAI) in das akademische Schreiben führt zu einer kritischen Design-Herausforderung: der „Agency-Lücke“ (Handlungsmacht-Lücke). Dieses Konzept beschreibt eine potenzielle Diskrepanz zwischen der Initiative, die ein KI-Agent fordert (z. B. reaktiv vs. proaktiv), und der Fähigkeit eines Lernenden, KI-gestützte Argumentation zu initiieren, zu überwachen und zu evaluieren. Während GenAI-Tools Möglichkeiten zur Scaffolding (Gerüstbildung) bieten, hängt ihr pädagogischer Wert davon ab, wie die Kontrolle geteilt wird. Reaktive Agenten erfordern von den Lernenden hohe Prompting-Fähigkeiten und metakognitives Bewusstsein, was potenziell jene benachteiligt, die über eine geringere GenAI-Literacy verfügen. Im Gegensatz dazu können proaktive Agenten, die sequenzierte Fragen und Feedback bereitstellen, die kognitive Belastung reduzieren, bergen jedoch das Risiko, das Lernen zu stark zu strukturieren und die Agency des Lernenden zu schmälern. Die bestehende Forschung lässt empirische Belege darüber vermissen, wie diese Interaktionsdesigns das epistemische Denken, die Feedback-Aufnahme und die unmittelbare unabhängige Leistung bei multimodalen analytischen Schreibaufgaben beeinflussen.

Methodik
Die Studie verwendete ein zweiphasiges Mixed-Methods-Experimentdesign mit 79 Medizinstudierenden und Pflegekräften. Die Teilnehmenden absolvierten zwei multimodale analytische Schreibaufgaben basierend auf visuellen Darstellungen aus Gesundheitssimulationen (ein Balkendiagramm, ein Kommunikationsnetzwerk und ein Stationsplan).

• Experimentelle Bedingungen: Die Teilnehmenden wurden randomisiert einer von zwei KI-Agenten-Designs zugewiesen:
  • Reaktiver Agent: Reagiert nur auf Aufforderung durch den Lernenden, was voraussetzt, dass der Studierende Unsicherheiten identifiziert, Prompts formuliert und die Untersuchung sequenziert.
  • Proaktiver Agent: Initiiert eine feste Sequenz von Leitfragen und bietet Feedback auf Aufgaben- oder Prozessebene basierend auf Experten-autorisierten Scaffolds, um den Lernenden durch die visuelle Interpretation zu führen, ohne den fertigen Text zu generieren.
• Messgrößen:
  • GenAI-Literacy: Erfasst mittels des validierten 20-Item Generative AI Literacy Assessment Test (GLAT).
  • Schreibleistung: Bewertet über eine ordinale Rubrik, die fünf Dimensionen umfasst: Erkenntnisreichtum (Insightfulness), Integration visueller Daten, Organisation und Kohärenz, linguistische Qualität sowie kritisches Denken.
  • Epistemisches Denken: Analysiert mittels Epistemic Network Analysis (ENA), um die relationale Struktur des Denkens und Engagements (basierend auf ICAP- und Argumentationsframeworks) innerhalb der Mensch-KI-Dialoge abzubilden.
• Analytischer Ansatz: Die Studie nutzte die ordinale logistische Regression, um die unabhängige Schreibleistung (nach Entfernung der KI) basierend auf Literacy und Design vorherzusagen. Eine Mediationsanalyse testete, ob die KI-gestützte Leistung die Beziehung zwischen Literacy und unabhängiger Leistung mediiert. Eine thematische Analyse der Reflexionen der Lernenden lieferte qualitative Einblicke in die Erfahrung der Agency.

Zentrale Ergebnisse

• Epistemisches Denken (RQ1): Die ENA zeigte distinkte relationale Strukturen zwischen den Bedingungen. Proaktive Interaktionen förderten stärkere Verknüpfungen zwischen konzeptionellem Denken, angemessener Evidenzanwendung und konstruktivem Engagement. Im Gegensatz dazu waren reaktive Interaktionen durch stärkere Assoziationen zwischen faktischen Beschreibungen und Off-Task- oder prozeduralen Austauschprozessen gekennzeichnet. Proaktives Scaffolding schien die Planungs- und Monitoring-Funktionen zu externalisieren und die Aufmerksamkeit von Beobachtungen hin zur Synthese zu lenken.
• GenAI-Literacy und Leistung (RQ2): Die GenAI-Literacy sagte die unmittelbare unabhängige Leistung in den Bereichen visuelle Datenintegration, kritisches Denken und den Gesamtwert (Composite Score) nach Entfernung der KI-Unterstützung signifikant voraus. Die Literacy sagte jedoch nicht signifikant die Leistung in den Bereichen Erkenntnisreichtum, Organisation oder linguistische Qualität voraus. Entscheidend war, dass die Interaktion zwischen GenAI-Literacy und Agenten-Design statistisch nicht signifikant war; die Studie fand keine Belege dafür, dass ein Design höhere Scores oder unterschiedliche Literacy-Steigungen im Vergleich zum anderen produzierte.
• Mediationseffekte (RQ3): Die Mediationsanalyse zeigte eine signifikante Gesamtassoziation zwischen GenAI-Literacy und unabhängiger Leistung in der reaktiven Bedingung, jedoch nicht in der proaktiven Bedingung. Die indirekten Effekte waren jedoch in keiner Bedingung statistisch signifikant und die Konfidenzintervalle waren weit. Die Ergebnisse legen nahe, dass, während proaktive Unterstützung die beobachtbaren Unterschiede in der leistungsbasierten Literacy verringern kann, die Studie keinen kompensatorischen kausalen Effekt etabliert oder eine Mediation bestätigt.
• Lernerfahrung (RQ4): Die qualitative Analyse identifizierte drei Design-Heuristiken: (1) Aufrechterhaltung der Autonomie durch kontextuelles und bestätigendes Feedback (reaktiv); (2) Förderung integrativen Denkens durch dialogisches Scaffolding (proaktiv); und (3) Gewährleistung von Equity durch Abstimmung der Initiative auf die wahrgenommene Expertise der Lernenden und die Komplexität der Aufgabe. Lernende schätzten die proaktive Anleitung für die Verknüpfung von Evidenzen, empfanden sie jedoch als redundant bei einfachen Aufgaben oder wenn sie sich kompetent fühlten.

Zentrale Beiträge
Der primäre theoretische Beitrag der Arbeit ist die Konzeptualisierung der „Agency-Lücke“ als eine relationale Diskrepanz zwischen der Initiative des KI-Agenten und der Kapazität des Lernenden, statt als ein individuelles Defizit. Sie positioniert die Verteilung der Initiative als eine Design-basierte Randbedingung, die die Allokation der epistemischen Arbeit gestaltet.

• Prozess vs. Ergebnis: Die Studie zeigt, dass das Interaktionsdesign den Prozess des Denkens (die Netzwerkstruktur des Dialogs) signifikant verändert, selbst wenn direkte Effekte auf die unmittelbaren Ergebnisse (Schreibscores) statistisch nicht signifikant sind.
• Design-Implikationen: Die Ergebnisse legen nahe, dass effektive KI-Schreibunterstützung kontextuelles Feedback, dialogisches Scaffolding und die Kalibrierung der Initiative auf die Bedürfnisse der Lernenden erfordert. Proaktive Designs können die konzeptionelle Integration vertiefen, während reaktive Designs die Kontrolle beim Lernenden bewahren, aber eine höhere Literacy fordern.

Bedeutung und Ansprüche
Die Autoren beanspruchen eine moderate Signifikanz und betonen, dass die „Agency-Lücke“ ein entstehender erklärender Rahmen und keine validierte allgemeine Theorie ist. Die Studie behauptet weder, dass proaktive Agenten reaktive Agenten universell übertreffen, noch dass proaktives Scaffolding eine niedrige Literacy definitiv kompensiert. Stattdessen stützen die Ergebnisse die Hypothese, dass das Interaktionsdesign die epistemische Arbeit des Lernens neu organisiert. Die praktische Implikation ist, dass pädagogische KI-Agenten anpassbare Ebenen der Initiative bieten sollten, die es Lernenden ermöglichen, Anleitung anzufordern oder das Scaffolding zu reduzieren, sobald sie Kompetenz zeigen. Die Autoren mahnen zur Vorsicht und weisen darauf hin, dass diese Ergebnisse spezifisch für kurzfristige, multimodale Evidenz-Synthese-Aufgaben sind, und fordern zukünftige Forschung mit größeren Stichproben, direkten Messungen der Agency und longitudinalen Bewertungen, um die Beständigkeit dieser Effekte zu testen.