Explainable Dual-view Workflow Discovery for GenAI-supported Learning in Higher Education
Diese Studie stellt ein erklärbares Dual-View-Workflow-Discovery-Framework vor, das Logdaten von 278 Studierenden analysiert, um aufzuzeigen, dass effektives durch GenAI unterstütztes Lernen nicht bloß durch die Chat-Frequenz, sondern durch die Integration von KI-Feedback in das Schreiben, die Überarbeitung und die ressourcenübergreifende Regulation gekennzeichnet ist.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Klassenzimmerlandschaft ist eine neue Art von Tutor eingetroffen, der in der Lage ist, Fragen zu beantworten, Absätze zu entwerfen und komplexe Texte in Sekundenschnelle zusammenzufassen. Diese Technologie, bekannt als generative künstliche Intelligenz, wird rasant zu einem Standardwerkzeug für Universitätsstudierende. Es bleibt jedoch eine einfache Frage unbeantwortet: Hilft die bloße Nutzung dieses Werkzeugs einem Studenten beim Lernen oder erzeugt sie lediglich die Illusion von Aktivität? Seit Jahrzehnten verstehen Forscher im Bereich der Lernanalytik, dass die Geschichte des Lernens nicht in einer Abschlussnote oder einer einfachen Zählung der Häufigkeit, mit der ein Tool geöffnet wurde, zu finden ist. Stattdessen liegt die wahre Geschichte in der Abfolge der Handlungen – dem Rhythmus des Lesens, Denkens, Schreibens und Überarbeitens im Laufe der Zeit. Genau wie ein Arzt auf den Blutfluss statt auf eine einzelne Momentaufnahme blickt, um die Gesundheit zu verstehen, müssen Pädagogen sehen, wie sich ein Student durch eine Aufgabe bewegt, um zu verstehen, wie er tatsächlich lernt.
Ein Team von Forschern der University of Florida und der University of Miami setzte sich zum Ziel, ein spezifisches Rätsel in dieser Landschaft zu lösen. Sie wollten wissen, wie Studenten ihre Arbeit tatsächlich organisieren, wenn sie generative KI nutzen, um komplexe Informationsprobleme zu lösen. Die Studie konzentrierte sich auf 278 Studenten, die in einem Kurs eingeschrieben waren, in dem sie ein Thema recherchieren und einen Vorschlag schreiben mussten. Die Forscher betrachteten nicht nur, wie oft ein Student eine Frage an die KI stellte. Stattdessen erstellten sie eine detaillierte Karte jeder Handlung, die die Studenten vollzogen, vom Lesen eines Quelldokuments bis hin zum Tippen eines Satzes, dem Markieren einer Textstelle oder dem Chatten mit der KI. Sie behandelten diese Handlungen als eine Zeitlinie und suchten nach Mustern, die sich bei verschiedenen Studenten wiederholten.
Die Forscher entdeckten, dass es nicht ausreichte, nur die Zeitlinie der Handlungen zu betrachten. Ein Student könnte viel Zeit mit Lesen und Fragen verbringen, während ein anderer die gleiche Zeit mit Schreiben und Überarbeiten verbringt. Um das vollständige Bild zu erhalten, kombinierten die Teams zwei verschiedene Arten der Datensichtung. Die erste Sichtweise verfolgte die Reihenfolge der Ereignisse, vergleichbar mit einem Film der Arbeit eines Studenten. Die zweite Sichtweise betrachtete die allgemeinen Gewohnheiten des Studenten, wie etwa wie viel er nach Erhalt von KI-Feedback schrieb oder wie oft er seine Arbeit überarbeitete. Durch die Zusammenführung dieser beiden Perspektiven konnten die Forscher unterschiedliche Arten von Arbeitsgewohnheiten identifizieren, die bei der Betrachtung einer einzelnen Sichtweise nicht sichtbar gewesen wären.
Die Analyse ergab zwei sehr unterschiedliche Wege, wie Studenten mit Hilfe der KI an ihre Arbeit herangingen. Die erste Gruppe, bestehend aus 145 Studenten, folgte einem Pfad der Exploration. Diese Studenten verbrachten eine beträchtliche Zeit damit, Materialien zu lesen, die Plattform zu navigieren und mit der KI zu chatten. Sie stellten viele Fragen und sammelten eine Menge Informationen. Die Daten zeigten jedoch, dass sie Schwierigkeiten hatten, diese Informationen in schriftliche Arbeit zu überführen. Ihr schriftliches Wachstum war gering, und sie nahmen die Vorschläge der KI nicht in ihre Entwürfe auf. Sie waren aktiv, aber ihre Aktivität blieb von dem Endprodukt getrennt.
Die zweite Gruppe, bestehend aus 133 Studenten, folgte einem Pfad der Integration. Diese Studenten nutzten die KI ebenfalls, aber ihr Arbeitsablauf zeigte ein anderes Muster. Sie nutzten die KI, um beim Schreiben, Überarbeiten und Verbessern ihrer Argumente zu helfen. Wenn sie eine Antwort von der KI erhielten, lasen sie diese nicht nur; sie integrierten sie in ihren Text, löschten schwache Sätze und bauten stärkere Behauptungen auf. Die Daten zeigten, dass diese Gruppe eine wesentlich höhere Rate an schriftlichem Wachstum und Revision aufwies. Sie behandelten die KI als Partner im Schreibprozess statt nur als Informationsquelle.
Die wichtigste Erkenntnis der Studie ist, dass die Häufigkeit der Nutzung der KI nicht bestimmt, wie gut ein Student lernt. Ein Student, der viel häufiger mit der KI chattet, lernt nicht zwangsläufig mehr als ein Student, der seltener chattet. Der entscheidende Unterschied ist das, was nach dem Chat passiert. Lernen findet statt, wenn das Feedback der KI in den Schreibprozess absorbiert wird. Die Forscher fanden heraus, dass die Studenten, die die KI erfolgreich in ihr Schreiben integrierten, einen deutlichen Arbeitsablauf zeigten, der auf schriftliches Wachstum und Revision fokussiert war, während die explorative Gruppe ein anderes Muster mit hoher Bindung an das Lesen und Chatten, aber geringer Absorption aufwies. Bemerkenswerterweise deuteten die Daten darauf hin, dass die explorative Gruppe tatsächlich eine etwas höhere mittlere Punktzahl im Vorschlag erzielte, was darauf hindeutet, dass hohe Punktzahlen aus unterschiedlichen Arbeitsstrategien entstehen können und die Beziehung zwischen dem Typ des Arbeitsablaufs und der Endnote komplex ist.
Diese Entdeckung stellt die verbreitete Annahme infrage, dass mehr Interaktion mit einem Werkzeug gleich besseres Lernen bedeutet. Die Studie legt nahe, dass der Bildungswert generativer KI erst entsteht, wenn sie Teil eines regulierten Zyklus aus der Nutzung von Belegen, der Interpretation von Feedback und dem Schreiben wird. Für Studenten, die in der Explorationsphase feststecken, wird es nicht helfen, sie lediglich dazu zu ermutigen, die KI häufiger zu nutzen. Stattdessen benötigen sie Unterstützung, die ihnen hilft, ihre Recherche und Fragen in schriftliche Argumente umzuwandeln. Für Studenten, die das Werkzeug bereits integrieren, sollte sich der Fokus darauf richten, sicherzustellen, dass sie die Qualität der KI-Vorschläge bewerten und ihre eigenen Argumente verfeinern.
Die Forscher verwendeten eine Methode, die es ermöglichte, diese Muster klar zu erkennen, ohne sich auf komplexe mathematische Modelle zu verlassen, die schwer zu interpretieren sind. Sie konzentrierten sich auf die tatsächlichen Verhaltensweisen, die das System aufzeichnete, wie etwa die Rate der Schreibhandlungen, das Volumen der produzierten Arbeit und die Häufigkeit der Revision. Sie fanden heraus, dass die wichtigsten Faktoren für einen erfolgreichen Vorschlag die Rate der Schreibhandlungen, das Volumen der geleisteten Arbeit und die Häufigkeit der Revision waren. Diese Faktoren waren wichtiger als der spezifische Inhalt des Chats oder die Anzahl der Male, mit denen ein Student auf einen Button klickte.
Diese Studie bietet eine neue Möglichkeit für Pädagogen zu verstehen, wie Studenten mit KI lernen. Sie geht über einfache Metriken wie die „Anzahl der Chats“ hinaus und betrachtet die Qualität der Interaktion. Die Ergebnisse legen nahe, dass effektives Lehren mit KI erfordert, den Studenten zu helfen, die Lücke zwischen der Informationsbeschaffung und der Produktion von Texten zu schließen. Es reicht nicht aus, das Werkzeug zu besitzen; Studenten müssen lernen, die Ausgabe des Werkzeugs in ihr eigenes Denken und Schreiben einzuflechten. Durch das Verständnis dieser unterschiedlichen Arbeitsablaufmuster können Pädagogen bessere Unterstützungssysteme entwickeln, die Studenten von passiver Exploration zu aktivem, integriertem Lernen führen. Die Studie schließt mit dem Schluss, dass die Zukunft der KI in der Bildung nicht von der Technologie selbst abhängt, sondern davon, wie gut Studenten in der Lage sind, deren Feedback in ihr eigenes Wachstum zu absorbieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.