Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS)
Diese Studie präsentiert die Entwicklung und Multi-Quellen-Validierung der 20-Item-Skala zu Typen der Abhängigkeit von generativer KI (Generative AI Reliance Types Scale, GenAI-RTS), eines psychometrisch fundierten Instruments, das vier distinkte Abhängigkeitsprofile unter Studierenden identifiziert und Messinvarianz über verschiedene demografische Gruppen von Studierenden hinweg nachweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Klassenzimmer als eine riesige, geschäftige Werkstatt vor, in der Schüler komplexe Strukturen aus Worten bauen. Jahrzehntelang waren die einzigen verfügbaren Werkzeuge Bleistifte, Radiergummis und das eigene Gehirn der Schüler. Dann kam ein neuer, unglaublich schneller und gesprächiger Roboter-Assistent. Dieser Roboter, bekannt als Generative KI (oder GenAI), kann Sätze schreiben, die Grammatik korrigieren und sogar im Handumdrehen Ideen brainstormen. Plötzlich nutzt ihn fast jeder in der Werkstatt.
Die große Frage war früher einfach: „Benutzt du den Roboter?“ Aber da jetzt fast jeder ihn benutzt, ist diese Frage wie die Frage: „Atmest du gerade?“ Sie sagt uns nicht viel darüber, wie ein Schüler tatsächlich lernt. Das wahre Rätsel ist: Wie nutzen sie ihn? Sind sie die Meisterarchitekten, die den Roboter nutzen, um Ideen zu testen und ihre Blaupausen zu verfeinern? Oder sind sie die Schlafwandler, die den Roboter das ganze Haus bauen lassen, während sie nur zusehen? In dieser Arbeit geht es darum, ein neues „Lineal“ zu entwickeln, um genau zu messen, wie sehr sich Schüler auf diesen digitalen Helfer stützen, denn die Art und Weise, wie sie ihn nutzen, entscheidet darüber, ob sie tatsächlich lernen oder nur die Aufgabe erledigen.
Das neue Lineal für Roboter-Helfer
Treffen Sie das GenAI-RTS. Betrachten Sie dies als einen speziellen 20-Fragen-Quiz, das Forscher entwickelt haben, um eine Momentaufnahme davon zu machen, wie sehr sich Studenten beim Schreiben von Essays auf KI verlassen. Vor dieser Studie hatten wir keine gute Möglichkeit, den Unterschied zwischen einem Studenten, der KI als kluges Werkzeug nutzt, und einem, der sie als Krücke verwendet, festzustellen. Die Forscher an der University of Maryland und der University at Buffalo wollten ein Lineal bauen, das vier verschiedene „Persönlichkeiten“ der KI-Nutzung messen kann:
- Der Stratege: Der Student, der alles sorgfältig plant, die Arbeit des Roboters überprüft und ihn nur dann einsetzt, wenn es in seinen Plan passt.
- Der Werkzeugnutzer: Der Student, der den Roboter für schnelle, oberflächliche Aufgaben nutzt, wie etwa das Korrigieren eines Tippfehlers oder das Umformulieren eines Satzes, aber das schwere Denken selbst erledigt.
- Der Abhängige: Der Student, der die gesamte Aufgabe an den Roboter abgibt und alles akzeptiert, was er sagt, ohne zu fragen: „Ist das wahr?“
- Der Konversationspartner: Der Student, der den Roboter wie einen Debattenpartner behandelt, mit dem er Ideen hin und her spielt, um gemeinsam etwas Neues aufzubauen.
Die große Detektivarbeit
Um dieses Lineal zu bauen, haben die Forscher nicht einfach geraten. Sie begannen mit einer Theorie, so wie ein Architekt eine Blaupause zeichnet, bevor er den ersten Stein legt. Sie schrieben 25 Fragen basierend darauf, wie Menschen lernen und wie wir denken, und baten 382 College-Studenten, die Umfrage auszufüllen. Zudem führten sie Tiefengespräche mit 14 Studenten, um zu sehen, ob die Fragen für echte Menschen Sinn ergeben.
Hier ist das, was sie fanden, und es ist etwas komplizierter als eine einfache „gut gegen schlecht“-Liste:
1. Der „Stratege“ ist eigentlich zwei verschiedene Dinge.
Die Forscher dachten, die „strategische“ Abhängigkeit sei eine einzige große Kategorie. Aber die Daten zeigten, dass es sich tatsächlich um zwei separate Fähigkeiten handelt, die nicht immer zusammengehen. Einige Studenten sind großartig in der kritischen Bewertung (prüfen, ob der Roboter lügt oder Fehler macht), sind aber nicht zwangsläufig gut in der gezielten Nutzung (im Voraus planen, den Roboter nur dann einzusetzen, wenn es nötig ist). Es ist, als hätte man einen großartigen Sicherheitsmann, aber einen schlechten Verkehrsplaner. Das beste Modell für das Lineal bestand letztlich aus fünf Abschnitten statt der ursprünglichen vier, wodurch diese beiden Fähigkeiten getrennt wurden.
2. Der „Werkzeugnutzer“ und der „Konversationspartner“ sind verschieden, auch wenn sie ähnlich aussehen.
Diese beiden Gruppen sprechen beide viel mit dem Roboter. Aber die Studie bewies, dass sie unterschiedliche Dinge tun. Der Werkzeugnutzer versucht nur, einen Satz zu polieren, während der Konversationspartner den Roboter nutzt, um neue Ideen zu erkunden. Obwohl sie oft in beiden Bereichen hohe Werte erzielen, kann das Lineal sie unterscheiden, und sie produzieren tatsächlich unterschiedliche Ergebnisse in ihrem Schreiben.
3. Die Gruppe der „Abhängigen“ ist knifflig.
Die Studie fand heraus, dass Studenten, die zugaben, „abhängig“ zu sein (den Roboter die ganze Arbeit machen zu lassen), oft darüber sprachen, dass dies etwas sei, das sie früher getan hätten, nicht etwas, das sie jetzt tun. Dies deutet darauf hin, dass Studenten bei Umfragen möglicherweise ihre wahren Gewohnheiten verbergen, weil sie sich schuldig fühlen. Das Lineal könnte daher unterschätzen, wie viele Studenten sich tatsächlich zu stark auf den Roboter stützen.
4. Das Lineal funktioniert für alle (größtenteils).
Eine der spannendsten Erkenntnisse ist, dass dieses Lineal für verschiedene Gruppen von Menschen auf die gleiche Weise funktioniert. Ob ein Student ein Mann oder ein Weibchen ist, ein Erstakademiker oder nicht, oder ob er Naturwissenschaften (STEM) oder Kunst studiert – die Fragen bedeuten für sie dasselbe. Das ist ein großer Deal, denn es bedeutet, dass wir die Art und Weise, wie verschiedene Gruppen von Studenten KI nutzen, fair miteinander vergleichen können, ohne dass das Lineal voreingenommen ist.
5. Das Lineal braucht einen kleinen Schliff.
Die Forscher bemerkten, dass die 7-stufige Skala der Umfrage (wobei 1 „Stimme gar nicht zu“ und 7 „Stimme voll zu“ bedeutet) etwas verwirrend war. Studenten übersprangen die mittlere Option („Stimme eher nicht zu“) ständig und sprangen direkt zu „Stimme nicht zu“. Es ist, als hätte man ein Thermometer mit zu vielen winzigen Linien in der Mitte, die niemand lesen kann. Die Studie legt nahe, dass eine 5-stufige Skala viel klarer und einfacher für die Studenten zu verwenden wäre.
Was das für die Zukunft bedeutet
Dieses Papier sagt uns nicht, dass wir Roboter verbieten oder alle zwingen sollen, von Hand zu schreiben. Stattdessen gibt es Lehrern und Forschern einen besseren Weg, die Geschichte hinter der KI-Nutzung zu verstehen.
Wenn ein Student ein „Stratege“ ist, lernt er wahrscheinlich viel, weil er die Kontrolle hat. Wenn er „abhängig“ ist, muss er vielleicht lernen, wie er wieder für sich selbst denkt. Die wichtigste Erkenntnis ist, dass es mehr darauf ankommt, wie man den Roboter nutzt, als ob man ihn nutzt.
Die Forscher betonen vorsichtig, dass dieses Lineal dazu dient, das Lernen der Studenten zu unterstützen, und nicht dazu, Betrüger zu überführen. Es ist ein Werkzeug, um zu erkennen, wer zusätzliches Coaching darüber benötigt, wie man ein kluger Nutzer von KI ist, anstatt ein Werkzeug, um sie zu bestrafen. Indem sie diese verschiedenen „Abhängigkeitstypen“ verstehen, können Schulen Studenten helfen, die Meisterarchitekten ihres eigenen Schreibens zu werden, indem sie den Roboter als hilfreichen Assistenten und nicht als Ersatz für ihr eigenes Gehirn nutzen.
Kurz gesagt: Die Studie hat eine neue, genauere Karte der KI-Landschaft erstellt. Sie zeigt uns, dass der Roboter zwar überall ist, der Weg, den Studenten durch diese Welt gehen, jedoch massiv variiert – und nun haben wir endlich einen Kompass, der ihnen hilft, den besten Pfad zu finden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.