FORGE: A Framework for Orchestrated Role-based Generation in Education
Dieses Paper führt FORGE ein, ein Design Science Framework, das die Zusammenarbeit zwischen Lehrenden und KI im Hochschulbereich durch vier Rollen und sieben Dimensionen strukturiert und anhand von Fallstudien demonstriert, wie dessen Leitlinien das improvisierte Prompting in einen übertragbaren, rollenbasierten Workflow zur Erstellung von Lehrmaterialien transformieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den Klassenzimmern der Hochschulbildung vollzieht sich eine stille Revolution, angetrieben von einer neuen Art von Computerprogramm, das als Large Language Model bekannt ist. Diese Systeme können riesige Mengen an Text lesen und in menschlicher Sprache schreiben, was viele zu der Frage führt, wie sie die Art und Weise verändern könnten, wie Lehrkräfte ihre Kurse vorbereiten. Jahrelang konzentrierte sich die meiste Forschung darauf, wie Studierende diese Werkzeuge nutzen, wobei oft die Sorge um die akademische Integrität oder die Erkennung von Plagiaten im Vordergrund stand. Doch hinter den Kulissen findet ein paralleler und ebenso bedeutender Wandel statt: Lehrende beginnen, dieselben Werkzeuge zu nutzen, um beim Schreiben von Prüfungen, beim Entwerfen von Projekten und beim Erstellen von Unterrichtsplänen zu helfen. Die Herausforderung besteht darin, dass ohne eine gemeinsame Methode für diese Arbeit jeder Lehrer im Grunde seine eigene Art erfindet, den Computer um Hilfe zu bitten. Einige fordern vielleicht einen vollständigen Entwurf, andere nur einen einzelnen Satz, und nur wenige verfügen über ein klares System, um zu entscheiden, wann sie der Maschine vertrauen und wann sie mit ihrem eigenen Expertenurteil eingreifen müssen.
Diese Unsicherheit ist deshalb von Bedeutung, weil die Erstellung guter Lehrmaterialien eine komplexe Aufgabe ist. Es erfordert nicht nur das Generieren von Text, sondern auch sicherzustellen, dass eine Frage das richtige Konzept prüft, dass der Schwierigkeitsgrad genau richtig ist und dass der Inhalt mit dem übereinstimmt, was tatsächlich im Unterricht gelehrt wurde. Wenn ein Lehrer den Computer einfach eine Prüfung schreiben lässt und das erste Ergebnis akzeptiert, könnte das Material auf subtile Weise fehlerhaft sein, was Studierende ausnutzen könnten oder was das Ziel dessen, was der Lehrer messen wollte, verfehlen könnte. Die Kernfrage ist daher nicht, ob Computer diese Materialien schreiben können, sondern wie Mensch und Maschine effektiv zusammenarbeiten können, um etwas zu produzieren, das sowohl qualitativ hochwertig als auch vertrauenswürdig ist.
Um dies zu beantworten, entwickelten die Forscher Emmanuel Gonzalez und Paul T. Grogan an der Arizona State University eine neue Arbeitsweise namens FORGE. Sie schlugen nicht nur eine Theorie vor, sondern testeten sie in einem echten Bachelor-Ingenieurkurs. Sie beobachteten, wie ein Dozent ein Computerprogramm nutzte, um zwei sehr unterschiedliche Arten von Aufgaben zu erstellen: eine standardmäßige Multiple-Choice-Prüfung und ein komplexes, offenes Abschlussprojekt. Indem sie jede einzelne Anweisung aufzeichneten, die der Lehrer dem Computer gab, und wie der Computer darauf reagierte, kartierten sie eine klare Regel für die Zusammenarbeit. Ihre Arbeit legt nahe, dass erfolgreiches Mensch-Computer-Teamwork in der Bildung davon abhängt, dem Computer spezifische Rollen zuzuweisen, zu wissen, wann man nach Ideen fragt im Gegensatz dazu, wann man Befehle gibt, und zu verstehen, dass der Mensch der letzte Richter über die Qualität bleiben muss.
Die Forscher fanden heraus, dass die Art und Weise, wie ein Lehrer mit dem Computer interagiert, stark davon abhängt, was er zu erstellen versucht. Wenn das Ziel ein konvergentes Material ist, wie etwa eine Prüfung, bei der die Antworten feststehen und das Format im Voraus bekannt ist, gleicht der Prozess einer langen, detaillierten Verfeinerung. In der Studie verbrachte der Instruktor fast seine gesamte Zeit – etwa vierundneunzig Prozent der aktiven Arbeit – damit, die Entwürfe des Computers zu prüfen und zu korrigieren, anstatt nach neuen Inhalten zu fragen. Der Computer generierte eine Frage, und der Lehrer bemerkte einen subtilen Fehler, wie etwa ein Code-Fragment, das versehentlich die Antwort vorwegnahm, und bat den Computer, es erneut zu versuchen. Dieser Zyklus aus Generierung und Korrektur setzte sich fort, bis das Material perfekt war. Der Computer fungierte als schneller Schreiber, aber der Mensch agierte als strenger Editor, der sicherstellte, dass jedes Detail den spezifischen Standards des Kurses entsprach.
Wenn der Lehrer hingegen an einem divergenten Material arbeitete, wie etwa der Spezifikation für das Abschlussprojekt, bei der die endgültige Form noch nicht bekannt war, war der Prozess ein anderer. Hier verbrachten der Computer und der Lehrer mehr Zeit damit, herauszufinden, was das Projekt überhaupt sein sollte. Der Lehrer fragte den Computer nach Optionen und Ideen und führte ein Hin und Her, um zu entscheiden, welche Themen einzubeziehen sind und wie die Aufgabe zu strukturieren ist. In diesem Szenario fungierte der Computer eher wie ein Brainstorming-Partner, der Vorschläge unterbreitete, die der Lehrer annehmen, ablehnen oder modifizieren konnte. Der Lehrer verbrachte einen größeren Teil seiner Zeit, etwa sechsundzwanzig Prozent der Prompts, damit offene Fragen zu stellen, um Möglichkeiten zu erkunden, anstatt nur Fehler zu korrigieren. Dies zeigte, dass die Art des Materials den Rhythmus der Arbeit diktiert: Manche Aufgaben benötigen eine stetige Hand, um eine bekannte Form zu polieren, während andere einen flexiblen Geist brauchen, um eine neue zu entdecken.
Eine zentrale Erkenntung der Studie ist, dass der Computer nicht darauf vertraut werden kann, die letzte Entscheidung darüber zu treffen, was pädagogisch sinnvoll ist. Die Forscher identifizierten vier verschiedene Rollen, die in dieser Zusammenarbeit eingenommen werden können: ein Leser (Reader), der Informationen sammelt, ein Schreiber (Writer), der Inhalte erstellt, ein Kritiker (Critic), der Fehler prüft, und ein Orchestrator, der die endgültigen Entscheidungen trifft. In beiden Fällen nahm der menschliche Instruktor die Rolle des Orchestrators ein. Sie stellten fest, dass der Computer zwar Aufgaben wie die Formatierung von Text oder die Rechtschreibprüfung bewältigen konnte, aber konsistent tiefere Probleme übersah. Beispielsweise schrieb der Computer in einem Fall eine Frage über ein Computerprogramm, aber der enthaltene Code enthielt die Antwort direkt vor den Augen des Studenten. Der Computer bemerkte diesen Fehler nicht, da ihm der Kontext fehlte, was die Frage eigentlich testen sollte. Nur der menschliche Instruktor, der die Lernziele kannte, konnte das Problem erkennen und den Computer anweisen, es zu beheben.
Die Studie zeigte auch, dass die Art und Weise, wie ein Lehrer mit dem Computer spricht, ebenso wichtig ist wie das, was er fragt. Die Forscher unterschieden zwischen zwei Interaktionsstilen: konversationell und direktiv. Wenn der Lehrer noch entschied, wie die Aufgabe aussehen sollte, nutzte er einen konversationellen Stil und fragte den Computer nach Optionen und Kompromissen. Sobald der Plan feststand, wechselte er zu einem direktiven Stil und gab klare Befehle, um spezifische Probleme zu lösen. Die effektivsten Lehrer in der Studie wussten, wann sie zwischen diesen Modi wechseln mussten. Sie hielten nicht an einer Art der Kommunikation fest, sondern passten ihren Ansatz an, je nachdem, ob sie neue Ideen erkundeten oder einen bestehenden Entwurf verfeinerten. Diese Flexibilität verhinderte, dass die Arbeit ins Stocken geriet oder in die falsche Richtung lief.
Vielleicht die wichtigste Lektion aus dieser Arbeit ist, dass der Mensch der Integrator des Systems bleiben muss. Der Computer kann Inhalte mit unglaublicher Geschwindigkeit generieren, aber er kann den breiteren Zweck des Kurses oder die spezifischen Bedürfnisse der Studierenden nicht verstehen. Die Forscher beobachteten, dass die Ergebnisse oft fehlerhaft waren, wenn der Lehrer einen Schritt zurücktrat und den Computer den gesamten Prozess durchführen ließ. Aber wenn der Lehrer im Prozess blieb, die Arbeit ständig überprüfte und den Computer mit spezifischen Anweisungen steuerte, waren die fertigen Materialien von hoher Qualität. Die Studie legt nahe, dass der beste Einsatz dieser Werkzeuge nicht darin besteht, den Lehrer zu ersetzen, sondern darin, als leistungsstarker Assistent zu fungieren, der die schwere Arbeit des Entwerfens übernimmt, wodurch der Lehrer frei wird, sich auf das Urteilsvermögen und die Expertise zu konzentrieren, die nur ein Mensch bieten kann.
Die Forscher testeten diese Ideen an zwei spezifischen Aufgaben in einem einzigen Kurs, sodass die Ergebnisse auf einem begrenzten Datensatz basieren. Sie behaupten nicht, dass diese Methode für jeden Lehrer oder jedes Fach funktioniert, aber sie zeigen, dass ein strukturierter Ansatz möglich ist. Durch die Definition klarer Rollen und das Wissen darüber, wann man Fragen stellt im Gegensatz dazu, wann man Befehle gibt, können Lehrer den chaotischen Prozess der Nutzung künstlicher Intelligenz in einen zuverlässigen Arbeitsablauf verwandeln. Die Studie kommt zu dem Schluss, dass Lehrende mit dem richtigen Rahmenwerk ihre Arbeitsweise mit diesen Werkzeugen beschreiben, das, was funktioniert, beibehalten und diese Lektionen in die nächste Aufgabe tragen können. Dies bewegt den Einsatz künstlicher Intelligenz in der Bildung von einer Serie glücklicher Vermutungen hin zu einer geübten, wiederholbaren Fertigkeit, die die Qualität der Lehrmaterialien für alle verbessern kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.