PromptDecipher: Supporting AI Tutor Authoring Through Editable Simulated Interactions
Um die Lücke zu schließen, dass Lehrkräfte KI-Tutoring-Bots vor dem Einsatz selten testen, stellt diese Arbeit PromptDecipher vor, ein System, das die Erstellung von Prompts durch die direkte Korrektur unerwünschter Bot-Antworten in einer Live-Vorschau vereinfacht, wodurch gezielte Prompt-Neuformulierungen automatisch generiert und durch eine QA-Pipeline validiert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind eine Lehrkraft, die einen hilfreichen KI-Nachhilfelehrer für ihre Schüler entwickeln möchte. Derzeit verlangen die meisten Tools von Ihnen etwas sehr Schwieriges: ein riesiges, komplexes Set an Anweisungen (ein sogenannter „System-Prompt") in Klartext zu verfassen, in der Hoffnung, dass die KI genau versteht, was Sie meinen. Es ist, als würde man versuchen, einen neuen Mitarbeiter zu unterrichten, indem man ihm ein 50-seitiges Regelbuch aushändigt, das er noch nie gesehen hat, ohne ihm jemals die Möglichkeit zum Üben zu geben.
Die Arbeit „PromptDecipher" argumentiert, dass dies der falsche Weg ist. Lehrkräfte sind Experten darin, Feedback zu Schülerarbeiten zu geben, aber sie sind keine Experten darin, Code oder komplexe Anweisungen für Computer zu schreiben.
Das Problem: Die „Black Box" der Anweisungen
Derzeit müssen Lehrkräfte, wenn sie einen Bot erstellen und dieser eine schlechte Antwort gibt, erraten, welcher Teil ihres riesigen Anweisungsheftes den Fehler verursacht hat, diesen Abschnitt umschreiben und auf das Beste hoffen. Die Autoren stellten in einer Studie mit über 100 Lehrkräften fest, dass fast keine von ihnen ihre Bots tatsächlich testete, bevor sie den Schülern zur Verfügung gestellt wurden. Es ist, als würde ein Koch ein neues Gericht in einem Restaurant servieren, ohne es vorher probiert zu haben.
Die Lösung: Der „Editieren-Dann-Erklären"-Ansatz
PromptDecipher dreht das Spiel um. Anstatt zuerst Anweisungen zu verfassen, beginnen Sie damit, die Rolle eines Schülers einzunehmen.
- Die Simulation: Sie chatten mit Ihrem neuen Bot.
- Die Korrektur: Wenn der Bot etwas Falsches oder Unhilfreiches sagt, gehen Sie nicht zurück zum Anweisungsheft. Stattdessen bearbeiten Sie die Antwort des Bots direkt im Chatfenster und schreiben sie so um, dass sie genau das sagt, was Sie wollten, dass er sagt.
- Der magische Übersetzer: Sobald Sie auf „Absenden" klicken, fungiert das System wie ein hochintelligenter Übersetzer. Es betrachtet Ihre Korrektur und fragt: „Ah, also wollte die Lehrkraft, dass der Bot eine Frage stellt, anstatt die Antwort zu geben?"
- Das automatische Update: Das System schreibt dann das versteckte Anweisungsheft (den Prompt) automatisch so um, dass es Ihrer Korrektur entspricht. Es zeigt Ihnen die Änderungen an, wie ein Dokument mit „Änderungsnachverfolgung" in Word, damit Sie sehen können, was es getan hat.
- Die Sicherheitsprüfung: Bevor Sie Ihren Bot veröffentlichen können, führt das System einen schnellen Test durch. Es prüft: „Hat die Behebung dieses einen Fehlers etwas anderes kaputtgemacht?" Wenn der Bot in anderen Szenarien seltsam zu agieren beginnt, hält es Sie auf und sagt: „Hey, wir müssen das auch noch beheben."
Die Analogie: Der Proberaum
Stellen Sie sich den Aufbau eines KI-Nachhilfelehrers wie die Regie eines Theaterstücks vor.
- Der alte Weg: Sie schreiben ein massives Skript für den Schauspieler (die KI) und hoffen, dass er es richtig versteht. Wenn er eine Zeile verpatzt, müssen Sie erraten, welcher Teil des Skripts geändert werden muss.
- Der PromptDecipher-Weg: Sie beobachten den Schauspieler bei der Aufführung. Wenn er die falsche Zeile sagt, treten Sie ein und sagen: „Nein, versuchen Sie, es so zu sagen." Das System nimmt dann Ihre neue Zeile und ermittelt, wie das Skript umgeschrieben werden muss, damit sich der Schauspieler das nächste Mal daran erinnert, es so zu sagen. Sie fahren damit fort, bis die Aufführung perfekt ist, und das System lässt Sie die Theatertüren (den Bot veröffentlichen) nicht öffnen, bis die Probe erfolgreich war.
Warum es wichtig ist
Dieses System zwingt Lehrkräfte, wie Qualitätskontrolleure zu handeln, ohne dass sie es überhaupt merken. Indem der Teil des „Behebens" einfach und vertraut gemacht wird (einfaches Bearbeiten eines Chats), wird sichergestellt, dass Bots tatsächlich getestet und verbessert werden, bevor echte Schüler sie zu Gesicht bekommen. Die Autoren planen, dieses Tool in einem Kurs für Hunderte von Hochschullehrenden einzusetzen, um zu sehen, ob diese Methode ihnen hilft, bessere und sicherere KI-Nachhilfelehrer zu entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.