LLM Prompt Evaluation for Educational Applications
Diese Studie führt ein systematisches, turnierbasiertes Evaluierungsframework unter Verwendung des Glicko2-Rating-Systems ein, um LLM-Prompt-Templates für den Bildungsdialog zu bewerten, wobei sie zeigt, dass ein Prompt, der Persona- und Kontextmanagement-Strategien kombiniert, andere signifikant bei der Generierung pädagogisch ausgerichteter Folgefragen übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas wörtlich nehmenden Roboter beizubringen, wie man ein guter Lese-Tutor ist. Sie können dem Roboter nicht einfach sagen: „Hilf dem Schüler.“ Sie müssen eine sehr spezifische Anweisung schreiben, einen sogenannten Prompt, um dem Roboter genau zu sagen, wie er sich verhalten soll, welchen Tonfall er verwenden soll und welche Art von Fragen er stellen soll.
Dieses Papier ist wie ein Kochwettbewerb, um das beste Rezept für diese Anweisungen zu finden.
Die Umgebung: Ein digitaler Lesekurs
Die Forscher arbeiteten mit einer intelligenten Website (genannt STAIRS), die Schülern hilft, schwierige Lehrbücher zu lesen. Wenn ein Schüler eine Seite liest und eine Zusammenfassung schreibt, prüft das System, ob er es wirklich verstanden hat. Wenn die Zusammenfassung schwach ist, greift das System ein. Es wählt einen kniffligen Teil des Textes aus, stellt dem Schüler eine Frage, die ihn zum tieferen Nachdenken anregt, und das ist der entscheidende Punkt: es muss eine Folgefrage stellen, um das Gespräch am Laufen zu halten.
Die große Frage war: Wie sollten wir die Anweisungen (den Prompt) für die KI schreiben, damit sie die bestmögliche Folgefrage stellt?
Die Teilnehmer: Sechs verschiedene „Persönlichkeiten“
Das Team erstellte sechs verschiedene Sätze von Anweisungen (Prompts). Jeder Satz basierte auf einer anderen Lernphilosophie oder „Persönlichkeit“:
- Die Baseline: Die alte, Standard-Anweisung, die sie zuvor verwendet hatten. Es war wie ein einfaches, schnörkelloses Rezept.
- Der Sokratische Begleiter: Die KI agiert wie ein Philosoph und stellt Fragen, die den Schüler dazu bringen, darüber nachzudenken, wie er denkt (Metakognition).
- Der Scaffolding-Experte: Die KI agiert wie ein Bauleiter, der vorsichtig auf dem aufbaut, was der Schüler bereits weiß, und Schritt für Schritt die Lücken füllt.
- Der Verbindungsschöpfer: Die KI versucht, den Text mit dem persönlichen Leben und den vergangenen Erfahrungen des Schülers zu verknüpfen.
- Der Verständnis-Monitor: Die KI agt wie ein Selbstkontrollwerkzeug, das dem Schüler hilft, zu bewerten, ob er das Material wirklich verstanden hat.
- Der Strategische Lese-Coach: Die KI fungt als ein Coach, der dem Schüler lehrt, wie man strategisch liest, wobei der Fokus auf den eigenen Lerngewohnheiten und der Selbststeuerung liegt.
Das Turnier: Wie sie den Gewinner ermittelten
Anstatt nur zu raten, welcher am besten war, ließen die Forscher ein Turnier ablaufen.
- Die Richter: Sie rekrutierten acht menschliche Richter (eine Mischung aus Professoren, Doktoranden und Studenten), die das System gut kannten.
- Das Spiel: Den Richtern wurden Paare von Folgefragen gezeigt. Eine Frage stammte aus den Anweisungen des „Sokratischen Begleiters“, die andere aus den Anweisungen des „Scaffolding-Experten“ und so weiter.
- Die Aufgabe: Die Richter mussten entscheiden, welche Frage sie bevorzugten. Sie gaben keine Punktzahl ab; sie stimmten einfach für den Gewinner des jeweiligen Paares.
- Die Mathematik: Sie nutzten ein spezielles Bewertungssystem (ähnlich dem, das zur Einstufung von Schachspielern verwendet wird), um die Wahrscheinlichkeit zu berechnen, mit der ein Prompt einen anderen schlägt.
Die Ergebnisse: Wer hat gewonnen?
Die Ergebnisse waren eindeutig. Der Strategische Lese-Coach war der unangefochtene Champion.
Der Gewinner: Der Prompt „Strategischer Lese-Coach“ gewann fast jedes Mal, wenn er mit den anderen verglichen wurde. Er hatte eine Wahrscheinlichkeit von 81 % bis 100 %, die bevorzugte Wahl zu sein.
Warum er gewann: Dieser Prompt war besonders, weil er zwei kraftvolle „Muster“ kombinierte:
- Persona: Er sagte der KI: „Du bist ein Lese-Coach.“
- Kontext-Manager: Er sagte der KI: „Konzentriere dich strikt darauf, dem Schüler zu helfen, seine eigene Lesestrategie zu steuern.“
Indem man der KI sagte, wer sie zu sein hat und wo die Grenzen liegen, erzeugte man die hilfreichsten Folgefragen.
Der Zweitplatzierte: Der „Scaffolding-Experte“ kam auf den zweiten Platz. Er war sehr gut darin, Wissenslücken zu füllen.
Die Überraschung: Die alte Baseline (diejenige, die sie ohne die neuen, ausgefeilten Techniken verwendet hatten) kam auf den dritten Platz. Sie war ordentlich, aber die neuen, sorgfältig entworfenen Prompts waren signifikant besser.
Die Verlierer: Prompts, die sich zu sehr auf das bloße „Verknüpfen von Ideen“ oder „Überwachen“ konzentrierten, ohne eine starke Coaching-Persona zu besitzen, schnitten schlechter ab.
Die wichtigste Erkenntnis
Das Papier argumentiert, dass wir nicht einfach raten können, wie wir mit KI in der Bildung kommunizieren. Wir brauchen eine systematische Methode, um unsere Anweisungen zu testen.
Stellen Sie sich das so vor: Wenn Sie eine bessere Brücke bauen wollen, bauen Sie nicht einfach eine und hoffen, dass sie hält. Sie testen verschiedene Designs. Dieses Papier zeigt, dass wir durch das Durchführen eines „Turniers“, bei dem Menschen über die besten KI-Antworten abstimmen, wissenschaftlich beweisen können, welches „Rezept“ für Anweisungen am besten funktioniert. In diesem speziellen Fall war das Rezept, das die KI in einen strategischen Lese-Coach verwandelte, der effektivste Weg, um Schülern beim Lernen zu helfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.