PromptDecipher: Supporting AI Tutor Authoring Through Editable Simulated Interactions
Om de kloof aan te pakken waar educatoren zelden AI-tutoringbots testen voordat ze worden ingezet, presenteert dit artikel PromptDecipher, een systeem dat het opstellen stroomlijnt door leraren toe te staan ongewenste botantwoorden rechtstreeks te corrigeren in een live voorbeeld, wat automatisch gerichte prompt-herformuleringen genereert en deze valideert via een QA-pijplijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een leraar bent die een nuttige AI-tutor voor zijn leerlingen wil bouwen. Op dit moment vragen de meeste tools je om iets zeer moeilijks te doen: een gigantische, complexe reeks instructies (een "systeemprompt" genoemd) in gewone tekst schrijven, in de hoop dat de AI precies begrijpt wat je bedoelt. Het is alsof je een nieuwe medewerker probeert op te leiden door hem een 50 pagina's tellend reglement te geven dat hij nog nooit heeft gezien, zonder hem ooit de kans te geven te oefenen.
Het artikel "PromptDecipher" betoogt dat dit de verkeerde manier is. Leraren zijn experts in het geven van feedback op werk van leerlingen, maar ze zijn geen experts in het schrijven van code of complexe instructies voor computers.
Het Probleem: De "Black Box" van Instructies
Momenteel moet een leraar, als hij een bot maakt en deze een slecht antwoord geeft, raden welk deel van zijn gigantische instructieboek de fout heeft veroorzaakt, dat gedeelte herschrijven en hopen op het beste. De auteurs ontdekten dat in een studie met meer dan 100 leraren bijna geen van hen hun bots daadwerkelijk testte voordat ze leerlingen er toegang toe gaven. Het is alsof een chef een nieuw gerecht serveert in een restaurant zonder het eerst te proeven.
De Oplossing: De "Bewerk-En-Verklaar"-Aanpak
PromptDecipher draait de boel om. In plaats van eerst instructies te schrijven, begin je met het spelen van de rol van een leerling.
- De Simulatie: Je chat met je nieuwe bot.
- De Correctie: Als de bot iets verkeerds of onbehulpzaams zegt, ga je niet terug naar het instructieboek. In plaats daarvan bewerk je het antwoord van de bot direct in het chatvenster en herschrijf je het zodat het precies zegt wat je wilde dat het zou zeggen.
- De Magische Vertaler: Zodra je op "indienen" klikt, fungeert het systeem als een super slimme vertaler. Het kijkt naar je correctie en vraagt: "Ah, dus de leraar wilde dat de bot een vraag stelde in plaats van het antwoord te geven?"
- De Automatische Update: Het systeem herschrijft vervolgens automatisch het verborgen instructieboek (de prompt) om je correctie te matchen. Het toont je de wijzigingen, zoals een document met "track changes" in Word, zodat je kunt zien wat het heeft gedaan.
- De Veiligheidscontrole: Voordat je je bot kunt publiceren, voert het systeem een snelle test uit. Het controleert: "Heeft het oplossen van deze ene fout iets anders kapotgemaakt?" Als de bot in andere scenario's vreemd begint te gedragen, stopt het je en zegt: "Hé, we moeten dit ook nog oplossen."
De Analogie: De Rehearsal Room
Denk aan het bouwen van een AI-tutor als het regisseren van een toneelstuk.
- Oude Manier: Je schrijft een enorm script voor de acteur (de AI) en hoopt dat hij het goed krijgt. Als hij een regel fout zegt, moet je raden welk deel van het script je moet aanpassen.
- PromptDecipher Manier: Je kijkt toe hoe de acteur optreedt. Als hij de verkeerde regel zegt, stap je in en zeg je: "Nee, probeer het op deze manier te zeggen." Het systeem neemt vervolgens je nieuwe regel en bedenkt hoe het script herschreven moet worden, zodat de acteur zich de volgende keer herinnert dat hij het zo moet zeggen. Je blijft dit doen tot de voorstelling perfect is, en het systeem staat je niet toe de deuren van het theater te openen (de bot publiceren) voordat de repetitie succesvol is.
Waarom Dit Belangrijk Is
Dit systeem dwingt leraren om te handelen als kwaliteitscontrole-engineers, zonder dat ze zich dat zelfs maar realiseren. Door het "oplossen"-gedeelte makkelijk en vertrouwd te maken (gewoon een chat bewerken), wordt ervoor gezorgd dat bots daadwerkelijk worden getest en verbeterd voordat echte leerlingen ze te zien krijgen. De auteurs plannen om deze tool te gebruiken in een cursus voor honderden hogeschooldocenten om te zien of deze methode hen helpt betere, veiligere AI-tutors te bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.