💻 computer science

Teaching Prompt-Based Programming with LLMs: A 45-Minute Lesson with Guided Practice for End-User Programmers

Diese Arbeit präsentiert eine randomisierte kontrollierte Studie, die zeigt, dass eine kurze, 45-minütige geführte Lektion über promptbasierte Programmierung die Selbstwirksamkeit von Ingenieurstudierenden signifikant verbessert und eine moderate, wenn auch nicht statistisch signifikante Verbesserung ihrer Fähigkeit aufzeigt, computergestützte Ziele an große Sprachmodelle zu spezifizieren, im Vergleich zu traditionellen Code-Tracing-Aktivitäten.

Ursprüngliche Autoren: Keith Tran, Samiha Marwan, Thomas Price

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Keith Tran, Samiha Marwan, Thomas Price

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber etwas buchstabentreuen Roboter-Assistenten. Sie möchten, dass er einen Kuchen backt, aber anstatt ihm ein Rezept zu geben, müssen Sie ihm genau beschreiben, was Sie wollen, in einfachem Englisch. Wenn Sie sagen: „Mach einen Kuchen“, liefert der Roboter Ihnen vielleicht einen Ziegel aus Mehl. Wenn Sie aber sagen: „Mische zwei Tassen Mehl, drei Eier und backe bei 350 Grad für 30 Minuten“, erhalten Sie einen Kuchen.

Dies ist der Kern der Prompt-basierten Programmierung. Anstatt komplexen Computercode (das „Rezept“) zu schreiben, schreiben Sie Anweisungen in natürlicher Sprache (den „Prompt“), damit eine KI den Code für Sie schreibt.

Die Arbeit von Keith Tran, Samiha Marwan und Thomas Price stellt eine einfache Frage: Können wir Menschen in nur einer Unterrichtsstunde (45 Minuten) lehren, wie sie effektiv mit diesem Roboter-Assistenten sprechen?

Hier ist eine Aufschlüsselung ihrer Studie unter Verwendung alltäglicher Analogien:

Das Problem: Das Problem der „vagen Bestellung“

Viele Menschen, insbesondere diejenigen, die keine Computerexperten sind, versuchen, KI zu nutzen, um Code zu schreiben. Aber sie haben oft Schwierigkeiten, spezifisch zu sein. Es ist, als würde man in einem Restaurant sagen: „Ich möchte etwas Gutes“, und verwundert sein, wenn der Kellner einem statt eines Burgers einen Salat bringt. Die KI ist nicht kaputt; die Anweisungen waren einfach nur zu vage.

Das Experiment: Ein Wettrennen zwischen zwei Lektionen

Die Forscher versammelten 55 Ingenieurstudenten (die über sehr wenig Programmiererfahrung verfügten) und teilten sie für eine 45-minütige Sitzung in zwei Gruppen auf.

Gruppe A (Die experimentelle Gruppe): Lernte, wie man mit der KI spricht.
- Die Lektion: Ihnen wurde eine spezifische „Vorlage“ für das Geben von Befehlen beigebracht. Anstatt nur zu sagen „Tu dies“, lernten sie zu sagen: „Hier ist der Input (die Zutaten), hier ist der Output (das fertige Gericht) und hier ist genau die Art und Weise, wie man die Zutaten in das Gericht verwandelt.“ Sie übten dies mit drei verschiedenen Aufgaben.
- Die Analogie: Sie lernten die Kunst, eine perfekte Rezeptkarte für den Roboter-Koch zu schreiben.
Gruppe B (Die Kontrollgruppe): Lernte, Code zu lesen.
- Die Lektion: Sie verbrachten dieselben 45 Minuten damit, bestehenden Code zu betrachten und ihn Schritt für Schritt nachzuvollziehen, um zu sehen, was er tut. Dies ist das, was ein normaler Informatikkurs normalerweise macht.
- Die Analogie: Sie lernten, wie man eine Rezeptkarte liest, die jemand anderes bereits geschrieben hat, aber sie lernten nicht, wie man seine eigenen Anweisungen für den Roboter schreibt.

Der Test: Die „Promptly“-Herausforderung

Vor und nach der Lektion absolvierte beide Gruppen einen Test. Sie erhielten ein Rätsel (wie zum Beispiel „Filter alle Zahlen heraus, die größer als 10 sind“) und mussten einen Prompt schreiben, damit eine KI dieses löst. Sie konnten nicht einfach die Rätselbeschreibung kopieren; sie mussten diese in eine klare Anweisung für die KI übersetzen.

Die Ergebnisse: Selbstvertrauen vs. Können

Hier ist, was geschah:

Selbstvertrauen (Selbstwirksamkeit): Gruppe A (die Prompt-Lerner) fühlte sich nach der Lektion viel selbstbewusster in ihrer Fähigkeit, mit der KI zu kommunizieren. Ihr Selbstvertrauenswert stieg deutlich stärker an als der von Gruppe B. Es ist, als hätte Gruppe A gedacht: „Ich weiß jetzt, wie man in diesem Restaurant bestellt!“
Tatsächliches Können (Aufgabenleistung): Gruppe A wurde zwar besser darin, die Rätsel zu lösen, aber die Verbesserung war geringfügig und statistisch nicht „bewiesen“ ein großer Sieg. Sie lösten im Durchschnitt etwa 1 Problem mehr von 8 Problemen als Gruppe B.
- Das Fazit: Die Lektion gab ihnen das Gefühl, es zu können, und sie wurden etwas besser, aber sie wurden in nur 45 Minuten keine Meister. Es ist, als würde man die Grundlagen des Autofahrens an einem Tag lernen: Man fühlt sich bereit, das Auto zu starten, aber man ist noch nicht bereit für eine Reise quer durch das Land.

Warum das wichtig ist

Die Forscher fanden heraus, dass eine kurze, fokussierte Lektion Menschen helfen kann, besser mit KI zu kommunizieren (sogenannte „End-User-Programmierer“ – also Menschen, die Code benötigen, um ein spezifisches Problem in ihrem Job zu lösen, aber keine professionellen Programmierer werden wollen).

Die gute Nachricht: Man braucht keinen ganzen Semesterkurs, um die Grundlagen des Sprechens mit einer KI zu lernen. Eine einzige Unterrichtsstunde kann das Selbstvertrauen stärken und einen leichten Leistungsvorteil verschaffen.
Der Haken: 45 Minuten reichen nicht aus, um ein Experte zu werden. Genau wie man nicht in einer Stunde ein Meisterkoch werden kann, kann man nicht in einer Unterrichtsstunde das Prompt Engineering meistern. Die Studenten brauchten mehr Übung, um wirklich fließend zu werden.

Das Resümee

Das Paper legt nahe, dass es eine wertvolle Fähigkeit ist, Menschen darin zu unterrichten, wie sie die KI um Hilfe bitten, und dass dies in einen vollen Zeitplan integriert werden kann. Es fungiert als Brücke, die Nicht-Programmierern hilft, den Einstieg mit KI-Tools zu finden. Um jedoch wirklich gut zu werden, braucht man mehr als nur eine kurze Lektion; man braucht Zeit zum Üben und zum Machen von Fehlern.

Kurz gesagt: Menschen beizubringen, wie man klare Anweisungen für eine KI schreibt, funktioniert gut genug, um ihnen das Gefühl von Kompetenz zu geben und sie etwas effektiver zu machen, aber wahre Meisterschaft erfordert mehr Zeit als eine einzige Unterrichtsstunde.

Technisches Resümee: Lehren von promptbasierter Programmierung mit LLMs

Problemstellung
Das Aufkommen von Large Language Models (LLMs) hat die „promptbasierte Programmierung“ eingeführt – eine Modalität, bei der Nutzer computergestützte Ziele in natürlicher Sprache statt durch das Schreiben von traditionellem Code ausdrücken. Während dies die Eintrittsbarrieren für Endanwender-Programmierer (Nicht-Informatik-Studenten oder Personen, die Code als Mittel zum Zweck nutzen) senkt, eliminiert es nicht die Notwendigkeit grundlegender informatischer Denkfähigkeiten. Die Forschung zeigt, dass Lernende, insbesondere Anfänger, Schwierigkeiten haben, ihre Absichten klar an LLMs zu kommunizieren; sie erstellen oft vage oder unzureichend spezifizierte Prompts, es mangelt ihnen an Debugging-Strategien und sie verwechseln technische Fachbegriffe mit umgangssprachlichen Ausdrücken. Es besteht eine kritische Lücke im Verständnis darüber, wie die explizite Instruktion von Prompting in bestehende, zeitlich begrenzte Lehrpläne integriert werden kann. Insbesondere ist unklar, wie viel Unterrichtszeit erforderlich ist, um signifikante Fortschritte in der Prompting-Fähigkeit und Selbstwirksamkeit zu erzielen.

Methodik
Die Autoren führten eine randomisierte kontrollierte Studie (RCT) mit 55 Erstsemestlern des Ingenieurwesens an einer Universität durch. Die Studie verglich eine 45-minütige experimentelle Intervention mit einer gleich langen „Business-as-usual“-Kontrollbedingung.

Experimentelle Bedingung: Eine 45-minütige Lektion über promptbasierte Programmierung gepaart mit geleiteter Praxis. Die Lektion nutzte einen „Backward Design“-Ansatz, der sich auf fünf Lernziele konzentrierte, die aus dem „Gulf of Envisioning“-Framework abgeleitet wurden: Spezifizierung der Funktionsstruktur, Beschreibung von Datentransformationen (Mapping, Filtering, Reducing), Ausdruck von Konditionallogik, Handhabung von Grenzfällen (Edge Cases) und Debugging fehlgeschlagener Prompts. Den Studierenden wurde ein wiederverwendbares Prompt-Template vermittelt, und sie übten an drei Promptly-Problemen (Aufgaben, die von Lernenden verlangen, das Verhalten einer Funktion aus Input/Output-Paaren abzuleiten und ein LLM zur Lösung zu prompten).
Kontrollbedingung: Eine 45-minütige Lektion über Code-Tracing (eine Standardaktivität in Einführungslaboren der Informatik). Diese Gruppe erhielt Instruktionen zu Python-Syntax, Kontrollfluss und Code-Tracing unter Verwendung von Python Tutor, wobei sie an drei äquivalenten Problemen arbeiteten, die auf dem Lesen und Verstehen von Code statt auf dem Schreiben von Prompts basierten.
Design: Beide Gruppen absolvierten Vor- und Nachtests, die aus 8 Promptly-Problemen sowie Umfragen zu vorheriger Programmiererfahrung und Prompting-Selbstwirksamkeit bestanden. Die Studie verwendete lineare gemischte Modelle zur Analyse der Daten, wobei wiederholte Messungen und Clustering auf Sitzungsebene berücksichtigt wurden.

Wesentliche Beiträge

Eine leichtgewichtige Intervention: Die Autoren präsentieren einen öffentlich verfügbaren, 45-minütigen Unterrichtsplan mit geleiteter Praxis, der darauf ausgelegt ist, CS-spezifische Prompting-Strategien (z. B. strukturierte Templates, Datentransformationsmuster) zu lehren, ohne dass ein vorheriger Informatik-Hintergrund erforderlich ist.
Empirische Evidenz für Kurzinterventionen: Die Studie liefert kontrollierte experimentelle Daten zur Wirksamkeit einer kurzen Intervention. Sie zeigt, dass eine einzige 45-minütige Sitzung die Selbstwirksamkeit beim Prompting signifikant steigern und zwar messbare, wenn auch statistisch moderate Verbesserungen in der Aufgabenleistung im Vergleich zu Standard-Code-Tracing-Aktivitäten erzielen kann.

Ergebnisse

Aufgabenleistung (RQ1): Die experimentelle Gruppe zeigte im Vergleich zur Kontrollgruppe größere durchschnittliche Zuwächse beim Lösen von Promptly-Problemen vom Vor- zum Nachtest (+10,8 Prozentpunkte gegenüber +1,1 Prozentpunkten). Dieser Unterschied war jedoch auf dem Niveau von $\alpha=0,05$ nicht statistisch signifikant ( $p=0,056$ ). Die Effektstärke war vergleichbar mit dem Einfluss einer vollen Standardabweichung der vorherigen Programmiererfahrung.
Prompting-Selbstwirksamkeit (RQ2): Die experimentelle Gruppe demonstrierte eine statistisch signifikant stärkere Zunahme der Prompting-Selbstwirksamkeit im Vergleich zur Kontrollgruppe (+35,4 Prozentpunkte gegenüber +21,9 Prozentpunkten; $p=0,029$ ).
Prädiktoren: Vorherige Programmiererfahrung war ein signifikanter Prädiktor für die Aufgabenleistung in beiden Bedingungen.

Bedeutung und Behauptungen
Das Paper behauptet, dass eine kurze, gezielte Intervention wahrscheinlich ausreicht, um die Fähigkeit der Lernenden zu verbessern, computergestützte Ziele an LLMs zu spezifizieren, und ihr Vertrauen in dieser Hinsicht signifikant zu stärken. Die Autoren positionieren promptbasierte Programmierung nicht als Ersatz für traditionelle Programmierunterricht, sondern als komplementären Pfad, der einen zugänglicheren Einstiegspunkt für Endanwender-Programmierer bieten kann, die von Syntax eingeschüchtert sind.

Die Autoren wahren jedoch einen moderaten Ton hinsichtlich der Größenordnung dieser Zuwächse. Sie räumen ein, dass die Intervention zwar bedeutsame Verbesserungen hervorbrachte, der Effekt auf die Aufgabenleistung jedoch gering war (weniger als ein zusätzlich gelöstes Problem im Durchschnitt), was darauf hindeutet, dass 45 Minuten wahrscheinlich nicht ausreichen, um Lernende zur Fluenz oder Meisterschaft zu führen. Die Ergebnisse deuten darauf hin, dass Prompting-Fähigkeiten mehr Zeit und Übung erfordern, um sich vollständig zu entwickeln. Die Studie kommt zu dem Schluss, dass kurze Interventionen ohne wesentliche Störungen in bestehende Kurse integriert werden können, zukünftige Forschung jedoch notwendig ist, um zu bestimmen, wie diese Zuwächse auf komplexe, offene, mehrstufige Programmieraufgaben übertragen werden können.