What You Prompt is What You Get: Increasing Transparency of Prompting Using Prompt Cards
Der Artikel schlägt „Prompt Cards" als strukturierte Dokumentationsmethode vor, um die Transparenz, Nachvollziehbarkeit und Evaluierbarkeit von Prompt-Engineering-Prozessen bei Large Language Models zu erhöhen, indem er implizite Designentscheidungen explizit macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie geben einem sehr klugen, aber manchmal etwas verwirrten Koch (dem KI-Modell) eine Bestellung auf. Wenn Sie nur sagen: „Mach was Leckeres", bekommt der Koch vielleicht eine Suppe, die nach Schokolade schmeckt. Wenn Sie aber sagen: „Mach eine warme Tomatensuppe mit frischem Basilikum, aber ohne Knoblauch", bekommen Sie genau das, was Sie wollen.
Das Erstellen dieser perfekten Bestellung nennt man Prompt-Engineering.
Das Problem ist: Oft schreiben Leute diese „Bestellungen" (Prompts) auf Zettelchen, werfen sie in die Schublade und vergessen, wie genau sie sie formuliert haben. Wenn jemand anderes später versucht, das gleiche Gericht nachzukochen, scheitert er, weil er nicht weiß, welche Zutaten oder welche genauen Worte verwendet wurden.
Diese Paper schlägt eine Lösung vor: Die „Prompt-Karte".
Hier ist die Erklärung, wie ein solcher „Prompt-Karte" funktioniert, mit ein paar einfachen Vergleichen:
1. Das Problem: Der „Black Box"-Koch
Stellen Sie sich vor, Sie essen in einem Restaurant, und der Koch ist ein Genie. Aber niemand weiß, was er genau in den Topf geworfen hat. War es frisches Gemüse oder Dosenware? Hat er Salz oder Zucker benutzt?
In der Welt der KI passiert genau das. Die Ergebnisse sind oft toll, aber wir wissen nicht, warum sie so sind. Wenn die KI eine falsche Information erfindet (ein sogenanntes „Halluzinieren") oder unfair ist, können wir den Fehler nicht finden, weil die „Rezeptur" (der Prompt) nicht dokumentiert ist.
2. Die Lösung: Die Prompt-Karte (wie ein Rezept)
Die Autoren sagen: „Hört auf, nur das Ergebnis zu zeigen. Zeigt uns das Rezept!"
Sie schlagen vor, für jede KI-Anwendung eine Prompt-Karte zu erstellen. Das ist wie ein detailliertes Rezept oder ein Fahrplan, das alles erklärt, was beim „Kochen" mit der KI passiert ist.
Hier sind die wichtigsten Zutaten dieser Karte, einfach erklärt:
Was soll der Koch tun? (Intended Use):
- Vergleich: Ein Rezept für eine Hochzeitstorte ist nicht für einen Hungerstopp am Straßenrand geeignet.
- Erklärung: Die Karte sagt genau, wofür die KI gedacht ist (z. B. „Nur für Bildungszwecke, nicht für echte medizinische Diagnosen").
Welche Zutaten wurden benutzt? (Dataset & Context):
- Vergleich: Wenn Sie einen Kuchen backen, müssen Sie wissen, ob Sie Bio-Mehl oder normales Mehl benutzt haben.
- Erklärung: Die Karte listet auf, welche Daten die KI gelesen hat. Wenn die KI über Fußballspieler schreibt, welche Statistik wurde benutzt? Wenn sie über Persönlichkeiten schreibt, welche Fragen wurden gestellt? Das ist wichtig, um zu wissen, ob die KI vielleicht nur auf veralteten oder voreingenommenen Daten basiert.
Wie wurde der Koch angewiesen? (Prompt Architecture):
- Vergleich: Nicht nur die Zutaten, sondern auch die Reihenfolge des Kochens. „Zuerst den Ofen vorheizen, dann den Teig kneten."
- Erklärung: Die Karte zeigt genau, wie der Befehl an die KI aufgebaut war. Welche Rolle hat die KI gespielt? („Du bist ein strenger Lehrer" vs. „Du bist ein freundlicher Freund").
Wo liegen die Fallstricke? (Ethical Considerations & Caveats):
- Vergleich: Ein Warnhinweis auf einer Schachtel: „Achtung, enthält Nüsse!" oder „Nicht für Kinder unter 3 Jahren geeignet."
- Erklärung: Die Karte muss ehrlich sagen: „Unsere KI könnte kulturelle Vorurteile haben" oder „Diese Daten sind nicht für alle Länder gültig". Sie warnt vor Missbrauch.
Sicherheit (Data Security):
- Vergleich: Darf der Koch die Geheimnisse der Familie an einen Fremden weitergeben?
- Erklärung: Die Karte erklärt, ob sensible Daten (wie Patientendaten) an die KI gesendet wurden und wie man das sicher macht (z. B. durch Anonymisierung).
3. Warum nicht einfach einen Test machen? (Das Benchmark-Problem)
Normalerweise testen man KI-Modelle wie bei einem Sportwettkampf: Wer macht die meisten Punkte?
Aber die Autoren sagen: Das funktioniert bei Prompts nicht gut.
Stellen Sie sich vor, Sie wollen testen, wie gut ein Koch Suppe macht. Ein Standard-Test würde fragen: „Wie schnell kocht er?" Aber das sagt nichts darüber aus, ob die Suppe schmeckt oder ob sie für einen bestimmten Gast (z. B. einen Vegetarier) geeignet ist.
Da jede KI-Aufgabe einzigartig ist (ein Fußball-Scout ist anders als ein Persönlichkeits-Test), gibt es keinen „Einheits-Test", der alles misst.
Deshalb ist die Prompt-Karte besser als ein Test. Sie ist wie ein offenes Tagebuch des Kochs. Sie zeigt nicht nur das Endergebnis, sondern den ganzen Weg dorthin.
Fazit: Transparenz statt Magie
Die Botschaft des Papers ist einfach: Seien Sie ehrlich.
Wenn wir KI nutzen, um wichtige Dinge zu tun (wie Jobs zu vergeben, Patienten zu beraten oder Nachrichten zu schreiben), müssen wir verstehen, wie diese Entscheidungen zustande kommen.
Die Prompt-Karte ist das Werkzeug, um diese Magie zu entzaubern. Sie verwandelt den undurchsichtigen „Black Box"-Koch in einen transparenten Handwerker, dessen Arbeit wir verstehen, nachvollziehen und – falls nötig – verbessern können.
Kurz gesagt: Statt zu sagen „Schau, wie toll das Ergebnis ist!", sagen wir mit der Prompt-Karte: „Hier ist genau, wie wir es gemacht haben, hier sind die Zutaten, hier sind die Risiken, und hier ist, wofür es gut ist." Das macht die KI vertrauenswürdiger und sicherer für alle.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.