Less Back-and-Forth: A Comparative Study of Structured Prompting
Diese Arbeit zeigt, dass die Verwendung von durch Checklisten verbesserten Prompts die Qualität der Antworten großer Sprachmodelle über verschiedene Aufgaben hinweg erheblich steigert und gleichzeitig den Aufwand für den Nutzer sowie den Token-Verbrauch im Vergleich zu rohen oder klärenden Prompts reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr talentierten, aber etwas wortwörtlich denkenden Assistenten ein, der Sie bei einem großen Projekt unterstützt. Sie möchten, dass dieser eine Zusammenfassung schreibt, eine Reise plant, eine komplexe Idee erklärt oder Code schreibt.
Dieser Artikel ist im Wesentlichen ein Test, um herauszufinden, wie Sie mit diesem Assistenten sprechen sollten, um mit dem geringsten Aufwand für Hin und Her das beste Ergebnis zu erzielen.
Die Forscher verglichen drei verschiedene Arten, Anweisungen (sogenannte „Prompts") zu geben, an drei verschiedene KI-Assistenten (ChatGPT, Claude und Grok). Hier ist die Aufschlüsselung ihres Experiments und ihrer Erkenntnisse, dargestellt durch einfache Analogien.
Die drei Arten des Fragens
Der „rohe" Prompt (Das vage Flüstern):
- Was es ist: Sie geben eine kurze, grundlegende Anweisung, wie „Planen Sie einen Urlaub" oder „Fassen Sie dies zusammen".
- Die Analogie: Dies ist wie der Gang zu einem Koch und das Sagen: „Machen Sie mir das Abendessen." Sie haben ihm nicht gesagt, was Sie mögen, welches Budget Sie haben oder ob Sie Allergien haben. Der Koch muss raten. Er könnte etwas Köstliches zubereiten, oder er könnte etwas machen, das Sie hassen, was Sie zwingt, es zurück in die Küche zu schicken.
Der „Checklisten"-Prompt (Das detaillierte Rezept):
- Was es ist: Sie schreiben Ihre Anfrage um, indem Sie eine einfache Checkliste verwenden, die drei Dinge hinzufügt: Rolle (wer die KI ist), Kontext (für wen und warum) und Format (wie die Antwort aussehen soll).
- Die Analogie: Dies ist wie dem Koch eine spezifische Rezeptkarte zu geben: „Sie sind ein französischer Konditor. Ich bin Vegetarier mit einem Budget von 50 Dollar. Ich brauche ein Dessert, das wie eine Blume aussieht und auf einen kleinen Teller passt." Der Koch weiß sofort genau, was zu tun ist.
Der „Klärende Frage"-Prompt (Das Interview):
- Was es ist: Sie bitten die KI, innezuhalten und Sie 1–3 Fragen zu stellen, bevor sie eine Antwort gibt.
- Die Analogie: Dies ist wie wenn der Koch sagt: „Warten Sie, bevor ich koche, können Sie mir Ihr Budget und Ihre diätetischen Einschränkungen nennen?" Sie antworten, und dann kocht er. Es stellt sicher, dass er die richtigen Informationen hat, aber es dauert zusätzliche Zeit und Gesprächsrunden.
Was passierte im Test?
Die Forscher testeten diese drei Methoden bei vier Arten von Aufgaben: Textzusammenfassung, Reiseplanung, Konzepterklärung und Codierung. Sie bewerteten die Ergebnisse danach, wie korrekt, klar und nützlich die Antworten waren.
Der Gewinner: Der Checklisten-Prompt
- Qualität: Die „Checklisten"-Methode produzierte die Antworten von höchster Qualität. Die KI verstand die Aufgabe perfekt und befolgte alle Regeln.
- Aufwand: Sie war auch die schnellste. Da die Anweisungen so klar waren, lag die KI beim ersten Versuch richtig. Sie mussten kein langes Gespräch führen oder es zurück in die Küche schicken.
- Das Ergebnis: Es war der „Sweet Spot". Sie bekamen ein perfektes Essen, ohne darauf zu warten, dass der Koch Sie fragt, oder ohne ein schlechtes Gericht zu erhalten, das Sie zurücksenden mussten.
Der Zweitplatzierte: Die klärende Frage
- Qualität: Diese Antworten waren besser als die vagen „rohen" Prompts, aber sie konnten die Checklisten-Methode nicht ganz schlagen.
- Aufwand: Diese Methode erforderte den meisten Aufwand. Da die KI anhalten, Fragen stellen, auf Ihre Antwort warten und dann antworten musste, dauerte es fast doppelt so viele „Runden" (Gespräche), um ein gutes Ergebnis zu erzielen.
- Das Ergebnis: Es war hilfreich, fühlte sich aber wie ein längeres, ermüdenderes Gespräch an.
Der Verlierer: Der rohe Prompt
- Qualität: Dies waren die schwächsten Antworten. Sie waren oft unvollständig, vage oder verfehlten den Punkt.
- Aufwand: Überraschenderweise zeigten die Daten, dass diese nur eine Runde benötigten, aber die Forscher stellten fest, dass Sie im echten Leben wahrscheinlich weiterhin nach Überarbeitungen fragen müssten, da die erste Antwort meist schlecht war.
- Das Ergebnis: Sie bekamen eine schnelle Antwort, aber sie war wahrscheinlich nicht das, was Sie tatsächlich wollten.
Die große Erkenntnis
Die Studie kommt zu dem Schluss, dass das Investieren von etwas zusätzlicher Zeit in das Schreiben eines strukturierten Prompts (unter Verwendung einer einfachen Checkliste) Ihnen später viel Zeit spart.
Stellen Sie es sich wie das Packen eines Koffers vor:
- Roher Prompt: Sie werfen Kleidung zufällig hinein. Sie kommen am Zielort an und stellen fest, dass Sie Ihre Schuhe vergessen haben. Sie müssen nach Hause anrufen, um es zu beheben (zusätzlicher Aufwand).
- Klärende Frage: Sie rufen an, bevor Sie packen, um zu fragen: „Brauche ich Schuhe?" Dann packen Sie. Es funktioniert, aber es dauert Zeit, den Anruf zu führen.
- Checklisten-Prompt: Sie verwenden eine Packliste, bevor Sie beginnen. Sie wissen genau, was Sie mitbringen müssen. Sie kommen an, und alles ist sofort perfekt.
Die Studie legt nahe, dass für die meisten Menschen und die meisten Aufgaben die einfache Organisation Ihrer Anfrage mit einer klaren Struktur (Rolle, Kontext, Format) der effizienteste Weg ist, um großartige Ergebnisse von der KI zu erhalten und die Notwendigkeit endloser Korrekturschleifen zu vermeiden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.