Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
Dieses Paper führt eine strukturierte Ontologie ein, um eine große Sammlung von 57.500 einzigartigen transaktionalen Prompts von GitHub zu analysieren, indem es diese in reich strukturierte linguistische Objekte transformiert, um vielfältige Nutzungsmuster über Sprachen und Domänen hinweg aufzudecken und gleichzeitig die Annotationsqualität durch eine umfassende Fehleranalyse zu validieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter eine bestimmte Aufgabe beizubringen, wie zum Beispiel das Schreiben eines Gedichts oder das Beheben eines Fehlers in einem Computerprogramm. Sie geben dem Roboter keinen formellen Programmiercode; stattdin schreiben Sie ihm eine Reihe von Anweisungen in einfachem Englisch. Diese Menge an Anweisungen wird ein Prompt genannt. Betrachten Sie einen Prompt wie eine Rezeptkarte für einen Koch. Wenn das Rezept vage ist („mache etwas Leckeres“), könnte der Koch falsch raten. Aber wenn das Rezept detailliert ist („hacke zwei Zwiebeln, dünste sie fünf Minuten lang an, füge Salz hinzu“), weiß der Koch genau, was zu tun ist. Lange Zeit haben Wissenschaftler den „Koch“ (das KI-Modell) sehr detailliert untersucht, um ihn intelligenter zu machen. Aber sie haben den „Rezeptkarten“ (den Prompts) selbst nicht viel Aufmerksamkeit geschenkt und sie als unordentliche, informelle Notizen behandelt, die es nicht wert wären, ernsthaft untersucht zu werden. Dieses Paper argumentiert, dass diese Prompts tatsächlich eine neue Art von „Sprache“ sind, die Menschen verwenden, um KI zu programmieren, und dass sie analysiert werden sollten, genau wie jede andere Sprache oder jeder Code.
Die Forscher hinter dieser Studie beschlossen, die Prompts wie ein wissenschaftliches Objekt zu behandeln. Sie gruben sich durch die öffentlichen Code-Repositories auf GitHub, was wie eine riesige Bibliothek ist, in der Softwareentwickler ihre Arbeit teilen. Sie suchten nach einer spezifischen Art von Prompt, einem sogenannten transaktionalen Prompt. Um den Unterschied zu verstehen, stellen Sie sich ein lockeres Gespräch mit einem Freund vor, bei dem Sie fragen: „Wie ist das Wetter?“ und er antwortet. Das ist ein „interaktiver“ Prompt. Ein transaktionaler Prompt ist anders; er ist wie eine vorgeschriebene Anweisung, die an einer Maschine klebt und jedes Mal automatisch abläuft, wenn ein Knopf gedrückt wird. Er ist darauf ausgelegt, wiederholt zu werden, robust zu sein und Teil eines größeren Softwaresystems zu sein. Das Team sammelte 57.500 dieser einzigartigen, realen Prompts, um zu sehen, wie sie aussehen, wie sie strukturiert sind und was Menschen die KI tatsächlich tun lassen.
Um aus diesem riesigen Haufen Text Sinn zu ergeben, bauten die Autoren eine spezielle „Landkarte“ oder eine Ontologie. Stellen Sie sich vor, Sie versuchen, einen unordentlichen Dachboden voller zufälliger Gegenstände zu organisieren. Ohlich ein System ist es nur Chaos. Die Ontologie ist wie ein Set aus beschrifteten Boxen und Etiketten, mit denen sie die Prompts in Kategorien sortieren können: In welcher Sprache ist er geschrieben? Was ist die Aufgabe? Ist ein spezifisches Format erforderlich? Sagt der Prompt der KI, was sie nicht tun soll? Durch die Umwandlung von unstrukturiertem Text in diese reichhaltigen, strukturierten Datenpunkte konnten sie beginnen, ernsthafte Fragen zu stellen.
Was haben sie herausgefunden? Erstens zeigt die Datenlage eine enorme Vielfalt, aber sie folgt einem Muster, das als Zipf-Verteilung bekannt ist. Denken Sie an dies wie an die Bevölkerung einer Stadt: Ein paar große Städte (wie Englisch) haben Millionen von Einwohnern, während tausende winzige Dörfer (andere Sprachen) nur sehr wenige haben. In der Welt der Prompts ist Englisch die riesige Stadt, die etwa 84,66 % der Prompts ausmacht. Es sind jedoch immer noch 62 verschiedene Sprachen vertreten, und selbst in diesen englischen Prompts erwähnen Menschen ständig andere Sprachen (wie die Aufforderung „ins Spanische übersetzen“), was eine verborgene Ebene sprachlicher Vielfalt zeigt.
Die Studie enthüllte auch, dass diese Prompts überraschend komplex sind. Sie sind nicht nur einfache Sätze. Im Durchschnitt enthält jeder Prompt etwa 6,85 unterschiedliche „Instruktionsblöcke“. Diese Blöcke sind wie die Schritte in einem Rezept. Die häufigsten Schritte sind Dinge wie „hier ist der Kontext“, „mache die Antwort nicht zu lang“ oder „gib das Ergebnis als JSON-Datei aus“. Interessanterweise enthalten etwa 31 % der Prompts „negative Instruktionen“ – also die Anweisung an die KI, was sie nicht tun soll, wie „halluziniere nicht“ oder „verwende keinen zusätzlichen Text“. Dies deutet darauf hin, dass Entwickler ständig versuchen, die Tendenz der KI zu bändigen, zu geschwätzig zu sein oder Dinge zu erfinden.
Die Forscher untersuchten auch, wie Menschen diese Prompts strukturieren. Sie fanden heraus, dass der häufigste Aufbau ein zweiteiliges Gespräch ist: eine „System“-Nachricht (die die Regeln festlegt, wie „Du bist ein hilfreicher Assistent“) und eine „User“-Nachricht (die die spezifische Aufgabe gibt). Dieses „System-User“-Duo ist zum Standardelement für transaktionale Prompts geworden und tritt in 64 % der Fälle auf. Es scheint, dass Entwickler die System-Rolle als statische Konfigurationsebene und die User-Rolle als dynamischen Input betrachten, anstatt die KI innerhalb eines einzelnen Skripts für komplexe Multi-Turn-Rollenspiele zu nutzen.
In Bezug auf das, was die Menschen tatsächlich tun, sind NLP-Aufgaben (Natural Language Processing, wie das Zusammenfassen von Texten oder das Beantworten von Fragen) am beliebtesten, wobei die obersten vier Aufgaben fast die Hälfte aller Daten abdecken. Der „Long Tail“ der Daten zeigt jedoch, dass Menschen die KI für alle möglichen seltsamen und wunderbaren Dinge nutzen, von Spielstrategien bis hin zur Generierung von Richtlinien. Die Daten legen auch nahe, dass die meisten dieser Prompts „geerdet“ sind, was bedeutet, dass sie sich auf einen spezifischen Kontext verlassen, der im Prompt bereitgestellt wird (wie ein Dokument oder ein Code-Schnipsel), anstatt nur auf das interne Gedächtnis der KI. Etwa 89,25 % der Fälle nutzen diese Art der Erdung.
Die Autoren weisen vorsichtig darauf hin, dass ihre Ergebnisse aus einem spezifischen Ausschnitt des Internets stammen (öffentliche GitHub-Projekte, die bestimmte Python-Bibliotheken verwenden) und daher nicht unbedingt jede existierende Prompt repräsentieren. Sie haben auch KI verwendet, um die Daten zu labeln und zu analysieren, was bedeutet, dass es Fehler geben kann, obwohl sie die Qualität geprüft und festgestellt haben, dass die Genauigkeit für die meisten Kategorien recht hoch ist (oft über 90 %).
Letztendlich liefert dieses Paper uns nicht nur eine Liste von Prompts; es liefert uns ein Toolkit. Die Autoren haben den Datensatz und eine spezielle Website veröffentlicht, auf der jeder diese Prompts nach ihren Merkmalen durchsuchen, suchen und explorieren kann. Sie hoffen, dass dies Wissenschaftlern, Ingenieuren und Linguisten helfen wird, zu verstehen, wie Menschen tatsächlich mit KI interagieren. Indem wir Prompts als erstklassige wissenschaftliche Objekte behandeln, können wir beginnen, die Muster, die „ungeschriebenen Normen“ und die kreativen Wege zu verstehen, mit denen Menschen das Verhalten dieser mächtigen Maschinen formen. Es ist ein Schritt zum Verständnis der neuen Sprache, die wir erfinden, um mit unseren digitalen Partnern zu sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.