Prompt as a Data Type: In-Database LLM Prompt Management and Rewriting

Die Geheimsprache der Datenbanken und Roboter

Stellen Sie sich vor, Sie hätten eine riesige, superorganisierte Bibliothek (eine Datenbank), die Millionen von Fakten enthält, und Sie hätten einen brillanten, gesprächigen Roboter (ein Large Language Model oder LLM), der fast alles lesen und verstehen kann. Normalerweise muss ein Mensch als Vermittler fungieren, um den Roboter anzuweisen, Aufgaben unter Verwendung der Fakten aus der Bibliothek zu erledigen. Er holt ein Stück Papier aus der Bibliothek, schreibt eine spezifische Anweisung (einen „Prompt“) für den Roboter, schickt diese ab und wartet auf die Antwort. Das Problem ist, dass die Bibliothek selbst nicht weiß, welchen Anweisungen der Roboter folgt. Es ist wie ein Koch, der genau weiß, welche Zutaten im Kühlschrank sind, aber nicht sehen kann, welches Rezept der Koch gerade verwendet; der Koch kann das Rezept nicht verbessern oder bessere Zutaten vorschlagen, weil das Rezept in einem Notizbuch auf der Arbeitsplatte verborgen ist.

Dieses Paper begibt sich in die Welt der Informatik, in der Datenbanken und künstliche Intelligenz aufeinandertreffen. Es befasst sich mit einem spezifischen Kopfzerbrechen: Derzeit werden die Anweisungen, die wir an KI-Roboter geben, oft außerhalb der Datenbank in unordentlichem Code oder Notizbüchern gespeichert. Dies macht es schwierig für die Datenbank, zu prüfen, ob die Anweisungen gut sind, sie zu korrigieren, falls sie verwirrend sind, oder sie kostengünstiger zu machen. Die Autoren schlagen eine radikale Idee vor: Was wäre, wenn wir diese Anweisungen wie jeden anderen Datensatz behandeln würden, wie etwa einen Namen oder eine Zahl, die direkt in den Datenbanktabellen gespeichert sind? Indem sie die Anweisungen für die Datenbank „sichtbar“ machen, könnte das System sie automatisch umschreiben, um sie intelligenter, schneller und genauer zu machen, indem es das eigene Wissen der Datenbank nutzt, um dem Roboter bei seiner Arbeit besser zu helfen.

Die große Idee des Papers: Prompts als Daten

Die Autoren, Denis Mayr Lima Martins und Gottfried Vossen, führen ein neues System namens PromptDB ein. Betrachten Sie es als eine Datenbank, die nicht nur Fakten speichert, sondern auch die Anweisungen, wie man mit einer KI spricht. In traditionellen Systemen, wenn Sie möchten, dass eine KI eine Kundenbeschwerde klassifiziert (wie „Mein Paket ist nie angekommen!“), würden Sie einen Prompt in Ihrem Anwendungscode schreiben, den Text aus der Datenbank abrufen und ihn an die KI senden. Die Datenbank sieht darin nur einen Textstring; sie weiß nicht, dass dieser Text eine Anweisung ist, die ausgeführt werden soll.

In PromptDB ist der Prompt ein First-Class Citizen. Es ist ein spezieller Datentyp namens PROMPT. Anstatt die Anweisungen in einem Notizbuch zu verstecken, speichert die Datenbank sie direkt in den Tabellenzeilen, zusammen mit den Daten, die sie beschreiben. Eine Zeile könnte so aussehen:

• Ticket-ID: 1001
• Nachricht: „Paket nie angekommen“
• Priorität: Hoch
• Anweisung: PROMPT("Klassifiziere dieses Ticket: {{body}}", output: [erstattung, lieferung, technisch, andere])

Hier ist die Anweisung ein strukturiertes Objekt. Es kennt das Template („Klassifiziere dieses Ticket...“), es weiß, welchen Teil der Zeile es einsetzen muss (den body), und es kennt die gültigen Antworten (die output-Liste). Da die Datenbank die Anweisung „sehen“ kann, kann sie wie ein intelligenter Editor agieren.

Der magische Editor: PromptOpt

Die wahre Magie geschieht mit einer Komponente namens PromptOpt. Stellen Sie sich vor, Sie sind eine Lehrkraft, die den Aufsatz eines Schülers bewertet. Wenn der Schüler eine lange, abschweifende Antwort schreibt, könnten Sie ihm sagen: „Sei prägnant.“ Wenn er vergisst, die erforderlichen Schritte aufzulisten, könnten Sie sagen: „Füge die fehlenden Schritte hinzu.“ PromptOpt macht dies automatisch für KI-Prompts.

Das System nutzt das eigene Wissen der Datenbank, um die Anweisungen umzuschreiben, bevor sie an die KI gesendet werden. Es hat ein paar Tricks parat:

1. Constraint Injection (Einfügen von Einschränkungen): Wenn die Datenbank weiß, dass die einzigen gültigen Antworten „Erstattung“ oder „Lieferung“ sind, schreibt PromptOpt den Prompt so um, dass explizit an die KI gerichtet wird: „Du musst genau eines dieser Wörter wählen.“ Dies verhindert, dass die KI seltsame Antworten wie „Der Kunde ist traurig“ erfindet.
2. Column Projection (Spaltenprojektion): Wenn eine Zeile 50 Spalten mit Daten hat, die KI aber nur die Spalte „Nachricht“ lesen muss, schneidet PromptOpt die anderen 49 heraus. Dies spart Geld (weniger Token zum Lesen) und reduziert Verwirrung.
3. Few-Shot Examples (Beispiele zur Veranschaulichung): Das System kann in anderen Zeilen der Datenbank nachsehen, gute Beispiele für korrekte Antworten finden und diese in den Prompt einfügen, um der KI genau zu zeigen, was zu tun ist.

Das System behandelt diese Umschreibungen wie einen Abfrageoptimierer. Genau wie ein Datenbank-Optimierer entscheidet, welcher der schnellste Weg ist, um Daten zu suchen, entscheidet PromptOpt, wie der beste Weg ist, den Prompt zu schreiben. Es wägt die Kosten (wie viele Wörter die KI lesen/schreiben muss) gegen die Qualität (wie wahrscheinlich die Antwort korrekt ist) ab. Es könnte entscheiden, dass für eine einfache Aufgabe ein kurzer Prompt ausreicht, aber für eine schwierige Aufgabe es sich lohnt, den zusätzlichen Kosten zu folgen, um Beispiele hinzuzufügen.

Was sie herausgefunden haben

Die Autoren testeten PromptDB auf drei verschiedenen Datensätzen: gefälschte Support-Tickets, einen Datensatz zur Autobewertung und einen Standard-Industriedatensatz namens TPC-H. Sie verglichen drei Wege der Umsetzung:

1. Statisch: Der alte Weg, bei dem der Prompt einmal geschrieben und nie verändert wird.
2. Alle Regeln: Eine Version, die blind jede mögliche Umschreiberegel anwendet.
3. PromptOpt: Die intelligente Version, die die beste Umschreibung für jede spezifische Aufgabe auswählt.

Die Ergebnisse legen nahe, dass die Behandlung von Prompts als Daten funktioniert.

• Bessere Qualität: Wenn die Aufgabe erforderte, dass die KI aus einer bestimmten Liste von Optionen wählt (wie die Klassifizierung eines Tickets), machte die datenbankgestützte Umschreibung die KI viel genauer. Der „Alle Regeln“-Ansatz lieferte oft die besten Ergebnisse, war aber teuer.
• Der Kompromiss: Das PromptOpt-System gelang es, einen Mittelweg zu finden. Es wählte nicht immer den teuersten, komplexesten Prompt. Stattdessen wählte es einfachere Prompts, die für die Aufgabe „gut genug“ waren, wodurch die Rechenkosten gesenkt wurden, während gleichzeitig hohe Qualitätsergebnisse erzielt wurden. In einigen Tests erreichte PromptOpt beispielsweise eine konkurrenzfähige Qualität mit deutlich weniger Input-Token als die statische Methode.
• Aufgabe entscheidet: Das Paper stellt fest, dass nicht alles mit einer Größe passt. Eine Umschreibung, die bei der „semantischen Filterung“ (Prüfen, ob eine Zeile einer Regel entspricht) hilft, hilft vielleicht nicht bei der „Wertnormalisierung“ (Bereinigung von unordentlichem Text). Das System legt nahe, dass zukünftige Versionen noch intelligenter werden müssen, um zu wissen, welche Regel für welche Aufgabe zu verwenden ist.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper argumentt, dass wir aufhören sollten, KI-Anweisungen als verborgenen, unveränderlichen Code zu behandeln. Indem wir sie als sichtbare Daten behandeln, können wir die Superkräfte der Datenbank nutzen – ihr Wissen über Einschränkungen, ihre Fähigkeit zum Filtern von Daten und ihre Optimierungsfähigkeiten –, um KI-Interaktionen zuverlässiger und effizienter zu machen.

Die Autoren sind jedoch vorsichtig darauf zu achten, nicht zu behaupten, dass dies ein perfektes, gelöstes Problem sei. Sie geben zu, dass ihr aktuelles System einfache „heuristische“ Regeln (gebildete Vermutungen) verwendet, um Qualität und Kosten zu schätzen, anstatt ein voll trainiertes KI-Modell, das genau weiß, wie gut ein Prompt sein wird. Sie schlagen vor, dass das System zwar in Simulationen und auf spezifischen Datensätzen gut funktioniert, der „Qualitäts-Schätzer“ jedoch noch intelligenter werden muss, um jede Aufgabe perfekt handhaben zu können.

Kurz gesagt: PromptDB deutet eine Zukunft an, in der Ihre Datenbank nicht nur ein Lagerhaus für Fakten ist, sondern ein aktiver Coach für Ihre KI, der deren Anweisungen in Echtzeit umschreibt, um sicherzustellen, dass die Arbeit richtig, schnell und ohne Ressourcenverschwendung erledigt wird. Es ist ein Schritt dahin, KI weniger wie eine Black Box und mehr wie einen natürlichen Teil der Datenwelt erscheinen zu lassen.