Prompt as a Data Type: In-Database LLM Prompt Management and Rewriting

De geheime taal van databases en robots

Stel je voor dat je een gigantische, supergeorganiseerde bibliotheek hebt (een database) die miljoenen feiten bevat, en je hebt een briljante, praatgrage robot (een Large Language Model, of LLM) die bijna alles kan lezen en begrijpen. Normaal gesproken moet er een mens als tussenpersoon optreden om de robot een taak te laten uitvoeren met de feiten uit de bibliotheek. Die persoon pakt een stuk papier uit de bibliotheek, schrijft een specifieke reeks instructies (een "prompt") voor de robot, stuurt het op en wacht op het antwoord. Het probleem is dat de bibliotheek zelf niet weet welke instructies de robot volgt. Het is als een chef-kok die precies weet welke ingrediënten er in de koelkast liggen, maar de receptuur die de kok gebruikt niet kan zien; de chef kan een slecht recept niet helpen verbeteren of betere ingrediënten voorstellen omdat het recept verborgen is in een schriftje op het aanrecht.

Dit artikel stapt de wereld van de informatica binnen waar databases en kunstmatieve intelligentie elkaar ontmoeten. Het pakt een specifiek hoofdpijndossier aan: op dit moment worden de instructies die we aan AI-robots geven vaak buiten de database opgeslagen, in rommelige code of schriftjes. Dit maakt het moeilijk voor de database om te controleren of de instructies goed zijn, ze te corr Mezuren als ze verwarrend zijn, of ze goedkoper te laten draaien. De auteurs stellen een radicaal idee voor: wat als we deze instructies behandelden als elke andere vorm van data, zoals een naam of een getal, opgeslagen direct in de database-tabellen? Door de instructies "zichtbaar" te maken voor de database, kan het systeem ze automatisch herschrijven om ze slimmer, sneller en nauwkeuriger te maken, waarbij het de eigen kennis van de database gebruikt om de robot beter zijn werk te laten doen.

Het grote idee van het artikel: Prompts als data

De auteurs, Denis Mayr Lima Martins en Gottfried Vossen, introduceren een nieuw systeem genaamd PromptDB. Beschouw dit als een database die niet alleen feiten opslaat, maar ook de instructies voor hoe je met een AI moet communiceren. In traditionele systemen, als je wilde dat een AI een klantklacht classificeerde (zoals "Mijn pakketje is nooit aangekomen!"), zou je een prompt in je applicatiecode schrijven, de tekst uit de database ophalen en deze naar de AI sturen. De database ziet slechts een reeks tekst; het weet niet dat deze tekst een reeks instructies is die bedoeld is om uitgevoerd te worden.

In PromptDB is de prompt een first-class citizen. Het is een speciaal datatype genaamd PROMPT. In plaats van de instructies te verbergen in een schriftje, slaat de database ze direct op in de rijen van de tabel, samen met de data die ze beschrijven. Een rij zou er zo uit kunnen zien:

• Ticket ID: 1001
• Bericht: "Pakketje nooit aangekomen"
• Prioriteit: Hoog
• Instructie: PROMPT("Classificeer dit ticket: {{body}}", output: [refund, delivery, technical, other])

Hier is de instructie een gestructureerd object. Het kent de sjabloon ("Classificeer dit ticket..."), het weet welk deel van de rij het moet invullen (de body), en het kent de geldige antwoorden (de output lijst). Omdat de database de instructie kan "zien", kan het optreden als een slimme redacteur.

De magische editor: PromptOpt

De echte magie gebeurt met een component genaamd PromptOpt. Stel je voor dat je een leraar bent die het essay van een leerling beoordeelt. Als de leerling een langdradig antwoord schrijft, kun je zeggen: "Wees beknopt." Als ze de vereiste stappen vergeten zijn, kun je zeggen: "Voeg de ontbrekende stappen toe." PromptOpt doet dit automatisch voor AI-prompts.

Het systeem gebruikt de eigen kennis van de database om de instructies te herschrijven voordat ze naar de AI worden gestuurd. Het heeft een paar trucjes in zijn mouwen:

1. Constraint Injection: Als de database weet dat de enige geldige antwoorden "refund" of "delivery" zijn, herschrijft PromptOpt de prompt om de AI expliciet te vertellen: "Je moet een van deze exacte woorden kiezen." Dit voorkomt dat de AI vreemde antwoorden verzint zoals "De klant is verdrietig."
2. Column Projection: Als een rij 50 kolommen aan data heeft maar de AI alleen de kolom "message" nodig heeft, knipt PromptOpt de overige 4j kolommen eruit. Dit bespaart geld (minder tokens om te lezen) en vermindert verwarring.
3. Few-Shot Examples: Het systeem kan naar andere rijen in de database kijken, goede voorbeelden van correcte antwoorden vinden en deze in de prompt invoegen om de AI precies te laten zien wat hij moet doen.

Het systeem behandelt deze herschrijvingen als een query optimizer. Net zoals een database-optimizer beslist wat de snelste manier is om data te zoeken, beslist PromptOpt wat de beste manier is om de prompt te schrijven. Het weegt de kosten (hoeveel woorden de AI moet lezen/schrijven) af tegen de kwaliteit (hoe waarschijnlijk het is dat het antwoord correct is). Het kan besluiten dat voor een eenvoudige taak een korte prompt voldoende is, maar dat het de moeite waard is om de extra kosten te betalen voor het toevoegen van voorbeelden bij een lastige taak.

Wat ze hebben gevonden

De auteurs testten PromptDB op drie verschillende datasets: nep klachten van klanten, een dataset voor autoevaluaties en een standaard industriële dataset genaamd TPC-H. Ze vergeleken drie manieren van werken:

1. Statisch: De oude methode, waarbij de prompt één keer wordt geschreven en nooit verandert.
2. Alle Regels: Een versie die blindelings elke mogelijke herschrijfwet regel toepast.
3. PromptOpt: De slimme versie die de beste herschrijving kiest voor elke specifieke taak.

De resultaten suggereren dat het behandelen van prompts als data werkt.

• Betere Kwaliteit: Wanneer de taak vereiste dat de AI een keuze maakte uit een specifieke lijst met opties (zoals het classificeren van een ticket), maakte de door de database geleide herschrijving de AI veel nauwkeuriger. De "All Rules"-benadering gaf vaak de beste resultaten, maar was duur.
• De Afweging: Het PromptOpt-systeem wist een evenwicht te vinden. Het koos niet altijd de meest dure, complexe prompt. In plaats daarvan koos het simpelere prompts die "goed genoeg" waren voor de taak, waardoor de computertkosten werden bespaard terwijl de kwaliteit hoog bleef. In sommige tests behaalde PromptOpt bijvoorbeeld een concurrerende kwaliteit met aanzienlijk minder input-tokens dan de statische methode.
• Taak bepaalt de aanpak: Het artikel merkt op dat één maatregel niet voor iedereen werkt. Een herschrijving die helpt bij "semantic filtering" (controleren of een rij aan een regel voldoet) helpt misschien niet bij "value normalization" (het opschonen van rommelige tekst). Het systeem suggereert dat toekomstige versies nog slimmer moeten worden in het weten welke regel te gebruiken voor welke taak.

Wat dit betekent (en wat het niet betekent)

Het artikel betoogt dat we moeten stoppen met het behandelen van AI-instructies als verborgen, onveranderlijke code. Door ze zichtbare data te maken, kunnen we de superkrachten van de database benutten — de kennis van beperkingen, het vermogen om data te filteren en de optimalisatievaardigheden — om AI-interacties betrouwbaarder en efficiënter te maken.

De auteurs zijn echter voorzichtig om niet te beweren dat dit een perfect, opgelost probleem is. Ze geven toe dat hun huidige systeem gebruikmaakt van eenvoudige "heuristische" regels (educated guesses) om kwaliteit en kosten in te schatten, in plaats van een volledig geleerd AI-model dat precies weet hoe goed een prompt zal zijn. Ze suggereren dat hoewel de prototype goed werkt in simulaties en op specifieke datasets, de "kwaliteitsestimator" slimmer moet worden om elke mogelijke taak perfect aan te kunnen.

Kortom, PromptDB suggereert een toekomst waarin je database niet alleen een magazijn voor feiten is, maar een actieve coach voor je AI, die de instructies in realtime herschrijft om ervoor te zorgen dat de taak goed, snel en zonder verspilling van middelen wordt uitgevoerd. Het is een stap naar het laten voelen van AI als minder een black box en meer een natuurlijk onderdeel van de datawereld.