What You Prompt is What You Get: Increasing Transparency of Prompting Using Prompt Cards
Dit paper introduceert 'prompt cards', gestructureerde documentatie die de transparantie, reproduceerbaarheid en ethische verantwoording van prompt engineering verbetert door de vaak impliciete ontwerpkeuzes expliciet te maken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer getalenteerde, maar soms wat verwarde kok hebt. Deze kok is een Grote Taalmodel (LLM). Hij kan de meest prachtige gerechten (teksten) maken, maar hij heeft een probleem: hij weet niet precies wat je wilt als je alleen zegt "maak iets lekkers".
Als je hem een heel specifiek recept geeft – bijvoorbeeld: "Gebruik 200 gram tomaat, snijd ze in blokjes, voeg basilicum toe en bak ze 5 minuten" – krijg je een heerlijk gerecht. Dit specifieke recept noemen we een "prompt". Het vakgebied om deze recepten te perfectioneren heet prompt engineering.
Maar hier zit een addertje onder het gras:
- Als je het recept niet opschrijft, weet niemand later hoe je het gerecht hebt gemaakt.
- Als je het recept verandert met één woordje (bijvoorbeeld "snijd" in plaats van "hak"), kan het gerecht totaal anders smaken.
- Soms verzonnen koks dingen die er niet zijn (ze noemen dit hallucinaties), of ze gebruiken vooroordelen uit hun eigen hoofd (bijvoorbeeld: "alle chefs zijn mannen").
De auteurs van dit paper zeggen: "Wacht even, we moeten hier transparanter mee omgaan!"
De Oplossing: De "Prompt-kaart"
In de wetenschap gebruiken ze al lang "Modelkaarten" (Model Cards). Dat is als een voedingslabel op een pakje koekjes. Daarop staat: wat zit erin, waarvoor is het, en zijn er allergenen?
De auteurs stellen voor om voor prompts (de recepten) ook zo'n label te maken. Ze noemen dit een "Prompt Card".
Hier is hoe een Prompt Card werkt, vertaald naar alledaagse taal:
1. Het Recept (De Prompt Architectuur)
Net zoals een kok een foto van zijn keuken en de volgorde van de stappen laat zien, laat een Prompt Card zien hoe de prompt precies is opgebouwd.
- Voorbeeld: "Eerst vertellen we de AI wie hij is (een voetbalscout), dan geven we hem de data (statistieken), en dan zeggen we hoe hij moet antwoorden."
- Waarom? Als iemand anders het gerecht wil namaken, ziet hij precies welke ingrediënten en stappen nodig zijn.
2. De Ingrediënten (Dataset & Context)
Wat heeft de AI gebruikt om te leren?
- Voorbeeld: In het paper gebruiken ze een voorbeeld over het vertalen van cijfers naar tekst over voetballers. De Prompt Card zegt dan: "We gebruiken data van 2017-2018 van de Premier League."
- Belangrijk: Als de data verouderd is of alleen mannelijke spelers bevat, moet dat erbij staan. Anders denk je misschien dat de AI over alle spelers spreekt, terwijl dat niet zo is.
3. De Waarschuwingen (Ethiek & Beperkingen)
Dit is misschien wel het belangrijkste deel. Een Prompt Card moet eerlijk zijn over wat de AI niet kan.
- Voorbeeld: "Deze AI kan een persoonlijkheidstest doen, maar hij is geen psycholoog. Hij kan culturele vooroordelen hebben. Gebruik dit niet om iemand te ontslaan!"
- Het is als een bijsluiter bij medicijnen: "Neem dit niet als je zwanger bent" of "Dit kan slaperigheid veroorzaken".
4. De Testresultaten (Evaluatie)
In plaats van alleen te zeggen "het werkt goed", proberen ze met de Prompt Card te laten zien hoe goed het werkt in een specifieke situatie.
- Voorbeeld: "We hebben getest of de AI de cijfers van de voetballer correct in tekst heeft omgezet. In 90% van de gevallen klopte het."
Waarom is dit zo'n goed idee?
Stel je voor dat je een journalist bent. Je schrijft een artikel over een complex onderwerp. Je maakt geen "benchmark" (een standaard test) voor elk artikel, want elk verhaal is anders. Je zorgt er wel voor dat je bronnen vermeldt, uitlegt hoe je aan je informatie kwam, en eerlijk bent over wat je niet weet.
De auteurs zeggen dat we met AI hetzelfde moeten doen. We hoeven niet voor elke taak een nieuwe, strenge test te bedenken (dat is vaak onmogelijk). In plaats daarvan moeten we duidelijk documenteren hoe we de AI hebben gevraagd om iets te doen.
Samenvattend in één zin:
Deze paper zegt: "Stop met het blindelings vertrouwen van AI-antwoorden. Maak een Prompt-kaart (een soort eerlijk etiket) bij elk recept dat je aan de AI geeft, zodat iedereen weet wat erin zit, hoe het is gemaakt, en waar de valkuilen liggen."
Dit maakt AI niet alleen transparanter, maar ook veiliger en betrouwbaarder voor iedereen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.