💬 NLP

PromptPrism: A Linguistically-Inspired Taxonomy for Prompts

Het artikel introduceert PromptPrism, een taalkundig geïnspireerde taxonomie die prompts structureert over functionele, semantische en syntactische niveaus om systematische analyse, geautomatiseerde verfijning, datasetprofilering en gecontroleerde sensitiviteitstesten voor grote taalmodellen mogelijk te maken.

Oorspronkelijke auteurs: Sullam Jeoung, Yueyan Chen, Yi Zhang, Shuai Wang, Haibo Ding, Lin Lee Cheong

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sullam Jeoung, Yueyan Chen, Yi Zhang, Shuai Wang, Haibo Ding, Lin Lee Cheong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar letterlijke robot probeert te leren hoe hij een verhaal moet schrijven. Je typt een reeks instructies uit, maar de robot raakt soms in de war, schrijft te veel, of mist de kern. Je denkt misschien: "Misschien moet ik het gewoon op een andere manier proberen te zeggen." Maar zonder een duidelijke kaart ben je slechts aan het gissen.

Dit artikel introduceert PROMPTPRISM, een nieuwe "kaart" of "grammaticaboek" om precies te begrijpen hoe die instructies (ook wel prompts genoemd) zijn opgebouwd. De auteurs, onderzoekers van Amazon AWS, stellen dat we moeten stoppen met gissen en prompts moeten analyseren zoals taalkundigen menselijke taal analyseren.

Hier is hoe ze het onderverdelen, met behulp van eenvoudige analogieën:

1. De Drielagige Taart (De Taxonomie)

De auteurs zeggen dat een prompt niet zomaar een blok tekst is; het is een gestructureerd object met drie duidelijke lagen, als een taart met verschillende smaken in elke laag.

Laag 1: Het Structurele Niveau (De Rollen)
Dit kun je zien als de cast van personages in een toneelstuk. Wie is er aan het woord?
- Systeem: De regisseur die de regels van het podium bepaalt.
- Gebruiker: De acteur die vraagt om een scène.
- Assistent: De acteur die reageert.
- Tools: De rekwisieten of speciale effecten die worden gebruikt.
- Waarom het belangrijk is: Net zoals een toneelstuk moet weten wie tegen wie praat, moet de AI weten wie de opdracht geeft.
Laag 2: Het Semantische Niveau (De Betekenis)
Dit is de werkelijke inhoud van de tekst. Wat probeert het personage eigenlijk te doen?
- Instructie: De hoofdtaken (bijv. "Schrijf een verhaal").
- Context: De achtergrondinformatie (bijv. "Het verhaal gaat over een kat").
- Restricties: De regels (bijv. "Gebruik geen scheldwoorden", "Houd het onder de 50 woorden").
- Voorbeelden: Laten zien hoe een goed antwoord eruitziet.
- Waarom het belangrijk is: Deze laag scheidt het "wat" van het "hoe". Het helpt ons te zien of de robot een cruciale regel of een stukje achtergrondinformatie mist.
Laag 3: Het Syntactische Niveau (De Formattering)
Dit is de interpunctie en lay-out. Het is de onzichtbare lijm die de tekst bij elkaar houdt.
- Delimiters (Scheidingstekens): De lijnen, spaties of symbolen (zoals ### of ---) die verschillende delen van elkaar scheiden.
- Prefixen/Suffixen (Voorvoegsels/Achtervoegsels): Woorden als "Stap 1:" of "Antwoord:" die fungeren als wegwijzers.
- Waarom het belangrijk is: Het onderzoek toonde aan dat het veranderen van een komma in een punt, of het verplaatsen van een sectie van de bovenkant naar de onderkant, de prestaties van de robot volledig kan veranderen.

2. Wat hebben ze met deze kaart gedaan?

De auteurs hebben de kaart niet alleen getekend; ze hebben deze gebruikt om echte problemen op te lossen op drie specifieke manieren:

Slechte instructies verbeteren (Prompt Refinement):
Stel je voor dat je een slordig recept hebt dat een verschrikkelijke taart oplevert. Met behulp van PROMPTPRISM hebben ze niet simpelweg nieuwe ingrediënten geraden. Ze analyseerden het recept, zagen dat de "baktijd" (Restrictie) onderaan was begraven, en verplaatsten deze naar de bovenkant.
- Resultaat: Ze verbeterden de instructies automatisch, en de AI presteerde aanzienlijk beter (tot wel 29% beter op sommige taken) zonder dat de AI zelf opnieuw getraind hoefde te worden.
Een "gezondheidscheck" uitvoeren op datasets (Dataset Profiling):
Stel je een bibliotheek voor waar boeken op een hoop zijn gegooid. De auteurs gebruikten hun kaart om de boeken te sorteren, waarbij ze telden hoeveel er "instructies" hadden, hoeveel "voorbeelden" hadden en hoe ze geformatteerd waren.
- Resultaat: Ze maakten een gedetielerd profiel van twee verschillende AI-datasets, waarmee ze precies lieten zien welke soorten instructies ze bevatten en waar de hiaten zaten (bijv. één dataset had veel "tools" maar geen "veiligheidsregels").
Testen hoe gevoelig de AI is (Sensitivity Analysis):
Ze behandelden de prompt als een muziekinstrument. Ze vroegen: "Als ik deze noot (de instructie) van het begin naar het einde verplaats, klinkt het lied dan anders?"
- Resultaat: Ze ontdekten dat de AI zeer gevoelig is voor de volgorde van de instructies. Het plaatsen van de hoofdtaken aan het einde van de prompt zorgde er vaak voor dat de AI veel beter presteerde. De AI was echter verrassend niet gevoelig voor kleine veranderingen in de formattering (zoals het gebruik van een dubbele regeleinde versus een enkele regeleinde).

Het Grotere Plaatje

Het artikel beweert dat door prompts te behandelen als gestructureerde taal in plaats van willekeurige tekst, we kunnen:

Begrijpen waarom een AI slaagt of faalt.
Verbeteren door prompts automatisch aan te passen voor betere resultaten.
Standaardiseren hoe we over prompts praten in onderzoek, zodat wetenschappers niet langer alleen maar aan het gissen zijn.

Kortom, PROMPTPRISM is een toolkit die de "black box" van AI-prompting verandert in een helder, georganiseerd systeem, waardoor we de taal van de robot effectiever kunnen spreken.

Technische Samenvatting: PROMPTPRISM

Probleemstelling

De systematische studie van promptontwerp en -optimalisatie is cruciaal geworden in de evolutie van Large Language Models (LLM's), maar het vakgebied kampt met een gebrek aan een uitgebreid kader voor het analyseren van prompts zelf. Hoewel effectieve prompts de prestaties van modellen aanzienlijk verbeteren, vertonen LLM's een opmerkelijke gevoeligheid voor diverse kenmerken, waaronder stilistische formattering, sequentiële ordening, taakverklaringen en meta-regels. De huidige literatuur lijdt aan inconsistente documentatie van prompt-specificaties, wat systematische prestatie-evaluatie en vergelijkende analyse belemmert. Bestaande kaders richten zich vaak op het analyseren van gegenereerde responsen (bijv. behulpzaamheid, ongevaarlijkheid) of missen de diepgang om genuanceerde variaties in de compositie van prompts en hun effecten op modelgedrag te vatten.

Methodologie: PROMPTPRISM Framework

De auteurs introduceren PROMPTPRISM, een taalkundig geïnspireerde taxonomie ontworpen om prompts te behandelen als gestructureerde discoursunits met planmatige intenties. Het framework deelt prompts op over drie hiërarchische niveaus, waarbij parallellen worden getrokken met de traditionele taalkundige theorie (morfologie, syntaxis, semantiek en pragmatiek):

Structureel Niveau: Dit niveau conceptualiseert prompts als georganiseerde discoursunits gedefinieerd door rollen ( $r \in R$ ). Het onderscheidt specifieke interactierollen:
- Systeem (System): Biedt kerninstructies en het framework.
- Gebruiker (User): Initieert queries of verzoeken.
- Assistent (Assistant): Genereert responsen.
- Tools: Afhandeling van specifieke functionaliteiten.
  Het framework behandelt deze als de primaire structurele decompositie van de promptsequentie.
Semantisch Niveau: Deze laag analyseert de betekenis en de intentionele structuur van de inhoud binnen elke rol. Het deelt de promptinhoud op in functionele semantische componenten, wat spiegelt aan taalkundige functionele eenheden. Belangrijke componenten zijn onder meer:
- Instructie (Instruction): High-level directieven die gedrag sturen (bijv. taakdefinities).
- Contextuele/Referentie-informatie (Contextual/Reference Information): Achtergrondkennis, few-shot voorbeelden en kennisbases.
- Output Constrainst (Output Constraints): Specificaties voor formaat, lengte, stijl en veiligheid.
- Gebruikersverzoek/Vraag (User Request/Question): De primaire query.
- Tools: Specificaties voor toolgebruik (naam, beschrijving, parameters).
- Respons (Response): De outputcomponenten van het model (Antwoord, Perifere Verklaring).
- Andere Doelgerichte Componenten (Other Purposeful Components): Adversariële elementen, historische contextpointers, etc.
  Het framework definieert "dominantie- en voldoening-precedentie-relaties" tussen deze componenten.
Syntactisch Niveau: Dit niveau past linguïstische morfologie aan voor promptanalyse, waarbij de focus ligt op structurele en sequentiële eigenschappen in plaats van semantische betekenis. Het omvat:
- Componentorganisatie: Wijst unieke identificatoren toe (Rol, Index) en exacte grenzen (start_pos, end_pos) om manipulatie en reconstructie mogelijk te maken.
- Directieve Markeringen (Directive Markers): Definieert prefixes (bijv. #, //), suffixes (bijv. ., !, ?) en delimiters (bijv. \n\n, ---) als structurele grenzen die de modelprestaties beïnvloeden.

Het framework is ontworpen met vier criteria: Eenvoud (minimale complexiteit), Coherentie (logische consistentie), Volledigheid (dekking van atomaire en samengestelde structuren) en Nut (praktische toepasbaarheid).

Belangrijkste Bijdragen

Het artikel levert twee primaire bijdragen:

Een Nieuw Taxonomie-framework: Het synthetiseert taalkundige theorie met praktische toepassingen om een systematische methode te bieden voor het analyseren en categoriseren van promptkenmerken over structurele, semantische en syntactische dimensies.
Demonstratie van Praktisch Nut: De auteurs valideren het framework via drie afzonderlijke toepassingen:
- Taxonomie-gestuurde Prompt-verfijning: Een benadering die de kwaliteit van prompts automatisch verbetert door willekeurige uitwerking te vervangen door semantisch rijke, gestructureerde componenten.
- Multi-dimensionale Dataset Profilering: Een methode om structurele, semantische en syntactische kenmerken te extraheren en te aggregeren uit prompt-datasets om distributies en patronen te analyseren.
- Gecontroleerd Experimenteel Kader: Een systeem voor prompt-sensitiviteitsanalyse door de impact van semantische herordening en delimiter-modificaties op LLM-prestaties te kwantificeren.

Experimentele Resultaten

De auteurs evalueerden PROMPTPRISM over drie toepassingen:

Prompt-verfijning:
- Setup: Experimenten werden uitgevoerd op de Super Natural Instruction dataset met diverse modellen (Llama3, Claude, Mistral, DeepSeek).
- Bevindingen: De taxonomie-gestuurde benadering presteerde beter dan zowel de standaard basisinstructies als de Chain-of-Thought (CoT) baselines.
- Metrics: In zero-shot settings bereikte de benadering een prestatieverbetering van 112% in tekstgeneratietaken ten opzichte van CoT en een verbetering van ~10% in classificatietaken. In few-shot (2-shot) settings liet het een verbetering van 29% zien in tekstgeneratie en een verbetering van 0,13% in classificatietaken vergeleken met CoT.
Dataset Profilering:
- Setup: Het framework werd toegepast op twee datasets: APIGEN-80K (function calling) en SMOL-MAGPIE-ULTRA (multi-turn interacties).
- Bevindingen: De analyse onthulde duidelijke structurele en semantische profielen. APIGEN-80K vertoonde een single-turn structuur met een hoge diversiteit in semantische componenten (Instructie, Tools, Output Constraints) en complexe boomstructuren. Daarentegen maakte SMOL-MAGPIE-ULTRA gebruik van een multi-turn structuur met een focus op historische context en request queries, wat een meer gestroomlijnde compositie vertoonde. Syntactische analyse benadrukte verschillen in het gebruik van delimiters (bijv. dubbele nieuwe regels versus minimale delimiters).
Prompt Sensitiviteitsanalyse:
- Setup: Gecontroleerde experimenten testten de impact van het herordenen van semantische componenten (Instructie, Request, Context) en het wijzigen van delimiters.
- Bevindingen:
  - Semantische Ordening: Modellen (Claude-Sonnet-3.5, Llama3.2-3b-inst, Mixtral) vertoonden een statistisch significante gevoeligheid voor de volgorde van componenten. Opvallend genoeg leverde het plaatsen van de Instructie-component op de terminale positie substantiële prestatieverbeteringen op (bijv. +12% voor Claude-Sonnet-3.5). DeepSeek-r1 toonde een grotere robuustheid tegen ordeningsveranderingen.
  - Syntactische Delimiters: Hoewel er prestatieverschillen werden waargenomen, produceerden wijzigingen in delimiter-patronen (bijv. het veranderen van \n\n naar #####) geen statistisch significante prestatievariaties, wat suggereert dat modellen gevoeliger zijn voor semantische ordening dan voor syntactische variaties in delimiters.

Betekenis en Claims

Het artikel beweert dat PROMPTPRISM een fundamenteel kader biedt voor het verfijnen, profileren en analyseren van prompts, waarmee de kloof tussen traditionele taalbegrip en modern LLM-onderzoek wordt overbrugd.

Standaardisatie: Het adresseert de cruciale uitdaging van inconsistente prompt-documentatie in LLM-onderzoek, met als doel de prompt-analyse te standaardiseren op een wijze vergelijkbaar met hoe "Model Cards" de modeldocumentatie hebben gestandaardiseerd. Dit bevordert reproduceerbaarheid en maakt meer betekenisvolle vergelijkende analyses tussen studies mogelijk.
Transparantie en Interpreteerbaarheid: Door een gestructureerde manier te bieden om prompts te deconstrueren, vergroot het framework de transparantie en interpreteerbaarheid van taalmodelgedragingen.
Praktisch Nut: Het framework is ontworpen om organisaties te helpen bij het standaardiseren van prompt-bibliotheken, het faciliteren van kennisoverdracht tussen prompt engineers en het beheren van prompt-consistentie over geschaalde LLM-applicaties.
Beperkingen: De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat de top-down benadering mogelijk emergente patronen mist die via een bottom-up analyse identificeerbaar zijn, en dat de huidige implementatie een gebrek heeft aan uitgebreide handmatige annotatie van grootschalige datasets voor volledige validatie. Zij suggereren dat toekomstig werk bottom-up methoden moet integreren en uitgebreide handmatig geannoteerde benchmarks moet ontwikkelen.

Het werk houdt zich aan de ACL Code of Ethics, waarbij wordt benadrukt dat hoewel verbeterde prompt engineering theoretisch misbruikt zou kunnen worden, de voordelen van verhoogde transparantie en interpreteerbaarheid de potentiële risico's overstijgen.