Structural Quality Gaps in Practitioner AI Governance Prompts: An Empirical Study Using a Five-Principle Evaluation Framework
Deze empirische studie introduceert een vijf-beginsel-evaluatiekader om structurele kwaliteitsgaten in AI-governance-prompten te identificeren en toont aan dat 37% van de onderzochte bestanden onvolledig is, met name door het ontbreken van data-classificatie en beoordelingsrubrieken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar soms wat ongeduldige assistent hebt. Deze assistent is een AI die voor je werkt: hij schrijft code, controleert documenten of lost problemen op. Maar er is een probleem: deze assistent is heel slim, maar hij is ook een beetje als een kind dat alles letterlijk neemt. Als je hem niet heel duidelijk vertelt wat hij moet doen, hoe hij het moet doen, en wanneer hij mag stoppen, kan hij dingen doen die je niet bedoelde, of zelfs gevaarlijke fouten maken.
Dit artikel van Christo Zietsman gaat over een onderzoek naar de "regels" die mensen schrijven voor deze AI-assistenten. In de tech-wereld heten deze regels vaak AGENTS.md bestanden. De auteur noemt ze "governance prompts" (besturingsopdrachten).
Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:
1. Het Probleem: De Onvolledige Recept
Stel je voor dat je een kok (de AI) inhuurt om een maaltijd te maken. Je geeft hem een briefje met de opdracht: "Maak een lekkere pasta."
- Wat er misgaat: De kok maakt misschien een pasta, maar hij gebruikt misschien giftige kruiden, hij gebruikt de verkeerde pasta voor de rest van de week, of hij stopt nooit met koken omdat niemand heeft gezegd wanneer het eten klaar is.
- De bevinding: De auteur heeft 34 van deze "recepten" (de
AGENTS.mdbestanden) van echte bedrijven en ontwikkelaars onderzocht. Hij ontdekte dat 37% van deze recepten zo slecht geschreven zijn, dat de AI er niet zeker van kan zijn wat hij moet doen. Het zijn geen goede instructies, maar meer vaag gedoe.
2. De Oplossing: De Vijf Regels voor een Goed Recept
De auteur heeft een nieuw systeem bedacht om te checken of een recept goed is. Hij noemt dit de "Vijf-Principes Methode". Denk hierbij aan de vijf benodigdheden voor een perfecte reisgids:
- Het Doel (Success Definition): Wanneer is de reis voorbij?
- Vergelijking: Zeg niet alleen "Ga naar Italië". Zeg: "Stop in Rome, bezoek het Colosseum en ga pas terug als je een foto hebt gemaakt." Als de AI niet weet wat "klaar" is, blijft hij maar doorgaan of stopt hij te vroeg.
- De Beoordeling (Assessment Rubric): Hoe weet je of het goed is?
- Vergelijking: Geef de kok een lijstje: "De saus moet rood zijn, niet bruin. De pasta moet 'al dente' zijn." Zonder deze lijst kan de kok denken dat hij het goed doet, terwijl het eten vreselijk smaakt.
- De Grenzen (Scope Boundary): Wat mag je NIET doen?
- Vergelijking: Zeg niet alleen "Kook eten". Zeg ook: "Gebruik geen mesjes en ga niet naar de vriezer." Veel mensen vergeten te zeggen wat de AI niet mag doen, waardoor hij soms gevaarlijke dingen probeert.
- De Gegevens (Data Classification): Behandel alles anders.
- Vergelijking: Als je een geheim recept hebt, mag je dat niet op Facebook zetten. Als het een open recept is, mag dat wel. De AI moet weten welk stukje informatie "geheim" is en welk stukje "openbaar". Vaak vergeten mensen dit te specificeren.
- De Controle (Quality Gate): Check het werk voordat je het afgeeft.
- Vergelijking: Laat de kok de maaltijd proeven voordat hij hem serveert. De AI moet zelf controleren: "Is dit wat de baas wilde?" voordat hij het resultaat terugstuurt.
3. Wat Vonden Ze?
Toen ze de 34 bestanden checkten, zagen ze drie grote problemen:
- De "Vaagheid": De meeste bestanden zeggen wel wat de AI moet doen (bijv. "schrijf code"), maar niet hoe je weet dat het goed is (geen beoordelingslijstje).
- De "Verwijzing": Veel bestanden zeggen alleen: "Kijk naar een ander bestand voor de regels." Maar soms is dat andere bestand vergeten, kapot of bestaat het niet meer. Het is alsof je een recept hebt dat zegt: "Kijk op pagina 50," maar in dat boek ontbreekt pagina 50.
- De "Geheimen": Niemand schrijft duidelijk op hoe de AI moet omgaan met gevoelige data (zoals wachtwoorden of persoonlijke info).
4. Waarom Is Dit Belangrijk?
Vroeger schreven mensen software met heel strikte regels. Nu laten we AI's dingen doen met losse zinnen. Dit artikel zegt: "Stop met losse zinnen. Schrijf echte specificaties."
Als bedrijven deze vijf regels gaan gebruiken, kunnen ze:
- Fouten voorkomen voordat de AI überhaupt begint.
- Zorgen dat de AI niet per ongeluk gevoelige data lekt.
- Zorgen dat de AI stopt op het juiste moment.
Conclusie
Dit onderzoek is een wake-up call voor iedereen die AI gebruikt. Het zegt: "Jullie geven de AI te vaag instructies. Het is alsof je een autohuurt zonder een bestuurdershandleiding. Geef de AI een duidelijk 'recept' met een doel, een controlelijstje en duidelijke grenzen, anders gaat het mis."
De auteur stelt voor om automatische tools te bouwen die deze "recepten" controleren voordat ze worden gebruikt, net zoals een grammaticacontrole in Word, maar dan voor AI-instructies.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.