Contractual Skills: A GovernSpec Design Framework for Enterprise AI Agents
Dit artikel introduceert "contractuele vaardigheden", een door GovernSpec geïnspireerd raamwerk dat instructies voor enterprise AI-agenten structureert als leesbare taakcontracten om de controleerbaarheid van doelen, grenzen en kwaliteitscriteria te verbeteren, en dat door middel van experimenten aantoont dat deze aanpak de governance en onderhoudbaarheid verbetert in plaats van te fungeren als een zelfstandig veiligheidsmechanisme.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, snelle, maar soms te enthousiaste assistent inhuurt om je bedrijf te helpen runnen. Je geeft hen een stapel instructies genaamd "Vaardigheden".
In de oude manier van werken waren deze instructies als een lange, wijdlopige brief. Je zou kunnen schrijven: "Hé, wees aardig tegen klanten, controleer de prijslijst en beloof niets wat je niet kunt leveren." De assistent leest het, knikt en doet zijn best. Maar omdat de regels begraven liggen in alinea's tekst, kan de assistent vergeten de prijs te controleren, of erger, per ongeluk een korting beloven die hij niet mag geven.
Dit paper stelt een nieuwe manier voor om deze instructies te schrijven, genaamd "Contractuele Vaardigheden".
De Kernidee: Van Brief naar Checklist
In plaats van een lange brief, zie een Contractuele Vaardigheid als een formeel arbeidsovereenkomst of een vliegerchecklist.
De auteur, Ting Liu, stelt dat elke vaardigheid specifieke, gelabelde vakken (velden) moet hebben die de assistent moet invullen of volgen:
- Doel: Wat proberen we precies te doen?
- Inputs: Welke informatie hebben we nodig voordat we beginnen? (Als je het ID-nummer van de klant niet hebt, stop dan!)
- Permissies: Welke tools mag je aanraken? (Je mag de e-mail lezen, maar je mag het bestand niet verwijderen.)
- Menselijke Poorten: Wanneer moet je stoppen en een menselijke baas om goedkeuring vragen? (Bijvoorbeeld: "Als de korting meer dan 10% is, pauzeer en wacht op een handtekening.")
- Bewijs: Waar heb je je feiten vandaan? (Raad niet; toon je bronnen.)
- Output: Hoe moet het eindresultaat eruit zien? (Een specifiek formaat, niet zomaar een willekeurige alinea.)
Waarom Dit Doen?
Het paper stelt dat wanneer regels verborgen zitten in "proza" (lange tekst), ze makkelijk over het hoofd te zien zijn. Wanneer ze in gelabelde vakken staan, worden ze onmogelijk te negeren.
- Analogie: Stel je een piloot voor die een vliegtuig bestuurt. Als de veiligheidsregels in een roman staan, kan de piloot een stap missen. Als de regels op een checklist met hokjes staan, moet de piloot ze afvinken. Contractuele Vaardigheden zetten de instructies van de AI om in die checklist.
Wat Hebben Ze Getest?
De onderzoekers voerden twee hoofdexperimenten uit om te zien of deze "checklist"-aanpak echt beter werkt dan de "lange brief"-aanpak.
1. De Schrijftest (Tekstgeneratie)
Ze vroegen verschillende AI-modellen om taken uit te voeren zoals het schrijven van verkoop-e-mails, het beoordelen van contracten of het controleren van code. Ze vergeleken vier versies:
- Geen Vaardigheid: Alleen een basisprompt.
- Minimale Vaardigheid: Een korte, simpele instructie.
- Gewone Uitgebreide Vaardigheid: Een lange, gedetailleerde instructie (zoals de oude "wijdlopige brief").
- Contractuele Vaardigheid: Dezelfde gedetailleerde informatie, maar georganiseerd in het strenge "checklist"-formaat.
Het Resultaat: "Contractuele Vaardigheden" produceerden consequent betere, beter gestructureerde en veiligere resultaten dan het hebben van geen vaardigheid of een minimale vaardigheid. In vergelijking met de "Gewone Uitgebreide" versie (die dezelfde hoeveelheid informatie had), was de Contractuele versie iets beter in het naleven van de regels en het formaat, hoewel het verschil niet enorm was. De belangrijkste winst was dat de output makkelijker te controleren en verifiëren was.
2. De "Raak Dat Niet Aan"-test (Tool Calling)
Ze gaven de AI toegang tot gesimuleerde tools, waaronder enkele "gevaarlijke" (zoals bestanden verwijderen of geld sturen) die geblokkeerd zouden moeten worden. Ze keken of de AI probeerde ze te gebruiken.
Het Resultaat:
- Goed Nieuws: Het gebruik van een soort vaardigheid (zelfs een simpele) maakte de AI minder geneigd om gevaarlijke acties te ondernemen.
- De Kehr: De "Contractuele Vaardigheid" stopte de AI niet magisch in elk geval met het proberen de regels te breken. Sommige modellen probeerden nog steeds de gevaarlijke tools te gebruiken.
- De Les: De vaardigheid fungeert als een waarschuwingsbord of een reglement dat de AI vertelt wat zou moeten gebeuren, maar het kan de AI fysiek niet stoppen van het proberen. Je hebt nog steeds een "beveiliger" (runtime guardrails) nodig om de slechte actie fysiek te blokkeren. De vaardigheid maakt de AI alleen slimmer over wanneer te stoppen.
De Conclusie
Dit paper beweert niet dat Contractuele Vaardigheden AI perfect veilig maken of dat ze menselijk toezicht vervangen. In plaats daarvan beweert het dat ze de functieomschrijving van de AI veel duidelijker maken.
- Voorheen: "Hier is een lange brief met instructies. Veel succes!"
- Na: "Hier is een contract met duidelijke vakken voor 'Wat te doen', 'Wat te vermijden' en 'Wanneer om hulp vragen'."
Dit maakt het voor mensen makkelijker om het werk van de AI te beoordelen, makkelijker om te testen of de AI de regels volgt, en helpt de AI de grenzen van zijn werk te begrijpen. Het verandert een vage "prompt" in een beheersbaar organisatorisch actief.
Kortom: Contractuele Vaardigheden maken de AI niet tot een superheld; ze geven hem gewoon een betere kaart en een duidelijker set regels zodat hij niet verdwaalt of per ongeluk de auto laat crashten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.