Beyond Task Success: An Evidence-Synthesis Framework for Evaluating, Governing, and Orchestrating Agentic AI
Dit artikel introduceert een bewijsgebaseerd raamwerk om de kloof tussen evaluatie en governance te dichten bij Agentic AI-systemen door een vierlaagsmodel, een ODTA-runtimetest en een minimumbundel voor actiebewijs te presenteren, zodat betrouwbaarheid niet langer alleen op taakvoltooiing wordt beoordeeld.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, digitale assistent hebt die niet alleen antwoorden kan geven, maar ook daadwerkelijk dingen kan doen: boodschappen doen, contracten opstellen, geld overmaken of bestellingen plaatsen. Dit noemen de auteurs "Agentic AI" (agentische AI).
Het probleem is dat we deze assistenten tot nu toe alleen hebben beoordeeld op de vraag: "Heeft hij de taak afgerond?"
Als de assistent een boodschappenlijstje invult, denken we: "Gefeliciteerd, hij is slim!" Maar wat als hij tijdens het invullen per ongeluk 10.000 euro heeft overgemaakt aan de verkeerde persoon, of een verborgen contract heeft getekend?
Deze paper zegt: "Nee, dat is niet genoeg." We moeten kijken naar hoe de assistent de taak heeft gedaan, niet alleen naar het eindresultaat.
Hier is de kern van het verhaal, vertaald naar alledaags taal en met een paar leuke analogieën:
1. Het Probleem: De "Gaten in de Keten"
De auteurs merken op dat er een gevaarlijke kloof bestaat tussen wat we willen (regels) en wat er echt gebeurt (de actie).
- De Regels (Governance): Dit is de wetgever of de baas. Die zegt: "Je mag alleen bij supermarkt A winkelen, en boven de €50 moet je om toestemming vragen."
- De Actie (Orchestration): Dit is de assistent zelf die de boodschappen doet.
- Het Grootste Probleem: De regels bestaan, maar er is geen duidelijke manier om te controleren of de assistent die regels op het juiste moment heeft gehoord. Het is alsof je een snelheidsbord plaatst, maar de bestuurder (de AI) ziet het niet of negeert het omdat hij te druk is met het vinden van de weg.
De paper noemt dit de "Governance-to-Action Closure Gap". In het Nederlands: De kloof tussen wat er staat geschreven en wat er in de praktijk gebeurt.
2. De Oplossing: Het Vier-Lagen Model
Om dit op te lossen, stellen de auteurs een nieuw systeem voor dat bestaat uit vier lagen. Stel je dit voor als een veiligheidscontrole op een vliegveld:
- Evaluatie (De Vliegveldinspectie):
- Vraag: "Hoe ging het?"
- Analogie: Na de vlucht kijken we of de passagiers veilig zijn aangekomen. Maar we kijken ook of de piloot niet te hard heeft gevlogen of of hij de verkeerde route heeft gekozen. Het gaat niet alleen om "aangekomen", maar om "veilig aangekomen".
- Bestuur/Regels (De Wetgeving):
- Vraag: "Wat mag er?"
- Analogie: Dit zijn de regels: "Geen vliegtuigen boven de wolken", "Alleen brandstof van X". Het zegt wat moet, maar niet hoe het technisch wordt uitgevoerd.
- Orkestratie (De Vliegeleider):
- Vraag: "Wat gebeurt er nu?"
- Analogie: Dit is de toren die live meekijkt. Als de piloot (de AI) probeert te landen op een gesloten baan, schakelt de toren in en zegt: "Stop! Niet doen!" Dit is de laag waar de daadwerkelijke controle plaatsvindt.
- Verzekering/Assurance (De Zwarte Doos):
- Vraag: "Kunnen we het bewijzen?"
- Analogie: Als er iets misgaat, halen we de zwarte doos. Kunnen we zien wie wat heeft gezegd, wanneer de rem werd ingedrukt en of de regels werden gevolgd? Zonder dit is het alleen maar "zeggen tegen zeggen".
3. De ODTA-Test: "Moet dit nu gebeuren of later?"
Niet elke regel kan (of moet) door de computer in het echt worden gecontroleerd. De auteurs geven een simpele test, ODTA, om te beslissen waar een regel thuishoort:
- Observability (Zichtbaarheid): Zie je het gevaar voordat het gebeurt?
- Decidability (Beslisbaarheid): Is de regel zo duidelijk dat een computer het kan begrijpen? (Bijv. "Boven de 50 euro" is duidelijk. "Wees beleefd" is lastig voor een computer).
- Timeliness (Tijdsigheid): Kunnen we het nu stoppen, of is het te laat?
- Attestability (Bewijsbaarheid): Kunnen we het later bewijzen als het misging?
Voorbeeld:
- Regel: "Geen boodschappen doen bij onbekende winkels." -> ODTA is sterk. De computer kan dit nu blokkeren (Orkestratie).
- Regel: "De prijzen moeten eerlijk zijn." -> ODTA is zwak. Een computer kan dat op dat moment niet perfect weten. Dit moet later door een mens worden gecontroleerd (Assurance/Bestuur).
4. De "Minimale Bewijsbundel" (MAEB)
Als de AI iets belangrijks doet (zoals geld overmaken), moet er een digitale "handtekening" zijn. Dit noemen ze de Minimum Action-Evidence Bundle.
Stel je voor dat je een bankoverschrijving doet. Je wilt niet alleen dat het geld overgaat, maar je wilt ook weten:
- Wie heeft het gedaan? (De identiteit van de AI).
- Welke regel werd toegepast? (De goedkeuring).
- Wat was de situatie voordat het geld wegging? (De saldo).
- Wat is er precies gebeurd? (Het exacte bedrag en de ontvanger).
Zonder deze "bundel" is het alsof je geld overmaakt zonder bonnetje. Als er later ruzie komt, kun je niets bewijzen.
5. Een Praktijkvoorbeeld: De Inkoop-Assistent
De paper gebruikt een voorbeeld van een AI die inkopen doet voor een bedrijf.
- Situatie: De AI moet een nieuwe laptop bestellen.
- Goed: De AI kijkt of de leverancier op de "goede lijst" staat, vraagt toestemming als het duur is, en slaat alles op in de "zwarte doos".
- Slecht (zonder dit systeem): De AI bestelt een laptop bij een goedkope, onbekende leverancier. De taak is "afgerond" (de laptop is besteld), maar het bedrijf is nu in de problemen. De AI heeft de taak voltooid, maar faalde op het gebied van veiligheid en regels.
Conclusie in één zin
We kunnen niet meer alleen kijken of de AI het werk klaarmaakt. We moeten een systeem bouwen dat live meekijkt (Orkestratie), regels afdwingt (Governance), en bewijs levert (Assurance), zodat we weten dat de AI niet alleen slim is, maar ook betrouwbaar.
Het is alsof we stoppen met alleen kijken of de auto bij de bestemming is aangekomen, en beginnen met kijken of de bestuurder de rem heeft gebruikt, de snelheidslimiet heeft gerespecteerd en of de zwarte doos het allemaal kan bewijzen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.