Drift-Aware Governance-as-Code for Agentic Cloud Operations: Formalizing State Certifiability and Testing Dynamic Authority Control in an AWS Testbed

In de moderne digitale wereld vertrouwen bedrijven op uitgebreide netwerken van computerservers en softwaretools om hun bedrijven te runnen. Om deze systemen soepel te laten draaien, gebruiken organisaties geautomatiseerde programma's, vaak aangedreven door kunstmatige intelligentie, om beslissingen te nemen en problemen op te lossen zonder menselijke hulp. Deze programma's kunnen diensten opschalen, beveiligingsinstellingen wijzigen of defecte componenten herstarten in een fractie van een seconde. Deze geautomatiseerde agenten opereren echter op basis van een kaart van het systeem dat ze moeten beheren. Deze kaart is een lijst met regels en configuraties die beschrijven hoe het systeem eruit zou moeten zien. Het probleem ontstaat wanneer het werkelijke systeem verandert op manieren waarvan de kaart niets weet. Deze kloof tussen wat het systeem zou moeten zijn en wat het op elk gegeven moment werkelijk is, wordt "drift" genoemd. Als een geautomatiseerde agent probeert een probleem op te lossen met een verouderde kaart, kan hij een wijziging aanbrengen die veilig is volgens de kaart, maar gevaarlijk in de werkelijkheid. De kernuitdaging voor ingenieurs is uitzoeken wanneer de kaart zo onbetrouwbaar is dat de agent moet stoppen met het maken van wijzigingen en moet wachten tot een mens de situatie heeft geverifieerd.

Een team van onderzoekers zette zich af om dit specifieke probleem op te lossen door een nieuwe manier te ontwikkelen om deze geautomatiseerde agenten te besturen. Ze ontwikkelden een systeem dat constant controleert hoe ver het echte systeem is afgedreven van het beoogde ontwerp. In plaats van alleen te kijken of een regel is nageleefd, meet hun systeem de kwaliteit van de informatie die de agent gebruikt. Ze noemen dit concept "state certifiability" (toestands-certificeerbaarheid), wat simpelweg betekent: hebben we genoeg betrouwbaar bewijs om te kunnen zeggen dat het begrip van de agent van het systeem nauwkeurig genoeg is om actie te ondernemen? Als het bewijs zwak is omdat het systeem te veel is veranderd of de gegevens te oud zijn, vermindert het systeem automatisch de macht van de agent. Het schakelt de agent niet volledig uit; in plaats daarvan blokkeert het de agent voor het maken van grote, risicovolle wijzigingen, terwijl het de agent nog steeds toestaat een kleine, veilige set acties uit te voeren die bedoeld zijn om het probleem op te lossen en de orde te herstellen.

Om dit idee te testen, bouwden de onderzoekers een gecontroleerde omgeving met behulp van Amazon Web Services, een populair cloud computing platform. Ze creëerden een testomgeving waarin ze verschillende niveaus van drift konden simuleren, variërend van geen veranderingen helemaal tot extreme, chaotische mismatches tussen het plan en de werkelijkheid. Ze voerden duizenden experimenten uit waarbij geautomatiseerde agenten taken probeerden uit te voeren zoals het roteren van beveiligingswachtwoorden, het opschalen van computerworkloads of het isoleren van gecompromitteerde bronnen. Ze vergeleken drie verschillende benaderingen: de agenten laten handelen zonder enige beperkingen, het gebruik van een standaard set vaste regels die niet veranderen op basis van de conditie van het systeem, en hun nieuwe "drift-bewuste" systeem dat de autoriteit van de agent in realtime aanpast. De resultaten waren opmerkelijk. Wanneer het systeem in een staat van ernstige drift verkeerde, overtraden de onbeperkte agenten de regels in 92,3% van de gevallen. De agenten met vaste regels overtraden ze in 55,2% van de gevallen. Maar de agenten die werden beheerd door het nieuwe drift-bewuste systeem overtraden de regels slechts in 25% van de gevallen. Dit toonde aan dat door de macht van de agent afhankelijk te maken van hoe goed deze de huidige staat van het systeem begrijpt, de onderzoekers het risico op gevaarlijke fouten drastisch konden verminderen.

De studie onderzocht ook wat er gebeurt wanneer het systeem besluit een agent uit te sluiten. Een veelvoorkomende angst is dat het uitsluiten van een agent kan voorkomen dat het een kritiek probleem oplost, waardoor het systeem defect blijft. De onderzoekers testten een specifiek ontwerp waarbij de agent, zelfs wanneer deze is uitgesloten, is toegestaan om een beperkte set "recovery-only" (alleen herstel) acties uit te voeren, zoals het isoleren van een gecompromitteerde server of het terugdraaien van een slechte wijziging. Ze vonden dat deze aanpak een slim middenpad was. Een strikte uitsluiting die alle acties stopte, verminderde het risico op onveilige bewegingen met meer dan 80%, maar voorkwam ook dat de agent het probleem oploste in de meeste gevallen. Echter, de recovery-only aanpak verminderde het risico op onveilige bewegingen met ongeveer 55%, terwijl het de agent nog steeds toestond om het probleem in bijna 84% van de gevallen succesvol op te lossen. Dit bewees dat het mogelijk is om een systeem veilig te houden zonder het te verlammen, mits de agent alleen specifieke, vooraf goedgekeurde stappen mag ondernemen om de orde te herstellen.

Een van de belangrijkste bevindingen van het onderzoek was over de aard van het "lockout"-punt. Het team had een specifieke drempelwaarde ingesteld waarbij ze de normale operaties van de agent zouden stoppen, in de hoop dat dit getal een natuurlijk breekpunt zou vertegenwoordigen waar het systeem te gevaarlijk werd om te beheren. Hun gegevens toonden echter aan dat het risico op fouten niet plotseling omhoog schoot bij dat specifieke getal. In plaats daarvan nam het risico geleidelijk toe naarmate het systeem verder afweek van het plan. Dit betekent dat de beslissing om een agent uit te sluiten geen ontdekking van een natuurwet is, maar een bewuste keuze gemaakt door de organisatie. Het is een beleidsbeslissing om te zeggen: "We zijn bereid een bepaald risico te accepteren, maar zodra de onzekerheid deze grens overschrijdt, vertrouwen we de kaart van de agent niet langer." De onderzoekers concludeerden dat er geen enkel magisch getal is dat voor elke situatie werkt; in plaats daarvan moeten organisaties hun eigen limieten zorgvuldig kiezen op basis van hun specifieke behoeften en risicotolerantie.

De studie bevestigde ook dat het nieuwe systeem werkt, zelfs wanneer de gegevens waarop het vertrouwt imperfect zijn. Ze testten hoe het systeem presteerde wanneer de metingen van de drift er iets naast zaten of wanneer de gegevens een beetje verouderd waren. Het systeem bleef robuust en identificeerde gevaarlijke situaties en beperkte de macht van de agent in bijna alle gevallen correct. Bovendien voerden ze een aparte validatie uit met echte, live commando's op het cloudplatform om te verzekeren dat het systeem buiten een simulatie werkte. In deze real-world tests verminderde het nieuwe systeem ongeautoriseerde acties van bijna 9% naar net boven de 1%, wat bewees dat het concept niet alleen in theorie werkt, maar ook in de praktijk. Het onderzoek suggereert dat de toekomst van veilige, geautomatiseerde cloudoperaties ligt in het behandelen van de autoriteit van de agent als een flexibele variabele. Door constant te vragen of de kennis van de agent betrouwbaar genoeg is om een specifieke actie te rechtvaardigen, kunnen organisaties hun geautomatiseerde systemen sneller en vrijer laten werken terwijl ze een strakke grip op de veiligheid houden.