Risk-Aware Degraded-Mode Orchestration for Resilient Cloud–Edge AI Agents: From Containerized Fault Injection to Heterogeneous Kubernetes Validation

Stel je een wereld voor waarin je favoriete apps niet slechts enkele programma's zijn, maar teams van kleine, onzichtbare robots die samenwerken. Eén robot haalt het nieuws op, een andere controleert de regels, een derde schrijft de code, en een vierde praat met een reusachtig brein (een AI) om er betekenis aan te geven. Dit is hoe moderne "Cloud-Edge AI" werkt: een complexe keten van services die draaien over het internet en op je lokale apparaten. Meestal zijn deze teams taai. Als één robot struikelt, kunnen de anderen opnieuw proberen, wachten of overschakelen naar een back-upplan. Maar hier is de crux: soms is alleen het voltooien van de taak niet goed genoeg. Als de robot die de regels controleert ontbreekt, mag het team niet zomaar gokken en doorgaan, want ze kunnen per ongeluk iets belangrijks kapotmaken of iets doen wat ze niet mogen doen. Dit is de lastige balans tussen "online blijven" en "veilig blijven."

Maak kennis met een nieuw idee genaxt DMO-AI (Degraded-Mode Orchestration for AI). Denk aan dit als een superintelligente verkeersregelaar voor deze robotteams. In plaats van alleen te zeggen "ga door" of "stop alles", kijkt deze regelaar naar de specifieke taak die het team uitvoert. Is het een taak met een laag risico, zoals het schrijven van een leuk verhaal? Of is het een taak met een hoog risico, zoals het verplaatsen van geld of het wijzigen van een medisch dossier? Als de "regelcontroleur"-robot ziek is, kan de regelaar zeggen: "Oké, voor het verhaal gebruiken we een oud regelboek dat we nog paraat hebben. Maar voor de geldovermaking? Absoluut niet. Stop en vraag het aan een mens." Dit papier test of deze slimme, risicobewuste verkeersregelaar meer taken veiliger kan laten verlopen dan de oude, domme manieren van foutafhandeling.

Het Probleem: De "Alles of Niets"-valstrik

Stel je voor dat je in een zelfrijdende auto rijdt. De auto moet met een cloudserver communiceren om te weten of de weg veilig is. Plotseling wordt de verbinding met de server onbetrouwbaar. Wat moet de auto doen?

Ouderwetse systemen hebben meestal twee modi:

1. Fail-Open: "Blijf rijden! Misschien is de weg wel prima." Dit is riskant omdat de auto in een muur kan rijden als de server eigenlijk had moeten zeggen: "Stop."
2. Fail-Closed: "Stop onmiddellijk!" Dit is superveilig, maar het betekent dat je eeuwig in de file staat, zelfs als de weg eigenlijk vrij is en je alleen even een slecht signaal had.

Het probleem is dat AI-agenten (zoals onze robotteams) veel verschillende dingen doen. Sommige zijn laag-risico (zoals het samenvatten van een nieuwsartikel), en sommige zijn hoog-risico (zoals het verwijderen van een database). Een "one-size-fits-all"-regel werkt niet. Als je een laag-risico samenvatting hetzelfde behandelt als een hoog-risico bankoverschrijving, krijg je ofwel onveilige resultaten, of je stopt onnodig met nuttig werk.

De Oplossing: De Risicobewuste Verkeersregelaar

De auteurs van dit paper, Albert Adusei Brobbey, Narayan Bhosale en Dan Bamfo, hebben een nieuw systeem gebouwd genaamd DMO-AI. In plaats van alleen te controleren of het internet werkt, stelt dit systeem drie vragen voordat het een taak laat doorgaan:

1. Hoe risicovol is deze taak? (Is het een leuk verhaal of een bankoverschrijving?)
2. Wat ontbreekt er? (Is de "regelcontroleur" uitgevallen, of alleen de "nieuws-fetcher"?)
3. Wat kunnen we in plaats daarvan doen?

Het systeem heeft een menu van "degraded modes" (back-upplannen) waaruit het kan kiezen:

• Normal: Alles werkt naar behoren.
• Local Model: Als het reusachtige cloudbrein uitvalt, gebruik dan een kleiner, simpeler brein op het lokale apparaat (maar alleen voor taken met een laag risico).
• Cached Policy: Als de regelcontroleur uitvalt, gebruik dan een oud regelboek, maar alleen als het vers genoeg is voor het risiconiveau.
• Read-Only: Als het hulpmiddel dat dingen verandert kapot is, geef dan alleen advies zonder daadwerkelijk iets te veranderen.
• Handoff: Als het te risicovol is om te gokken, stop dan en vraag het aan een mens.
• Block: Als er niets veiligs gedaan kan worden, stop dan gewoon.

De belangrijkste innovatie is dat het systeem het juiste back-upplan kiest op basis van het risico. Het laat een hoog-risico taak niet een "lokaal brein" gebruiken alleen omdat het cloudbrein uitgevallen is. Het laat een bankoverschrijving niet een oud regelboek gebruiken als het regelboek te verouderd is.

Het Experiment: Een Digitale Hindernisbaan

Om te zien of dit werkt, hebben de onderzoekers een enorme digitale hindernisbaan gebouwd. Ze creëerden een testomgeving met vier hoofddiensten: een model (het brein), een retrieval service (het geheugen), een policy service (de regelcontroleur) en een tool service (de handen die dingen doen).

Vervolgens gebruikten ze een tool genaamd Toxiproxy om rampen te simuleren. Ze bevroren het "brein", verbrakten de verbinding met de "regelcontroleur", of vertraagden de "handen" met opzet. Ze draalden deze simulatie 141.000 keer in een enkele computeropstelling en vervolgens 8.000 keer in een meer realistische opstelling met een echte cloudserver en een echt edge-apparaat (zoals een Raspberry Pi of een kleine server).

Ze vergeleken hun nieuwe DMO-AI systeem met vijf andere veelvoorkomende manieren van foutafhandeling:

• Fail-Open: Ga gewoon door.
• Fail-Closed: Stop alles.
• Retry Budget: Probeer het een paar keer opnieuw, en geef dan op.
• Circuit Breaker: Stop als er problemen zijn, probeer het één keer opnieuw als het traag is.
• Service Mesh: Een standaard netwerkverkeersbeheerder die niet op de hoogte is van AI-risico's.

De Resultaten: Veiligheid Zonder het Stopteken

De resultaten waren duidelijk en opwindend. De standaard Service Mesh (de verkeersbeheerder die niet op de hoogte is van AI-risico's) slaagde er slechts in om 64,70% van de taken veilig te voltooien. Het liet ofwel onveilige zaken toe, of stopte te veel nuttige zaken.

Het nieuwe DMO-AI systeem bereikte echter een veilige voltooiing van 93,95%. Dat is een enorme sprong van bijna 29 procentpunten.

Dit is wat er in de details gebeurde:

• Nul Onveilige Resultaten: In de hoofdtesten had DMO-AI 0,00% onveilige uitkomsten en 0,00% beleidsschendingen. Het heeft nooit een hoog-risico taak door laten gaan zonder de juiste regels.
• Beter dan "Fail-Open": Het "Fail-Open" systeem voltooide meer taken in totaal, maar 9,67% daarvan waren onveilig (zoals het schrijven van een bankoverschrijving zonder de regels te controleren). DMO-AI voltooide minder onveilige taken, maar hield de nuttige taken wel draaiende.
• Beter dan "Fail-Closed": Het "Fail-Closed" systeem was veilig, maar blokkeerde 41,57% van alle taken, zelfs de makkelijke. DMO-AI blokkeerde slechts 1,13% van de taken.

De onderzoekers testten ook wat er gebeurt als je de "risicobewustheid" uit het systeem verwijdert. Wanneer ze het deel uitschakelden dat controleert of een taak hoog of laag risico heeft, daalde de veiligheidsscore en kwamen er onveilige uitkomsten voor de dag. Dit bewees dat het "risicobrein" het belangrijkste onderdeel van het systeem is.

Ze controleerden ook de kosten. Het systeem voegde een minimale vertraging toe (gemiddeld ongeveer 19 milliseconden in de real-world test), maar dat was een kleine prijs voor het veilig en draaiend houden van het systeem.

Wat Dit Betekent

Dit paper laat zien dat we niet hoeven te kiezen tussen "alles stoppen" of "alles zomaar laten gebeuren". Door het systeem te leren het risico van de taak te begrijpen, kunnen we laag-risico taken laten doorgaan wanneer er problemen zijn, terwijl we hoog-risico taken strikt stoppen van het doen van gevaarlijke dingen.

De auteurs benadrukken dat dit nog geen wondermiddel is voor elk probleem in de wereld. Ze hebben het getest in een gecontroleerde omgeving met specifieke soorten fouten. Maar de resultaten suggereren dat we voor de toekomst van AI-agenten een "verkeersregelaar" nodig hebben die het verschil weet tussen een leuk verhaal en een bankoverschrijving, en die slimme keuzes kan maken wanneer het internet onbetrouwbaar is.

Kortom: DMO-AI is een nieuwe manier om AI-agenten veilig en nuttig te houden, zelfs wanneer delen van hun brein of geheugen offline zijn. Het is als het hebben van een beschermengel die precies weet wanneer hij "ga door", "wacht" of "vraag het aan een mens" moet zeggen, zodat het robotteam nooit in de problemen komt.