Risk-Aware Degraded-Mode Orchestration for Resilient Cloud–Edge AI Agents: From Containerized Fault Injection to Heterogeneous Kubernetes Validation

Stellen Sie sich eine Welt vor, in der Ihre Lieblings-Apps nicht nur einzelne Programme sind, sondern Teams aus winzigen, unsichtbaren Robotern, die zusammenarbeiten. Ein Roboter holt die Nachrichten, ein anderer prüft die Regeln, ein dritter schreibt den Code und ein vierter spricht mit einem riesigen Gehirn (einer KI), um alles zu verstehen. So funktioniert modernes „Cloud-Edge-AI“: eine komplexe Kette von Diensten, die über das Internet und auf Ihren lokalen Geräten laufen. Normalerweise sind diese Teams robust. Wenn ein Roboter stolpert, versuchen die anderen es vielleicht erneut, warten oder wechseln zu einem Ersatzplan. Aber hier ist der Haken: Manchmal reicht es nicht aus, den Job einfach nur zu beenden. Wenn der Roboter, der die Regeln prüft, fehlt, sollte das Team nicht einfach raten und weitermachen, denn sie könnten versehentlich etwas Wichtiges beschädigen oder etwas tun, das sie nicht dürfen. Dies ist das schwierige Gleichgewicht zwischen „online bleiben“ und „sicher bleiben“.

Hier kommt eine neue Idee namens DMO-AI (Degraded-Mode Orchestration for AI) ins Spiel. Stellen Sie sich dies als einen superintelligenten Verkehrspolizisten für diese Roboter-Teams vor. Anstatt nur zu sagen „mach weiter“ oder „stopp alles“, schaut dieser Polizist sich die spezifische Aufgabe an, die das Team gerade erledigt. Ist es eine risikoarme Aufgabe, wie das Schreiben einer lustigen Geschichte? Oder ist es eine hochriskante Aufgabe, wie das Verschieben von Geld oder das Ändern eines medizinischen Datensatzes? Wenn der „Regelprüfer“-Roboter krank ist, könnte der Polizist sagen: „Okay, für die Geschichte nutzen wir einfach ein altes Regelbuch, das wir griffbereit haben. Aber für die Geldüberweisung? Auf gar keinen Fall. Stopp und frage einen Menschen.“ Dieses Paper testet, ob dieser risikobewusste Verkehrspolizist mehr Aufgaben sicherer abwickeln kann als die alten, dummen Methoden des Umgangs mit Ausfällen.

Das Problem: Die „Alles-oder-Nichts“-Falle

Stellen Sie sich vor, Sie fahren ein selbstfahrendes Auto. Das Auto muss mit einem Cloud-Server kommunizieren, um zu wissen, ob die Straße sicher ist. Plötzlich wird die Verbindung zum Server instabil. Was sollte das Auto tun?

Alte Systeme haben meist zwei Modi:

1. Fail-Open (Offen bei Fehler): „Fahr weiter! Vielleicht ist die Straße ja frei.“ Das ist riskant, denn das Auto könnte gegen eine Wand fahren, wenn der Server eigentlich „Stopp“ gesagt hätte.
2. Fail-Closed (Geschlossen bei Fehler): „Sofort anhalten!“ Das ist super sicher, aber es bedeutet, dass Sie ewig im Stau stehen, selbst wenn die Straße eigentlich frei ist und Sie nur kurz ein schlechtes Signal hatten.

Das Problem ist, dass KI-Agenten (wie unsere Roboter-Teams) viele verschiedene Dinge tun. Einige sind risikoarm (wie das Zusammenfassen eines Nachrichtenartikels), und einige sind hochriskant (wie das Löschen einer Datenbank). Eine „Einheitsregel“ funktioniert hier nicht. Wenn Sie eine risikoarme Zusammenfassung genauso behandeln wie eine hochriskante Banküberweisung, erhalten Sie entweder unsichere Ergebnisse oder Sie stoppen unnötigerweise nützliche Arbeit.

Die Lösung: Der risikobewusste Verkehrspolizist

Die Autoren dieses Papers, Albert Adusei Brobbey, Narayan Bhosale und Dan Bamfo, haben ein neues System namens DMO-AI entwickelt. Anstatt nur zu prüfen, ob das Internet funktioniert, stellt dieses System drei Fragen, bevor es eine Aufgabe fortsetzen lässt:

1. Wie riskant ist dieser Job? (Ist es eine lustige Geschichte oder eine Banküberweisung?)
2. Was fehlt? (Ist der „Regelprüfer“ ausgefallen oder nur der „Nachrichten-Holer“?)
3. Was können wir stattdessen tun?

Das System verfügt über ein Menü an „Degraded Modes“ (reduzierten Modi bzw. Ersatzplänen), aus denen es wählen kann:

• Normal: Alles funktioniert einwandfrei.
• Lokales Modell: Wenn das riesige Cloud-Gehirn ausgefallen ist, nutzen Sie ein kleineres, einfacheres Gehirn auf dem lokalen Gerät (aber nur für risikoarme Jobs).
• Gecachte Policy (Gespeicherte Richtlinie): Wenn der Regelprüfer ausgefallen ist, nutzen Sie ein altes Regelbuch, aber nur, wenn es für das Risikoniveau aktuell genug ist.
• Read-Only (Nur Lesen): Wenn das Werkzeug, das Dinge verändert, kaputt ist, geben Sie nur Ratschläge, ohne tatsächlich etwas zu ändern.
• Handoff (Übergabe): Wenn es zu riskant ist zu raten, halten Sie an und fragen Sie einen Menschen.
• Block (Blockieren): Wenn nichts Sichereres getan werden kann, halten Sie einfach an.

Die entscheidende Innovation ist, dass das System den richtigen Ersatzplan basierend auf dem Risiko auswählt. Es wird nicht zulassen, dass ein hochriskantes Geschäft ein „lokales Gehirn“ nutzt, nur weil das Cloud-Gehirn ausgefallen ist. Es wird nicht zulassen, dass eine Banküberweisung ein altes Regelbuch verwendet, wenn das Regelbuch zu veraltet ist.

Das Experiment: Ein digitaler Hindernisparcours

Um zu sehen, ob das funktioniert, haben die Forscher einen riesigen digitalen Hindernisparcours gebaut. Sie erstellten eine Testumgebung mit vier Hauptdiensten: einem Modell (dem Gehirn), einem Retrieval-Service (dem Gedächtnis), einem Policy-Service (dem Regelprüfer) und einem Tool-Service (den Händen, die Dinge tun).

Anschließend nutzten sie ein Tool namens Toxiproxy, um Katastrophen zu simulieren. Sie ließen das „Gehirn“ einfrieren, trennten den „Regelprüfer“ oder verlangsamten die „Hände“ absichtlich. Sie ließen diese Simulation 141.000 Mal in einem einzelnen Computer-Setup durchlaufen und dann 8.000 Mal in einem realistischeren Setup mit einem echten Cloud-Server und einem echten Edge-Device (wie einem Raspberry Pi oder einem kleinen Server).

Sie verglichen ihr neues DMO-AI-System mit fünf anderen gängigen Methoden des Umgangs mit Ausfällen:

• Fail-Open: Einfach weitermachen.
• Fail-Closed: Alles stoppen.
• Retry Budget (Wiederholungsbudget): Es ein paar Mal versuchen, dann aufgeben.
• Circuit Breaker (Leistungsschalter): Stoppen, wenn etwas kaputt ist, einmal versuchen, wenn etwas langsam ist.
• Service Mesh: Ein Standard-Netzwerkverkehrsmanager, der nichts über KI-Risiken weiß.

Die Ergebnisse: Sicherheit ohne Stoppschild

Die Ergebnisse waren eindeutig und spannend. Im großen Test mit 8.000 Ereignissen schaffte der Standard-Service Mesh (der Verkehrsmanager, der nichts über KI-Risiken weiß) es, Aufgaben nur in 64,70 % der Fälle sicher abzuschließen. Er ließ entweder unsichere Dinge geschehen oder stoppte zu viele nützliche Dinge.

Das neue DMO-AI-System hingegen erreichte eine sichere Abschlussrate von 93,95 %. Das ist ein massiver Sprung von fast 29 Prozentpunkten.

Hier ist der Detailblick:

• Null unsichere Ergebnisse: In den Haupttests hatte DMO-AI 0,00 % unsichere Ergebnisse und 0,00 % Richtlinienverstöße. Es hat niemals zugelassen, dass ein hochriskantes Geschäft ohne die richtigen Regeln durchgeführt wird.
• Besser als „Fail-Open“: Das „Fail-Open“-System schloss insgesamt mehr Aufgaben ab, aber 9,67 % davon waren unsicher (wie das Schreiben einer Banküberweisung, ohne die Regeln zu prüfen). DMO-AI schloss weniger unsichere Aufgaben ab, hielt aber die nützlichen am Laufen.
• Besser als „Fail-Closed“: Das „Fail-Closed“-System war zwar sicher, blockierte aber 41,57 % aller Aufgaben, selbst die einfachen. DMO-AI blockierte nur 1,13 % der Aufgaben.

Die Forscher testeten auch, was passiert, wenn man die „Risiko-Bewusstsein“ aus dem System entfernt. Als sie den Teil ausschalteten, der prüft, ob ein Job hoch oder niedrig riskant ist, sank die Sicherheitsrate und es traten unsichere Ergebnisse auf. Dies bewies, dass das „Risiko-Gehirn“ der wichtigste Teil des Systems ist.

Sie prüften auch die Kosten. Das System fügte eine winzige Verzögerung hinzu (durchschnittlich etwa 19 Millisekunden im Realwelt-Test), aber das war ein kleiner Preis dafür, das System sicher und betriebsbereit zu halten.

Was das bedeutet

Dieses Paper zeigt, dass wir nicht zwischen „alles stoppen“ und „alles zulassen“ wählen müssen. Indem wir das System lehren, das Risiko der Aufgabe zu verstehen, können wir risikoarme Jobs auch dann laufen lassen, wenn Teile ausfallen, während wir hochriskante Jobs strikt stoppen, um gefährliche Dinge zu verhindern.

Die Autoren betonen vorsichtig, dass dies noch kein Allheilmittel für alle Probleme der Welt ist. Sie haben es in einer kontrollierten Umgebung mit spezifischen Arten von Ausfällen getestet. Aber die Ergebnisse legen nahe, dass wir für die Zukunft der KI-Agenten einen „Verkehrspolizisten“ brauchen, der den Unterschied zwischen einer lustigen Geschichte und einer Banküberweisung kennt und kluge Entscheidungen treffen kann, wenn das Internet wackelig wird.

Kurz gesagt: DMO-AI ist ein neuer Weg, um KI-Agenten sicher und nützlich zu halten, selbst wenn Teile ihres Gehirns oder Gedächtnisses offline sind. Es ist wie ein Schutzengel, der genau weiß, wann er „Fahr weiter“, „Warte“ oder „Frage einen Menschen“ sagen muss, damit das Roboter-Team niemals in Schwierigkeiten gerät.