Learning Contextual Runtime Monitors for Safe AI-Based Autonomy

Die Autoren stellen ein neues Framework vor, das kontextbewusste Laufzeitmonitore unter Verwendung von Techniken aus dem kontextuellen Multi-Armed Bandit lernt, um in KI-gesteuerten autonomen Systemen die Sicherheit und Leistung durch die dynamische Auswahl des für den aktuellen Kontext besten Controllers zu verbessern.

Das Wesentliche

Das Problem: Der "Allrounder", der nirgendwo gut ist

Stell dir vor, du hast ein selbstfahrendes Auto. Um sicher zu fahren, nutzt es künstliche Intelligenz (KI). Aber KI ist wie ein sehr talentierter, aber etwas nervöser Schüler:

• Ein KI-Modell ist super darin, bei Sonnenschein zu fahren.
• Ein anderes ist ein Profi im Regen.
• Ein drittes beherrscht Schneestürme perfekt.

Das Problem: Wenn man diese drei Modelle einfach "mischt" (wie bei einem Cocktail, bei dem man alles zusammenrührt), entsteht oft ein mittelmäßiges Ergebnis. Der Regen-Profi wird durch den Sonnen-Profi verwässert, und im Regen macht das Auto dann Fehler. Das ist, als würdest du einen Koch, der nur Pizza macht, zwingen, auch Sushi zu kochen, indem du ihm einfach die Zutaten von beiden Gerichten in die Hand drückst. Das Ergebnis wird wahrscheinlich schmecken, aber nicht perfekt sein.

Die Lösung: Ein kluger "Verkehrspolizist"

Die Autoren dieses Papiers schlagen eine neue Idee vor: Statt die KI-Modelle zu mischen, brauchen wir einen intelligenten Beobachter (einen "Monitor").

Stell dir diesen Monitor wie einen erfahrenen Verkehrspolizisten vor, der am Straßenrand steht.

• Er schaut sich die aktuellen Bedingungen an: Regnet es? Ist es Nacht? Ist die Straße glatt?
• Basierend auf dieser Situation ruft er den spezialisierten KI-Koch an, der genau für dieses Wetter zuständig ist.
• Wenn es regnet, ruft er den Regen-Profi. Wenn die Sonne scheint, ruft er den Sonnen-Profi.

Dieser Polizist weiß genau, wann er keinem der KI-Köche trauen sollte (z. B. bei einem extremen Sturm, den kein Modell kennt). In diesem Fall greift er sofort auf einen Notfallplan zurück (ein sehr einfaches, aber sicheres System, das das Auto langsam und vorsichtig an den Rand fährt), um einen Unfall zu verhindern.

Wie lernt dieser Polizist? (Der "Wahrsager"-Vergleich)

Der Polizist ist am Anfang noch nicht so klug. Er muss lernen, wer wann der Beste ist. Dafür nutzen die Autoren eine Methode, die man sich wie ein Glücksrad mit Wissens-Lücken vorstellen kann.

Stell dir vor, der Polizist hat eine Liste von KI-Modellen. Er weiß nicht genau, welches bei welchem Wetter am besten ist.

1. Probieren: Er lässt das Auto eine Weile mit Modell A fahren. Passiert etwas? (Ja/Nein).
2. Lernen: Er merkt sich: "Aha, bei Regen war Modell A gut, aber bei Sonne war es schlecht."
3. Vertrauen: Je mehr er probiert, desto sicherer wird er. Er füllt seine "Wissenslücken" auf.

Das Besondere an ihrer Methode ist, dass sie den Polizisten nicht einfach nur zufällig probieren lassen. Sie lassen ihn gezielt dort probieren, wo er sich unsicher ist. Das ist wie ein Schüler, der gezielt die Aufgaben in seinem Matheheft übt, bei denen er noch Fehler macht, statt die Aufgaben zu wiederholen, die er schon kann. So lernt er am schnellsten und sichersten.

Warum ist das besser als die alten Methoden?

• Alte Methode (Der Cocktail): Man nimmt alle KI-Modelle, mischt ihre Entscheidungen und hofft auf das Beste. Das funktioniert oft okay, aber bei schwierigen Situationen (wie starkem Regen) wird die Entscheidung "verwässert" und unsicher.
• Neue Methode (Der Verkehrspolizist): Der Polizist nutzt die Stärken jedes einzelnen Modells. Er nutzt den Regen-Profi nur im Regen und den Sonnen-Profi nur bei Sonne. Er mischt nichts, er wählt das Beste aus.

Das Ergebnis im Test

Die Forscher haben das in einer Simulation getestet (wie ein Videosimulator für Autos).

• Ergebnis: Ihr "Verkehrspolizist" hat viel weniger Unfälle gehabt als die alten Misch-Methoden.
• Sicherheit: Wenn kein KI-Modell sicher genug war, hat der Polizist sofort den Notfallplan aktiviert.
• Effizienz: Das Auto musste nicht ständig vorsichtig fahren, wenn es gar nicht nötig war. Es konnte schnell und sicher fahren, weil es den richtigen Spezialisten für den Moment wählte.

Zusammenfassung in einem Satz

Statt viele KI-Experten zu zwingen, gemeinsam eine mittelmäßige Entscheidung zu treffen, bauen wir einen klugen Manager, der genau weiß, welcher Experte gerade am besten passt, und im Notfall sofort den Sicherheitsanker wirft. So wird autonomes Fahren nicht nur sicherer, sondern auch intelligenter.

Technische Zusammenfassung

Titel und Autoren

Titel: Learning Contextual Runtime Monitors for Safe AI-Based Autonomy (Lernen kontextbewusster Laufzeit-Monitore für sichere KI-basierte Autonomie)
Autoren: Alejandro Luque-Cerpa, Mengyuan Wang, Emil Carlsson, Sanjit A. Seshia, Devdatt Dubhashi, Hazem Torfah.
Institutionen: Chalmers University of Technology, University of Gothenburg, Sleep Cycle AB, UC Berkeley.

---

1. Problemstellung

Maschinelle Lernmodelle (ML), insbesondere neuronale Netze, werden zunehmend in autonomen cyber-physischen Systemen (ACPS) für komplexe Entscheidungsfindungsaufgaben eingesetzt. Ein zentrales Problem ist jedoch die Verletzlichkeit (Brittleness) dieser Modelle: Ihre Leistung kann in unbekannten Umgebungen oder unter veränderten Bedingungen (z. B. Wetter, Tageszeit, Verkehrslage) drastisch abfallen, was zu Sicherheitsverletzungen führt.

Herkömmliche Ansätze zur Verbesserung der Robustheit nutzen Ensemble-Methoden (z. B. gewichtete Mittelung oder Voting mehrerer Controller). Diese Methoden haben jedoch zwei wesentliche Nachteile:

1. Sie verwässern oft die spezialisierten Stärken einzelner Controller, die in bestimmten Kontexten (z. B. Regen vs. Sonne) hervorragend funktionieren.
2. Sie ignorieren den operationalen Kontext (Environmental Context) und behandeln alle Situationen gleich, anstatt den jeweils besten Controller für die aktuelle Situation auszuwählen.

Das Ziel ist es, ein Framework zu entwickeln, das nicht die Ausgaben aller Controller mittelt, sondern einen Monitor lernt, der basierend auf dem aktuellen Kontext den sichersten und leistungsfähigsten Controller auswählt. Fällt kein Controller als sicher aus, wird auf einen verifizierten „Fail-Safe"-Controller (z. B. eine klassische Regelung) umgeschaltet.

---

2. Methodik

Die Autoren formulieren das Problem des Lernens von Controllern für Ensembles als kontextuelles Überwachungsproblem und lösen es mittels kontextueller Multi-Armed-Bandits (Contextual Bandits).

A. Systemarchitektur (Monitor-Guided Systems)

Das System besteht aus:

• Einem Environment und einer gesteuerten Entität (Plant).
• Einem Ensemble von Controllern ($c_1, \dots, c_n$), die oft Black-Box-ML-Modelle (z. B. CNNs) sind.
• Einem Monitor, der basierend auf einem beobachteten Kontext $\xi$ (z. B. Wetter, Sensorwerte) einen Controller auswählt.
• Einem Fail-Safe-Controller, der garantiert sicher, aber weniger leistungsfähig ist.

B. Formalisierung als Kontextueller Bandit

• Arme (Arms): Die verfügbaren Controller.
• Kontext (Context): Die Umgebungsbedingungen und Systemzustände ($\xi$).
• Belohnung (Reward): Basierend auf der Einhaltung einer Sicherheits-Spezifikation $\varphi$ (z. B. keine Spurverletzung, keine Kollision). Ein Verstoß führt zu einer negativen Belohnung (oder einer Binärvariable $Y=1$ für Verletzung).
• Ziel: Lernen einer Policy $\pi$, die für jeden Kontext $\xi$ den Controller wählt, der die Wahrscheinlichkeit einer Sicherheitsverletzung minimiert.

C. Lernalgorithmus

Der Ansatz nutzt Logistische Regression zur Modellierung der Verletzungswahrscheinlichkeit:
$$\text{Pr}(Y=1 | c, \xi) = \sigma(\theta_c^\top \xi)$$
wobei $\sigma$ die Sigmoid-Funktion und $\theta_c$ ein zu lernender Parametervektor für Controller $c$ ist.

Der Lernprozess (Algorithmus 1) folgt einem aktiven Lernzyklus:

1. Auswahl: Der Algorithmus wählt einen Kontext $\xi$ und einen Controller $c$ aus, basierend auf einem Unsicherheitsmaß (Hessische Matrix der negativen Log-Likelihood). Dies entspricht einer „Exploration", um Daten in Bereichen hoher Unsicherheit zu sammeln.
2. Evaluation: Der Controller wird im simulierten Kontext ausgeführt.
3. Feedback: Es wird beobachtet, ob die Sicherheits-Spezifikation verletzt wurde ($Y_t$).
4. Update: Die Parameter $\theta_c$ werden mittels Maximum-Likelihood-Schätzung (MLE) aktualisiert.

D. Theoretische Garantien

Das Paper leitet eine Obergrenze für das Regret (die Differenz zwischen der Leistung des gelernten Monitors und der optimalen Policy) her. Unter der Annahme eines logistischen Modells wird gezeigt, dass das Regret mit $O(\sqrt{\log(T)^2/T})$ gegen Null konvergiert, wobei $T$ die Anzahl der Runden ist. Dies bietet formale statistische Sicherheitsgarantien.

---

3. Experimentelle Evaluation

Die Autoren validierten ihren Ansatz in zwei autonomen Fahr-Szenarien unter Verwendung des CARLA-Simulators und der Szenario-Sprache SCENIC.

Szenarien:

1. Autonomes Lenken: Spurhaltung basierend auf Kamerabildern unter verschiedenen Wetterbedingungen und Abständen zu anderen Fahrzeugen.
2. Dynamische urbane Umgebung: Kollisionsvermeidung mit Fußgängern und anderen Fahrzeugen, inklusive Geschwindigkeitsregelung.

Vergleichsbaselines:

• Weighted Average (Bagging): Klassische Mittelung der Controller-Ausgaben.
• Mixture of Experts (MoE): Ein neuronales Netz, das Gewichte basierend auf dem Kontext berechnet.
• Passives Lernen: Zufällige Datensammlung im Gegensatz zur aktiven Bandit-Strategie.

Wichtige Ergebnisse:

• Überlegenheit gegenüber Ensembles: In Szenarien mit kontextuellen Verzerrungen (Bias) der Controller (z. B. ein Controller ist nur bei Regen gut) übertraf der kontextuelle Monitor die gewichtete Mittelung signifikant (bis zu 30–80% höhere Belohnung/Sicherheit). Die Mittelung führte hier oft zu Sicherheitsverletzungen, da sie die spezialisierten Stärken verwässerte.
• Umgang mit Out-of-Distribution (OOD): Wenn kein Controller sicher war, schaltete der Monitor erfolgreich auf den Fail-Safe um. Dies reduzierte das Risiko drastisch, während reine Ensemble-Methoden oft versagten.
• Aktives vs. Passives Lernen: Der aktive Bandit-Ansatz (Unsicherheits-basierte Abfrage) lernte effizienter und führte zu weniger „falsch-positiven" Umschaltungen auf den Fail-Safe als passives Lernen. Der Monitor wurde weniger konservativ und vertraute den ML-Controllern eher, wenn sie sicher waren.
• Logistische Regression vs. Neuronale Netze: Obwohl neuronale Netze als Monitore getestet wurden, bot die logistische Regression bessere Generalisierung bei begrenzten Daten und bot die theoretischen Garantien, die bei NNs fehlten.
• Skalierbarkeit: Mit zunehmender Anzahl von Controllern im Ensemble sank die Rate der unnötigen Umschaltungen auf den Fail-Safe, da die Wahrscheinlichkeit, einen sicheren Controller im Ensemble zu finden, stieg.

---

4. Hauptbeiträge

1. Formalisierung: Das Problem des sicheren Einsatzes von KI-Ensembles wird neu als Problem des Lernens kontextueller Laufzeit-Monitore definiert.
2. Framework: Vorstellung eines Frameworks, das kontextuelle Bandit-Techniken nutzt, um Monitore zu lernen, die formale statistische Sicherheitsgarantien (Regret-Bound) bieten.
3. Validierung: Umfassende experimentelle Evaluation in realistischen autonomen Fahr-Szenarien, die zeigt, dass kontextuelles Lernen die Sicherheit und Leistung im Vergleich zu nicht-kontextuellen Baselines (Mittelung, MoE) signifikant verbessert.

---

5. Bedeutung und Ausblick

Das Paper adressiert eine kritische Lücke in der sicheren KI-Integration: Die Notwendigkeit, die inhärenten Stärken spezialisierter ML-Modelle in unterschiedlichen Umgebungen zu nutzen, ohne die Sicherheit zu gefährden.

• Praktische Relevanz: Der Ansatz ermöglicht den Einsatz von „Black-Box"-KI-Controllern in sicherheitskritischen Systemen, indem ein dynamischer, lernender Wächter die Kontrolle übernimmt und bei Unsicherheit auf klassische, verifizierte Systeme zurückgreift.
• Theoretischer Fortschritt: Die Verbindung von Contextual Bandits mit der Laufzeitüberwachung (Runtime Monitoring) bietet neue Wege, um Sicherheitsgarantien für adaptive Systeme zu beweisen.
• Zukunft: Die Autoren planen, die Arbeit auf zustandsbasierte Kontexte (Stateful Contexts) und nicht nur auf momentane Positionen (Positional Contexts) zu erweitern, um komplexere zeitliche Abhängigkeiten zu erfassen.

Zusammenfassend stellt dieser Ansatz einen Paradigmenwechsel dar: Statt KI-Modelle zu mitteln, um Fehler zu glätten, wird ein intelligenter Monitor eingesetzt, um das „Beste aus jedem Modell" für die jeweilige Situation herauszuholen, wobei die Sicherheit durch einen Fail-Safe-Mechanismus garantiert bleibt.