A Subjective Logic-based method for runtime confidence updates in safety arguments

Technisches Fazit: Eine auf subjektiver Logik basierende Methode für Laufzeit-Vertrauensupdates in Sicherheitsargumenten

Problemstellung
Sicherheitsnachweisargumente für Komponenten des maschinellen Lernens (ML), insbesondere in dynamischen Umgebungen wie dem autonomen Fahren, stehen vor einer kritischen Herausforderung: Statische Argumente, die auf Evidence aus der Designphase basieren, können im Laufe der Zeit durch Verschiebungen der Datenverteilung, Modell-Drift oder sich wandelnde operationelle Kontexte ungültig werden. Während Standards wie UL 4600 die Verwendung von Sicherheitsleistungsindikatoren (SPIs) zur Überwachung der Systemvalidität vorschreiben, fehlt es bestehenden Methoden zur Einbeziehung von Laufzeitdaten oft an der Granularität, um Vertrauensupdates dynamisch zu quantifizieren. Qualitative Ansätze bieten typischerweise nur binäre Ergebnisse (Widerlegung oder keine Änderung), während klassische Bayes-Updates die unmittelbare Sicherheitsreaktionsfähigkeit nicht angemessen gegenüber der exakten Posterior-Äquivalenz priorisieren. Es besteht ein Bedarf an einem formalen Mechanismus, der kontinuierliche, fensterbasierte Laufzeit-Evidence in quantitative Sicherheitsargumente integriert und sowohl eine schrittweise Akkumulation von Vertrauen als auch unmittelbare Strafen bei Sicherheitsverletzungen ermöglicht.

Methodik
Die Autoren schlagen eine Methode vor, die statische, quantitative Sicherheitsargumente unter Verwendung von Subjektiver Logik (SL) erweitert, um Laufzeit-SPIs einzubeziehen. Der Kern der Methodik besteht in einer spezifischen Update-Regel, die zwei SL-Operatoren kombiniert: Kumulative Glaubensfusion (CBF) und den Widerlegenden Herausforderer (RC).

1. Argumentstruktur: Der Sicherheitsfall wird als strukturiertes Argument modelliert, wobei jede Behauptung $c$ einer binomialen Meinung $\omega_c = (b, d, u, a)$ zugeordnet ist, die Glauben, Unglauben, Unsicherheit und Basisrate darstellt.
2. SPI-Modellierung: Laufzeit-SPIs werden als binäre Prädikate behandelt, die aus schwellenwertbasierten Messungen über ein Fenster von $k$ Beobachtungen abgeleitet werden. Eine SPI-Meinung $\omega_{SPI}$ wird durch Zählen von Erfolgen ($r$, keine Verletzungen) und Misserfolgen ($s$, Verletzungen) innerhalb des Fensters konstruiert und unter Verwendung standardmäßiger Gleichungen auf eine SL-Meinung abgebildet.
3. Die Update-Regel: Die zentrale Innovation ist die Update-Gleichung für eine Behauptungsmeinung $\omega_c$ gegeben eine neue SPI-Meinung $\omega_{SPI}$:
   $$\omega'_c = \neg\omega_{SPI} \boxtimes (\omega_c \oplus \omega_{SPI})$$
   • Innere Operation ($\oplus$): Die Kumulative Glaubensfusion akkumuliert die Evidence aus dem SPI-Fenster. Wenn keine Verletzungen auftreten, erhöht dies den Glauben und reduziert die Unsicherheit in der Behauptung.
   • Äußere Operation ($\boxtimes$): Der Widerlegende Herausforderer wendet eine unmittelbare Strafe an. Die SPI-Meinung wird negiert ($\neg\omega_{SPI}$), sodass der Glaube an eine SPI-Verletzung auf Unglauben an die Behauptung abgebildet wird. Dieser Operator verteilt Masse vom Glauben auf den Unglauben proportional zur Schwere der Verletzung und stellt sicher, dass eine einzelne Verletzung das Vertrauen sofort herabsetzen kann, unabhängig von vorheriger Akkumulation.

Dieses Design weicht explizit von standardmäßigen konjugierten Beta-Binomial-Bayes-Updates ab. Anstatt lediglich Zählungen hinzuzufügen, priorisiert die Methode sicherheitsrelevante Reaktionsfähigkeit und stellt sicher, dass Verletzungen prompte korrigierende Vertrauensabfälle auslösen, während Nicht-Verletzungen eine schrittweise Vertrauenswiederherstellung ermöglichen.

Hauptbeiträge

• SL-natives Update-Mechanismus: Die Arbeit führt eine explizit nicht-Bayessche Update-Regel ein, die fensterbasierte Laufzeit-SPIs in quantitative Sicherheitsargumente integriert. Sie nutzt die Fähigkeit von SL, zwischen Erstordnungsvertrauen (Verpflichtung zu Glauben/Unglauben) und Zweitordnungsvertrauen (Präzision dieser Verpflichtung) zu unterscheiden.
• Update-Regel mit dualen Eigenschaften: Die vorgeschlagene Operator-Kombination erfüllt zwei kritische Sicherheitseigenschaften: (1) schrittweise Vertrauenssteigerung bei Abwesenheit von Verletzungen und (2) unmittelbare, gezielte Strafen bei Verletzungen.
• Formale Integration von SPIs: Die Methode bietet einen formalen Weg, um führende SPIs (proaktive Indikatoren) direkt mit spezifischen Behauptungen innerhalb des Sicherheitsarguments zu verknüpfen, was eine kontinuierliche Neubewertung der Argumentvalidität ermöglicht.

Experimentelle Ergebnisse
Die Methode wird anhand einer Simulation einer ML-basierten Baustellenkegel-Erkennungskomponente innerhalb eines autonomen Fahrzeugsystems (APIKS-Plattform) demonstriert.

• Szenario: Ein auf YOLOv8 basierender Detektor wird hinsichtlich falsch-negativer Ergebnisse im Vergleich zum Ground Truth überwacht. Ein SPI wird mit einem Schwellenwert für das Verhältnis verpasster Kegel definiert.
• Beobachtungen:
  • Wenn SPI-Verletzungen auftraten (z. B. aufgrund von Okklusion), sank der Glaube an die Behauptung sofort, und der Unglauben stieg.
  • In Perioden ohne Verletzungen nahm die Unsicherheit ab, und der Glaube erholte sich schrittweise.
  • Die resultierenden Beta-Verteilungen zeigten, dass die Methode die Gesamtunsicherheit im Laufe der Zeit erfolgreich reduzierte, während sie gleichzeitig die Sensitivität für sicherheitskritische Ereignisse beibehielt.
  • Verschiedene Szenarien veranschaulichten, wie die Methode mit variierender Evidence umgeht: Verschiebung der Masse hin zu Unglauben, wenn sich Verletzungen akkumulieren, und hin zu Glauben, wenn die Evidence konsistent ist, während Unsicherheit beibehalten wird, wenn die Daten unzureichend sind (z. B. in kurzen Nachtabschnitten).

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Arbeit einen praktischen, auditierbaren Ansatz für kontinuierliche Sicherheitsgewährleistung in KI-basierten Systemen bietet. Durch die Ausrichtung an Standards wie UL 4600 überbrückt die Methode die Lücke zwischen statischen Design-Argumenten und dynamischen operationellen Realitäten.

• Governance: Der Ansatz bietet eine transparente „Vertrauensnarration", die rohe Laufzeit-Signale auf explizite Meinungen auf Behauptungsebene abbildet. Dies unterstützt Flottenbetreiber und Sicherheitsmanager dabei, Minderungsmaßnahmen (z. B. Parameteranpassungen, menschliche Aufsicht) basierend auf quantitativen Schwellenwerten auszulösen.
• Auditierbarkeit: Es entsteht eine formale Verknüpfung zwischen Laufzeit-Evidence und dem Sicherheitsfall, die es Regulierungsbehörden ermöglicht zu prüfen, wie spezifische Verletzungen das Vertrauen beeinflusst haben.
• MLOps-Integration: Die Methode verbindet Vertrauensdegradation im Sicherheitsnachweis mit ingenieurtechnischen Maßnahmen, wie gezieltem Nachtraining oder Datenerfassung, und verknüpft Sicherheitsargumente effektiv mit MLOps-Workflows.

Die Arbeit erkennt Einschränkungen an und stellt fest, dass die Wirksamkeit von einer genauen SPI-Schwellenwertsetzung abhängt und das aktuelle Modell unabhängige, nicht überlappende Fenster voraussetzt. Als zukünftige Arbeiten werden die Behandlung zeitlicher Korrelationen, eine zeitbasierte Abwertung für veraltete Evidence sowie die Integration sowohl führender als auch nachlaufender SPIs innerhalb einer einheitlichen Argumentstruktur vorgeschlagen.