A Scalability Analysis of Quantitative Confidence Assessment Methods for Assurance Cases
Dieses Papier führt ein Modell zur Schätzung der Entscheidungskomplexität und des Aufwands bei der Anwendung quantitativer Konfidenzbewertungsmethoden auf Assurance Cases ein und zeigt durch die Analyse von Bayesian Belief Networks, der Dempster-Shafer-Theorie und der Certus-Methode auf, dass Certus zwar die höchste Worst-Case-Komplexität aufweist, aber im Durchschnitt weniger Aufwand als die anderen beiden Ansätze erfordert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen ein massives, komplexes Argument auf, um zu beweisen, dass ein selbstfahrendes Auto sicher ist. Sie haben eine übergeordnete Behauptung („Das Auto ist sicher“) mit Schichten von Beweisen, wie etwa „Die Bremsen funktionieren“ und „Die Sensoren sind kalibriert“. Dies wird als Assurance Case bezeichnet.
Das Problem ist: Woher wissen Sie, ob Ihr Argument tatsächlich überzeugend ist? Es reicht nicht aus, es einfach nur aufzuschreiben. Sie benötigen eine Möglichkeit, Ihr „Vertrauen“ in die Schlussfolgerung zu messen. Hier kommen Quantitative Confidence Assessment Methods (Quantitative Methoden zur Vertrauensbewertung) ins Spiel. Sie sind wie Taschenrechner für Vertrauen, die Ihre schriftlichen Argumente in Zahlen oder Scores verwandeln.
Es gibt jedoch einen Haken. Die Verwendung dieser Taschenrechner ist harte Arbeit. Es kostet viel Zeit und mentale Energie, sie auszufüllen. Die Autoren dieser Arbeit wollten eine einfache Frage beantworten: „Wie viel Arbeit ist es tatsächlich, diese verschiedenen Taschenrechner zu benutzen, wenn Ihr Argument größer wird?“
Um dies herauszufinden, haben sie ein mathematisches Modell (eine Simulation) erstellt, um die „Entscheidungen“ zu zählen, die ein Mensch treffen muss. Stellen Sie es sich wie das Zählen der Knöpfe vor, die man auf einer Fernbedienung drücken muss, um den Kanal zu wechseln.
Die drei „Taschenrechner“, die sie getestet haben
Die Arbeit vergleicht drei verschiedene Wege, Vertrauen zu berechnen:
- Die BBN-Methode (Bayesian Belief Network): Denken Sie an dies wie ein Flussdiagramm mit Wahrscheinlichkeiten. Sie müssen entscheiden, wie wahrscheinlich jedes Stück Evidenz ist (0 % bis 100 %) und dann entscheiden, wie stark jedes Stück das nächste beeinflusst. Es ist, als würde man die Regeln für ein Dominospiel festlegen.
- Die DST-Methode (Dempster-Shafer-Theorie): Dies ist wie eine detaillierte Umfrage. Für jedes Stück Evidenz müssen Sie zwei Antworten geben: eine „Entscheidung“ (wie akzeptabel ist dies?) und ein „Vertrauen“ (wie sicher sind Sie sich?). Dies erfordert mehr Knopfdrucke als das Flussdiagramm.
- Die Certus-Methode: Dies ist das anpassbare Toolkit. Anstatt nur Zahlen zu verwenden, können Sie Wörter wie „sicher“, „skeptisch“ oder „ablehnen“ nutzen. Es ist am flexibelsten und ermöglicht es Ihnen, Ihre eigenen benutzerdefinierten Regeln dafür zu schreiben, wie Evidenz kombiniert wird. Aber weil es so flexibel ist, kann es sehr schnell sehr kompliziert werden.
Das Experiment: Die „Baum“-Analogie
Um diese Methoden zu testen, stellten sich die Autoren ihre Argumente als Bäume vor.
- Die Wurzeln sind die endgültige Schlussfolgerung (Ist das Auto sicher?).
- Die Äste sind Zwischenbehauptungen.
- Die Blätter sind die rohen Beweise (Dokumente, Testergebnisse).
Sie fragten: „Wenn wir diesen Baum höher und breiter machen (mehr Beweise), wie viele ‚Knopfdrücke‘ (Entscheidungen) muss ein Mensch treffen?“
Sie betrachteten zwei Szenarien:
- Der „Worst Case“ (Der Perfektionist): Stellen Sie sich einen Benutzer vor, der sich weigert, Abkürzungen zu nutzen. Er konfiguriert manuell jede einzelne Regel, jedes Gewicht und jede Verbindung für jedes Stück Evidenz.
- Der „Average Case“ (Der Realist): Stellen Sie sich einen Benutzer vor, der intelligente Werkzeuge nutzt. Er konfiguriert nur die schwierigen Teile manuell und lässt die Software die langweiligen, Standardteile mit Standardeinstellungen ausfüllen.
Die überraschenden Ergebnisse
Die Studie ergab einige interessante Dinge darüber, wie diese Methoden skalieren (wachsen), wenn das Argument größer wird:
Im „Worst Case“ (Keine Abkürzungen):
Certus war am schwierigsten. Da es so viel Anpassung ermöglicht, führt man, wenn man versucht, jede einzelne Regel manuell zu konfigurieren, eine massive Anzahl an Entscheidungen aus. Es ist, als würde man versuchen, ein Haus zu bauen, indem man jeden einzelnen Stein und jeden Nagel von Hand fertigt.
BBN und DST waren in diesem Szenario viel einfacher, da sie strengere, einfachere Regeln haben.Im „Average Case“ (Verwendung von Abkürzungen):
Certus wurde tatsächlich am einfachsten zu benutzen! Da es eingebaute „Makros“ (vorgefertigte Abkürzungen) und intelligente Standardwerte besitzt, kann ein Benutzer den Großteil der harten Arbeit überspringen.
BBN lag in der Mitte.
DST blieb selbst mit Abkürzungen am schwierigsten, da es immer noch erfordert, dass man zwei separate Entscheidungen trifft (Entscheidung + Vertrauen) für jedes einzelne Stück Evidenz.
Das Fazbeitrag (Bottom Line)
Die Arbeit kommt zu dem Schluss, dass Flexibilität einen Preis hat, aber nur, wenn man ihn voll bezahlt.
Wenn man versucht, alles manuell zu machen, ist das flexibelste Werkzeug (Certus) das anstrengendste. Aber wenn man das Werkzeug so benutzt, wie es beabsichtigt ist (mit intelligenten Standardwerten und Abkürzungen), spart das flexible Werkzeug tatsächlich am meisten Zeit.
Die Autoren warnen davor, dass für sehr große Sicherheitsargumente (wie die für selbstfahrende Autos oder medizinische Geräte) der „Aufwand“, diese Werkzeuge zu nutzen, eine Barriere sein kann. Ihr Modell hilft Forschern dabei, bessere Werkzeuge zu entwickeln, die nicht erfordern, dass Menschen zu viele Knöpfe drücken, um sicherzustellen, dass Sicherheitsargumente praktikabel bleiben und nicht nur theoretische Übungen sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.