💻 computer science

A Scalability Analysis of Quantitative Confidence Assessment Methods for Assurance Cases

Dit artikel introduceert een model om de beslissingscomplexiteit en de inspanning van het toepassen van kwantitatieve betrouwbaarheidsbeoordelingsmethoden op assurance cases te schatten, waarbij door middel van analyse van de Bayesian Belief Network-, Dempster-Shafer Theory- en Certus-methoden wordt aangetoond dat hoewel Certus de hoogste worst-case complexiteit heeft, het minder gemiddelde inspanning vereist dan de andere twee benaderingen.

Oorspronkelijke auteurs: Simon Diemert, Jens H. Weber

Gepubliceerd 2026-06-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Simon Diemert, Jens H. Weber

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm, ingewikkeld argument bouwt om te bewijzen dat een zelfrijdende auto veilig is. Je hebt een overkoepelende claim ("De auto is veilig") die wordt ondersteund door lagen bewijs, zoals "De remmen werken" en "De sensoren zijn gekalibreerd". Dit wordt een Assurance Case genoemd.

Het probleem is: hoe weet je of je argument daadwerkelijk overtuigend is? Alleen het opschrijven is niet genoeg. Je hebt een manier nodig om je "vertrouwen" in de conclusie te meten. Dit is waar Quantitative Confidence Assessment Methods om de hoek komen kijken. Het zijn als rekenmachines voor vertrouwen, die je geschreven argumenten omzetten in getallen of scores.

Er zit echter een addertje onder het gras. Het gebruiken van deze rekenmachines is hard werk. Het kost veel tijd en mentale energie om ze in te vullen. De auteurs van dit artikel wilden een simpele vraag beantwoorden: "Hoeveel werk kost het eigenlijk om deze verschillende rekenmachines te gebruiken naarmate je argument groter wordt?"

Om dit te ontdekken, hebben ze een mathematisch model (een simulatie) gebouwd om de "beslissingen" te tellen die een persoon moet nemen. Denk eraan als het tellen van hoeveel knoppen je op een afstandsbediening moet indrukken om van zender te wisselen.

De Drie "Rekenmachines" die ze Testten

Het papier vergelijkt drie manieren om vertrouwen te berekenen:

De BBN-methode (Bayesian Belief Network): Denk hierbij aan een stroomdiagram met waarschijnlijkheden. Je moet beslissen hoe waarschijnlijk elk stuk bewijs is (0% tot 100%) en vervolgens beslissen hoeveel invloed elk stuk heeft op het volgende. Het is alsof je de regels instelt voor een spel met dominostenen.
De DST-methode (Dempster-Shafer Theory): Dit is als een gedetailleerde enquête. Voor elk stuk bewijs moet je twee antwoorden geven: een "beslissing" (hoe acceptabel is dit?) en een "vertrouwen" (hoe zeker ben je?). Dit vereist meer knoppen om in te drukken dan het stroomdiagram.
De Certus-methode: Dit is de aanpasbare gereedschapskist. In plaats van alleen getallen, kun je woorden gebruiken zoals "zeker", "sceptisch" of "afwijzen". Het is het meest flexibel, waardoor je je eigen aangepaste regels kunt schrijven over hoe bewijs gecombineerd wordt. Maar omdat het zo flexibel is, kan het ook heel snel ingewikkeld worden.

Het Experiment: De "Boom"-analogie

Om deze methoden te testen, hebben de auteurs hun argumenten voorgesteld als bomen.

De wortels zijn de uiteindelijke conclusie (Is de auto veilig?).
De takken zijn tussenliggende claims.
De bladeren zijn het ruwe bewijs (documenten, testresultaten).

Ze vroegen zich af: "Als we deze boom hoger en breder maken (meer bewijs), hoeveel 'toetsenaanslagen' (beslissingen) moet een mens dan maken?"

Ze keken naar twee scenario's:

Het "Worst Case" scenario (De Perfectionist): Stel je een gebruiker voor die weigert om gebruik te maken van shortcuts. Deze persoon configureert handmatig elke regel, elk gewicht en elke verbinding voor elk stuk bewijs.
Het "Average Case" scenario (De Realist): Stel je een gebruiker voor die slimme hulpmiddelen gebruikt. Deze persoon configureert alleen de lastige onderdelen handmatig en laat de software de saaie, standaard onderdelen invullen met standaardinstellingen.

De Verrassende Resultaten

De studie toonde aan dat deze methoden op verschillende manieren schalen (groeien) naarmate het argument groter wordt:

In het "Worst Case" scenario (Geen Shortcuts):
Certus was het moeilijkst. Omdat het zoveel aanpassing toelaat, eindig je met een enorm aantal beslissingen als je probeert elke regel handmatig te configureren. Het is alsof je een huis probeert te bouwen door elke baksteen en elke spijker met de hand te vervaardigen.
BBN en DST waren in dit scenario veel gemakkelijker omdat ze striktere, eenvoudigere regels hebben.
In het "Average Case" scenario (Gebruik van Shortcuts):
Certus werd juist de makkelijkste methel om te gebruiken! Omdat het beschikt over ingebouwde "macro's" (kant-en-klare shortcuts) en slimme standaardinstellingen, kan een gebruiker het meeste zware werk overslaan.
BBN zat er in het midden tussenin.
DST bleef het moeilijkst, zelfs met shortcuts, omdat je nog steeds twee aparte beslissingen moet nemen (beslissing + vertrouwen) voor elk stuk bewijs.

De Kern van het Verhaal

Het papier concludeert dat flexibiliteit een prijs heeft, maar alleen als je die volledig betaalt.

Als je alles handmatig probeert te doen, is de meest flexibele tool (Certus) de meest uitputtende. Maar als je de tool gebruikt zoals de bedoeling is (met slimme standaardinstellingen en shortcuts), bespaart de flexibele tool je juist de meeste tijd.

De auteurs waarschuwen dat voor zeer grote veiligheidsargumenten (zoals die voor zelfrijdende auto's of medische apparatuur) de "inspanning" die nodig is om deze tools te gebruiken, een barrière kan vormen. Hun model helspt onderzoekers bij het ontwerpen van betere tools die niet vereisen dat mensen te veel knoppen indrukken, zodat veiligheidsargumenten praktisch blijven en geen louter theoretische oefeningen worden.

Technische Samenvatting: Een Schaalbaarheidsanalyse van Kwantitatieve Vertrouwensbeoordelingsmethoden voor Assurance Cases

Probleemstelling

Het voorbereiden van Assurance Cases (AC's) is een cruciale activiteit voor veiligheids- en beveiligingskritische systemen, maar het gebruik van gestructureerde notaties zoals Goal Structuring Notation (GSN) garandeert niet dat hooggelegen claims voldoende worden ondersteund. Confidence Assessment Methods (CAM's) bieden systematische middelen om deze argumenten te evalueren. Hoewel kwalitatieve, kwantitatieve en gemengde CAM's bestaan, identificeerde een recente enquête onder professionals dat de extra inspanning die nodig is om deze methoden toe te passen een primaire barrière vormt voor adoptie.

Specifiek, voor kwantitatieve of gemengde methoden is aanzienlijke inspanning vereist om computationele parameters (bijv. randgewichten) toe te wijzen en beoordelingen te verstrekken voor elk stuk bewijs. Voorgaand werk door Graydon en Holloway merkte op dat er een gebrek is aan empirische schaalbaarheidsgegevens voor deze technieken, wat zorgen oproept over hun haalbaarheid in de praktijk. Daarom is er een model nodig om de "beslissingscomplexiteit" en de vereiste inspanning te schatten bij het toepassen van kwantitatieve CAM's naarmate de omvang van het argument toeneemt.

Methodologie

Dit artikel stelt een numeriek model voor om de beslissingscomplexiteit (het aantal beslissingen dat een gebruiker moet nemen) en het niveau van inspanning (benodigde tijd) te schatten voor het toepassen van kwantitatieve CAM's. De analyse houdt zowel worst-case als average-case scenario's rekening.

1. Argumentstructuurmodel

Om de schaalbaarheidsanalyse te faciliteren, modelleren de auteurs een AC-argument als een $n$ -aire boom van claims met hoogte $h$ , waarbij elke bladclaim wordt ondersteund door $m$ bewijsknooppunten. Hoewel echte AC's diverse structuren hebben, maakt dit geïdealiseerde model een zinvolle vergelijking mogelijk. Parameters $n$ (gemiddeld aantal kind-claims per stap) en $m$ (bewijsknooppunten per redenering) zijn afgeleid van gepubliceerde AC-casestudies, wat resulteert in $n \approx 1,72$ en $m \approx 1$ .

2. Beslissingscomplexiteit en Inspanningsmodellen

Het model definieert:

$p$ : Beslissingen per ouder-claim (configuratie van belief propagation).
$v$ : Beslissingen per bewijsknooppunt (bladwaardering).
$\alpha$ : Het aandeel gevallen dat niet-triviale, aangepaste beslissingen vereist (gesteld op 0,20 voor de average-case analyse, gebaseerd op eerdere expressiviteitsstudies).
$t_p$ en $t_v$ : Tijdindicaties per beslissing (0,5 minuut voor propagatie, 5 minuten voor bewijswaardering).

De worst-case beslissingscomplexiteit ( $O_d$ ) gaat ervan uit dat elke parameter handmatig moet worden gespecificeerd. De average-case complexiteit ( $\Omega_d$ ) gaat ervan uit dat voor een proportie $(1-\alpha)$ van de stappen, tooling of standaardwaarden de beslissingslast verminderen tot $p'$ en $v'$ .

3. Geanalyseerde Methoden

Het model wordt toegepast op drie representatieve kwantitatieve CAM's:

Bayesian Belief Network (BBN): Gebruikt waarschijnlijkheidstheorie met parameters voor combinators (NoisyAND/OR), leakage en linkgewichten.
Dempster-Shafer Theory (DST): Gebruikt beslissings- en vertrouwensmaten met forward/reverse parameters en regels.
Certus: Een gemengde methode die gebruikmaakt van linguïstische belief-niveaus en een domeinspecifieke taal voor propagatie-expressies (bijv. macro's, conditionele logica).

Belangrijkste Resultaten

De schaalbaarheidsanalyse werd uitgevoerd voor argumenthoogtes $h$ variërend van 1 tot 12, waarbij $h=10$ een typische omvang vertegenwoordigt op basis van gepubliceerde casestudies (ongeveer 350 totale knooppunten).

Worst-Case Complexiteit: Certus vertoont de hoogste beslissingscomplexiteit en vereist meer dan 10.000 beslissingen bij $h=10$ . Dit is aanzienlijk hoger dan BBN (~~971 beslissingen) en DST (~~1.716 beslissingen). Dit wordt toegeschreven aan de flexibiliteit van Certus, die aangepaste belief propagation-expressies over alle kind-nodes toestaat.
Average-Case Complexiteit: Wanneer wordt aangenomen dat tooling en standaardwaarden voor 80% van de stappen beschikbaar zijn ( $\alpha=0,2$ ), vertoont Certus de laagste beslissingscomplexiteit van de drie methoden.
Inschattingscijfers voor Inspanning: Voor een argument van ~350 knooppunten ( $h=10$ $h = 10$ ) voorspelt het model de volgende average-case inspanning:
- Certus: ~13 uur
- BBN: ~14 uur
- DST: ~26 uur

Betekenis en Bijdragen

Het artikel beweert de eerste te zijn die de schaalbaarheid van kwantitatieve CAM's adresseert via een formeel numeriek model. De primaire bijdragen zijn:

Conceptueel Kader: Het introduceert twee specifieke maten om de adoptiebarrière te kwantificeren: beslissingscomplexiteit (aantal beslissingen) en niveau van inspanning (tijd).
Schaalbaarheidsmodel: Het stelt een geparametriseerd model voor om deze grootheden te schatten, waardoor onderzoekers die nieuwe of verbeterde CAM's ontwikkelen, de benodigde inspanning voor toepassing kunnen evalueren.
Empirische Validatie: Door het model toe te passen op BBN, DST en Certus, demonstreert het artikel dat hoewel methoden met hoge flexibiliteit zoals Certus een extreme worst-case complexiteit kunnen hebben, hun average-case inspanning lager kan zijn dan die van gevestigde probabilistische methoden dankzij de beschikbaarheid van macro's en standaardwaarden.

Beperkingen

De auteurs merken expliciet enkele beperkingen op:

Argumentmodel: De $n$ -aire boom is een idealisering; echte AC's kunnen diepe ketens of brede stappen hebben die hiervan afwijken.
Beslissingsmoeilijkheid: Het model telt beslissingen, maar houdt geen rekening met de relatieve cognitieve moeilijkheid (bijv. het toekennen van een waarde op een 5-punts schaal versus een continue [0,1] schaal).
Tijdsparameters: De tijdindicaties ( $t_p, t_v$ ) zijn gebaseerd op intuïtie in plaats van empirische kalibratie en zijn contextafhankelijk.

Het artikel concludeert dat hoewel Certus de hoogste worst-case complexiteit heeft, de average-case efficiëntie het een levensvatbare kandidaat maakt, mits de tooling de reductie van handmatige beslissingen ondersteunt.