💻 computer science

A Subjective Logic-based method for runtime confidence updates in safety arguments

Dit artikel presenteert een op Subjective Logic gebaseerde methode die statische veiligheidszaken verbetert door dynamisch vertrouwenenniveaus tijdens de uitvoering bij te werken via continue evaluatie van veiligheidsprestatie-indicatoren, waarbij veiligheidgerelateerde responsiviteit wordt geprioriteerd boven exacte Bayesiaanse inferentie.

Oorspronkelijke auteurs: Benjamin Herd, Jessica Kelly, Clarissa Heinemann, João-Vitor Zacchi

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Herd, Jessica Kelly, Clarissa Heinemann, João-Vitor Zacchi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer sterk, logisch argument hebt opgebouwd voor de veiligheid van een zelfrijdende auto. Je hebt de code gecontroleerd, de sensoren getest en een rapport geschreven waarin staat: "We zijn 95% zeker dat deze auto geen bouwkegels zal raken." Dit is je Veiligheidsargument.

Het probleem is dat de echte wereld rommelig is. De auto kan een vreemd geplaatste kegel tegenkomen, slechte verlichting of een nieuw type verkeersbord dat niet in je oorspronkelijke tests zat. Je oorspronkelijke rapport is als een foto van gisteren; het weet niet wat er nu gebeurt.

Dit paper stelt een manier voor om dat veiligheidsargument "in leven" en up-to-date te houden terwijl de auto daadwerkelijk rijdt. Hieronder wordt uitgelegd hoe ze dit doen, met behulp van eenvoudige analogieën:

1. De "Veiligheidsscorekaart" (SPI's)

In plaats van alleen te wachten tot er een crash plaatsvindt (wat te laat is), suggereren de auteurs het gebruik van Veiligheidsprestatie-indicatoren (SPI's). Denk hierbij aan een veiligheidsscorekaart die aan specifieke onderdelen van je argument is gekoppeld.

De Analogie: Stel je voor dat je een leraar bent die een opstel van een student beoordeelt. Het "Tijdens het Ontwerp Gemaakte Argument" is het initiële cijfer dat je geeft op basis van het concept. De "SPI" is een live monitor die de student observeert terwijl deze de definitieve versie schrijft.
Hoe het werkt: Als de student begint een specifiek type fout te maken (zoals het vergeten van hoofdletters bij "ik"), markeert de monitor dit direct. In het voorbeeld van de auto markeert de SPI het als de camera te vaak een kegel mist.

2. De "Vertrouwensmeter" (Subjectieve Logica)

De auteurs gebruiken een wiskundig hulpmiddel genaamd Subjectieve Logica om vertrouwen te meten. In plaats van alleen te zeggen "95% veilig", splitsen ze vertrouwen op in drie categorieën:

Geloof: "Ik denk dat dit waar is."
Ongeloof: "Ik denk dat dit onwaar is."
Onzekerheid: "Ik heb niet genoeg informatie om een beslissing te nemen."

De Analogie: Stel je voor een pot met knikkers.

Blauwe knikkers vertegenwoordigen geloof (het is veilig).
Rode knikkers vertegenwoordigen ongeloof (het is onveilig).
Duidelijke knikkers vertegenwoordigen onzekerheid (ik weet het niet zeker).
Een "veilig" argument heeft voornamelijk blauwe knikkers en zeer weinig duidelijke knikkers.

3. Het "Twee-Regels Update Systeem"

Dit is de kerninnovatie. De auteurs hebben een speciale regel bedacht voor hoe de vertrouwenspot verandert wanneer de auto rijdt. Ze wilden een systeem dat responsief is (snel reageert op gevaar) in plaats van alleen statistisch perfect.

Ze gebruiken twee regels tegelijkertijd:

Regel A: De Langzame Accumulator (Geen Overtredingen)
- Wat er gebeurt: Als de auto een tijdje rijdt en geen kegels mist, voegt de SPI-monitor een paar blauwe knikkers toe aan de pot.
- Het Effect: Je vertrouwen groeit langzaam. De duidelijke knikkers (onzekerheid) krimpen omdat je meer data hebt. Het is als een langzame, constante druppel die een emmer vult.
Regel B: De Directe Straf (Overtredingen)
- Wat er gebeurt: Als de SPI-monitor een overtreding ziet (de auto mist een kegel), voegt het niet alleen een rode knikker toe. Het voert een plotselinge, gerichte ruil uit.
- Het Effect: Het neemt direct blauwe knikkers (geloof) en verandert ze in rode knikkers (ongeloof). Het is als een "veiligheidsalarm" dat je vertrouwen direct verlaagt op het moment dat een probleem wordt gedetecteerd.
- Waarom dit belangrijk is: De auteurs zeggen: "We geven hier niet om perfecte wiskunde; we geven om veiligheid." Als een veiligheidsregel wordt overtreden, moet je je vertrouwen snel laten zakken, niet wachten tot een langzaam statistisch gemiddelde bijhaalt.

4. De Realiteitstest (Het Bouwterrein)

Om te bewijzen dat dit werkt, simuleerden de auteurs een zelfrijdende auto in een bouwterrein.

De Opstelling: Ze hadden een camera ontworpen om oranje verkeerskegels op te sporen.
De Test: Ze draaiden een simulatie waarbij de auto soms kegels miste (door schaduwen of andere auto's die het zicht blokkeerden).
Het Resultaat:
- Toen de auto soepel reed, groeide het "blauwe" vertrouwen en kromp de "duidelijke" onzekerheid.
- Op het moment dat de auto een kegel miste, daalde het vertrouwen scherp.
- Terwijl de auto weer goed reed, klom het vertrouwen langzaam weer omhoog, maar keerde nooit volledig terug naar het "perfecte" niveau omdat het systeem de fout onthield.

Samenvatting

Het paper presenteert een methode om een statisch veiligheidsrapport om te zetten in een levend, ademend veiligheidsargument.

Oude Manier: "We hebben dit getest en het is veilig." (Statisch, verandert niet).
Nieuwe Manier: "We hebben dit getest en het is veilig. EN, we kijken er nu naar toe. Als het het goed doet, worden we meer vertrouwen. Als het zelfs maar één keer fout gaat, verliezen we direct vertrouwen en weten we dat we het moeten repareren."

Dit stelt ingenieurs en regelgevers in staat om op elk moment precies te zien hoeveel ze het systeem kunnen vertrouwen, gebaseerd op prestaties in real-time en niet alleen op eerdere tests.

Technische Samenvatting: Een op Subjectieve Logica gebaseerde Methode voor Runtime Bijwerkingen van Vertrouwen in Veiligheidsargumenten

Probleemstelling
Veiligheidszekerheidsargumenten voor machine learning (ML)-componenten, met name in dynamische omgevingen zoals autonoom rijden, staan voor een kritieke uitdaging: statische argumenten gebaseerd op bewijsmateriaal uit de ontwerpfase kunnen na verloop van tijd ongeldig worden door verschuivingen in data-distributie, modeldrift of evoluerende operationele contexten. Hoewel standaarden zoals UL 4600 het gebruik van Veiligheidsprestatie-indicatoren (SPI's) voorschrijven om de validiteit van systemen te monitoren, missen bestaande methoden voor het integreren van runtime-data vaak de granulariteit om bijwerkingen van vertrouwen dynamisch te kwantificeren. Kwalitatieve benaderingen bieden doorgaans slechts binaire uitkomsten (weerlegging of geen verandering), terwijl klassieke Bayesiaanse bijwerkingen mogelijk niet adequaat prioriteit geven aan directe veiligheidsresponsiviteit boven exacte posterior-equivalentie. Er is behoefte aan een formeel mechanisme dat continue, gefensterde runtime-bewijslast integreert in kwantitatieve zekerheidsargumenten, waardoor zowel een geleidelijke accumulatie van vertrouwen als directe straffen bij veiligheidsinbreuken mogelijk zijn.

Methodologie
De auteurs stellen een methode voor die statische, kwantitatieve zekerheidsargumenten uitbreidt met Subjectieve Logica (SL) om runtime-SPI's te integreren. De kern van de methodologie bestaat uit een specifieke bijwerkingsregel die twee SL-operatoren combineert: Cumulatieve Geloofsfusie (CBF) en de Weerleggende Uitdager (RC).

Argumentstructuur: Het veiligheidsdossier wordt gemodelleerd als een gestructureerd argument waarbij elke claim $c$ geassocieerd is met een binomiale opinie $\omega_c = (b, d, u, a)$ , die geloof, ongeloof, onzekerheid en basisrate vertegenwoordigt.
SPI-modellering: Runtime-SPI's worden behandeld als binaire predicaten afgeleid van gethresholdde metingen over een venster van $k$ observaties. Een SPI-opinie $\omega_{SPI}$ wordt geconstrueerd door successen ( $r$ , geen inbreuken) en falen ( $s$ , inbreuken) binnen het venster te tellen, en deze af te beelden op een SL-opinie met behulp van standaardvergelijkingen.
De Bijwerkingsregel: De centrale innovatie is de bijwerkingsvergelijking voor een claim-opinie $\omega_c$ $ω_{c}$ gegeven een nieuwe SPI-opinie $\omega_{SPI}$ $ω_{S P I}$ :
$\omega'_c = \neg\omega_{SPI} \boxtimes (\omega_c \oplus \omega_{SPI})$
- Binnenste Operatie ( $\oplus$ ): Cumulatieve Geloofsfusie accumuleert het bewijsmateriaal uit het SPI-venster. Als er geen inbreuken optreden, verhoogt dit het geloof en vermindert het de onzekerheid in de claim.
- Buitenste Operatie ( $\boxtimes$ ): De Weerleggende Uitdager past een directe straf toe. De SPI-opinie wordt genegateerd ( $\neg\omega_{SPI}$ ) zodat geloof in een SPI-inbreuk wordt omgezet in ongeloof in de claim. Deze operator hertelt massa van geloof naar ongeloof evenredig met de ernst van de inbreuk, waardoor ervoor wordt gezorgd dat een enkele inbreuk het vertrouwen direct kan degraderen, ongeacht eerdere accumulatie.

Dit ontwerp wijkt expliciet af van standaard geconjugeerde Beta-Binomiale Bayesiaanse bijwerkingen. In plaats van enkel aantallen toe te voegen, prioriteert de methode veiligheidsrelevante responsiviteit, waarbij wordt gewaarborgd dat inbreuken prompte correctieve vertrouwensdalingen veroorzaken, terwijl niet-inbreuken een geleidelijk herstel van vertrouwen toestaan.

Belangrijkste Bijdragen

SL-inheemse Bijwerkingsmechanisme: Het artikel introduceert een expliciet niet-Bayesiaanse bijwerkingsregel die gefensterde runtime-SPI's integreert in kwantitatieve zekerheidsargumenten. Het maakt gebruik van SL's vermogen om onderscheid te maken tussen eerste-orde vertrouwen (toewijding aan geloof/ongeloof) en tweede-orde vertrouwen (precisie van die toewijding).
Bijwerkingsregel met Twee Eigenschappen: De voorgestelde operatorencombinatie voldoet aan twee kritieke veiligheidseigenschappen: (1) geleidelijke toename van vertrouwen bij afwezigheid van inbreuken, en (2) directe, gerichte straffen bij inbreuken.
Formele Integratie van SPI's: De methode biedt een formele manier om leidende SPI's (proactieve indicatoren) direct te koppelen aan specifieke claims binnen het zekerheidsargument, waardoor een continue herbeoordeling van de geldigheid van het argument mogelijk wordt.

Experimentele Resultaten
De methode wordt gedemonstreerd aan de hand van een simulatie van een op ML gebaseerd component voor het detecteren van verkeerskegels binnen een autonoom voertuigsysteem (APIKS-platform).

Scenario: Een YOLOv8-gebaseerde detector wordt gemonitord op vals-negatieven ten opzichte van de grondwahrheid. Een SPI wordt gedefinieerd met een drempelwaarde op de verhouding van gemiste kegels.
Observaties:
- Wanneer SPI-inbreuken optraden (bijvoorbeeld door obstructie), daalde het geloof in de claim onmiddellijk en nam het ongeloof toe.
- In periodes zonder inbreuken nam de onzekerheid af en herstelde het geloof geleidelijk.
- De resulterende Beta-verdelingen toonden aan dat de methode de algehele onzekerheid in de loop van de tijd succesvol verminderde, terwijl tegelijkertijd de gevoeligheid voor veiligheidskritieke gebeurtenissen behouden bleef.
- Verschillende scenario's illustreerden hoe de methode omgaat met variërend bewijsmateriaal: het verschuiven van massa naar ongeloof wanneer inbreuken zich ophopen, en naar geloof wanneer het bewijs consistent is, terwijl onzekerheid wordt behouden wanneer de data ontoereikend is (bijvoorbeeld in korte nachtelijke segmenten).

Betekenis en Claims
De auteurs claimen dat dit werk een praktische, controleerbare aanpak biedt voor continue veiligheidszekerheid in op AI gebaseerde systemen. Door aan te sluiten bij standaarden zoals UL 4600, overbrugt de methode de kloof tussen statische argumenten uit de ontwerpfase en dynamische operationele realiteiten.

Bestuur: De aanpak biedt een transparant "vertrouwensverhaal" dat ruwe runtime-signalen koppelt aan expliciete opinies op claim-niveau. Dit ondersteunt vlootexploitanten en veiligheidsmanagers bij het activeren van mitigaties (bijvoorbeeld parameteraanpassingen, menselijk toezicht) op basis van kwantitatieve drempelwaarden.
Controleerbaarheid: Het creëert een formele link tussen runtime-bewijsmateriaal en het veiligheidsdossier, waardoor toezichthouders kunnen beoordelen hoe specifieke inbreuken het vertrouwen hebben beïnvloed.
MLOps-integratie: De methode koppelt degradatie van zekerheidsvertrouwen aan engineeringacties, zoals gerichte hertraining of dataverwerving, en koppelt zo effectief veiligheidsargumenten aan MLOps-workflows.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de effectiviteit afhankelijk is van nauwkeurige SPI-drempelbepaling en dat het huidige model onafhankelijke, niet-overlappende vensters veronderstelt. Voor toekomstig werk wordt voorgesteld om temporele correlaties, tijdsgewijze verdiscontering voor verouderd bewijsmateriaal, en de integratie van zowel leidende als achterlopende SPI's binnen een verenigd argumentstructuur aan te pakken.