💻 computer science

Probabilistic Verification of Neural Networks via Efficient Probabilistic Hull Generation

Dit artikel introduceert een nieuw raamwerk voor probabilistische verificatie van neurale netwerken dat een gegarandeerd bereik voor veilige kansen berekent door efficiënte probabilische hulls te genereren via regressiebomen, randbewuste bemonstering en iteratieve verfijning, wat resulteert in een aanzienlijke verbetering ten opzichte van de huidige stand van de techniek.

Oorspronkelijke auteurs: Jingyang Li, Xin Chen, Hongfei Fu, Guoqiang Li

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingyang Li, Xin Chen, Hongfei Fu, Guoqiang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto of een raket hebt die bestuurd wordt door een "hersenen" van kunstmatige intelligentie, een neuraal netwerk. We willen zeker weten dat deze systemen veilig zijn. Maar in de echte wereld is niets 100% perfect: de camera's kunnen wazig zijn, de wind kan veranderen, en sensoren kunnen trillen. Dit noemen we ruis of onzekerheid.

De vraag die deze wetenschappers willen beantwoorden is: "Als we rekening houden met al die kleine onzekerheden, hoe groot is de kans dat het systeem een fout maakt?"

Deze paper introduceert een slimme nieuwe manier om die kans te berekenen, zonder urenlang te hoeven rekenen. Hier is hoe het werkt, uitgelegd met een paar simpele analogieën:

1. Het Probleem: Het Gokken in het Donker

Stel je voor dat je een groot, donker veld moet verkennen om te zien of er gevaarlijke gaten (onzekerheid) in zitten.

De oude manier: Je loopt het veld af in een strak rooster, stap voor stap, en kijkt bij elk vierkantje of het veilig is. Als het veld heel groot is (veel variabelen), duurt dit eeuwen. Je loopt ook veel tijd te besteden aan gebieden die al duidelijk veilig zijn of duidelijk gevaarlijk, wat zonde van je tijd is.
Het doel: We willen niet precies weten waar elke steen ligt, maar we willen een garantie hebben: "De kans dat we in een gat vallen is kleiner dan 0,1%."

2. De Oplossing: De Slimme Verkenner (De "Probabilistische Huls")

De auteurs gebruiken een nieuwe strategie die we kunnen vergelijken met het maken van een slimme kaart in plaats van het aflopen van elk vierkantje.

Stap 1: De Regressieboom als een "Slimme Gids"

In plaats van willekeurig rond te lopen, gebruiken ze een regressieboom. Denk hierbij aan een spel "20 vragen" of een boomdiagram dat je leidt.

De boom vraagt: "Is het hier veilig?"
Als het antwoord "Ja" is voor een heel groot gebied, stopt de boom daar en zegt: "Dit hele stuk is veilig, we hoeven niet verder te kijken."
Als het antwoord "Nee" is, zegt hij: "Dit stuk is gevaarlijk, we markeren het."
Als het antwoord "Misschien" is (dicht bij de grens), splitst de boom dat stuk verder op.

Stap 2: De "Randbewuste" Strategie (De Magische Rand)

Dit is het meest creatieve deel. De meeste oude methoden snijden het veld in gelijke blokjes (zoals een raster). Maar wat als de gevaarlijke rand (de grens tussen veilig en onveilig) ergens anders ligt?
Deze nieuwe methode gebruikt monsters (steekproeven) om de rand te vinden.

Stel je voor dat je op een strand loopt en je zoekt de lijn waar het water begint.
Als je ver van de waterlijn staat, hoef je niet elke steen te tellen.
Maar als je dicht bij de waterlijn bent, kijk je heel nauwkeurig.
Deze methode "ruikt" waar de gevaarlijke rand zit en snijdt daar heel precies, terwijl ze grote gebieden die ver weg van de rand liggen, in één keer als veilig of onveilig afvinken. Ze noemen dit probabilistische hulzen: grote blokken die we met zekerheid als veilig of onveilig kunnen bestempelen.

Stap 3: De Wiskundige "Veiligheidsnetten"

Om de kans te berekenen, gebruiken ze een wiskundig trucje (de foutfunctie).

Ze tellen alle veilige blokken op. Dit geeft een ondergrens: "We weten zeker dat het systeem minstens 90% van de tijd veilig is."
Ze tellen alle onveilige blokken op. Dit geeft een bovengrens: "Het systeem is maximaal 95% veilig."
Het gebied dat ze nog niet weten (de "misschien"-gebieden) wordt steeds kleiner door de boom steeds scherper te snijden, totdat de onzekerheid zo klein is dat het niet meer uitmaakt.

Waarom is dit zo belangrijk?

Snelheid: Omdat ze niet het hele veld in kleine blokjes hoeven te hakken, maar alleen waar het nodig is, is het 10 keer sneller dan de beste bestaande methoden.
Flexibiliteit: Veel oude methoden werken alleen met specifieke soorten neurale netwerken (zoals die met "ReLu" activeringen). Deze nieuwe methode werkt met elk type netwerk, zelfs die met andere wiskundige formules (zoals tanh).
Betrouwbaarheid: Ze geven geen gok, maar een garantie. Ze kunnen zeggen: "Met 99,9% zekerheid is dit systeem veilig, zelfs als de sensoren trillen."

Samenvattend

Stel je voor dat je een enorme bibliotheek moet controleren op brandgevaar.

De oude manier: Je loopt elke plank na, van links naar rechts, en controleert elk boek.
Deze nieuwe manier: Je kijkt eerst naar de grote ruimtes. Als een hele vleugel droog en veilig is, sla je die over. Als een hoekje rookt, ga je daar heel nauwkeurig kijken. Je gebruikt een slimme gids (de boom) om te weten waar je moet kijken, en je berekent de kans op brand op basis van hoe groot die veilige en onveilige ruimtes zijn.

Dit maakt het mogelijk om complexe systemen, zoals raketlanceringen of zelfrijdende auto's, veel sneller en veiliger te verifiëren dan ooit tevoren.

Probleemstelling

De formele verificatie van diepe neurale netwerken (DNN's) is cruciaal voor veiligheidskritieke systemen. Bestaande technieken richten zich voornamelijk op het analyseren van het bereik van de uitvoer bij deterministische invoer. Echter, in de praktijk worden invoerdata vaak beïnvloed door ruis of verstoringen die worden gemodelleerd als probabilistische variabelen (bijvoorbeeld Gaussische ruis).

Het centrale probleem is het bepalen van de kans dat een DNN aan veiligheidsconstraints voldoet wanneer de invoer een kansverdeling volgt. Het exact berekenen van deze kans is onuitvoerbaar vanwege de complexiteit van DNN's. Bestaande methoden kampen met twee grote beperkingen:

Vervorming van de dimensie: Uniforme verdeling van de invoerruimte leidt tot een exponentieel aantal subdomeinen, wat rekenkundig te duur is.
Beperkingen in activatiefuncties: Methoden zoals ProbStar zijn vaak beperkt tot netwerken met ReLU-activaties en kunnen geen netwerken met andere activeringsfuncties (zoals tanh) verwerken.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat een garantiebereik (een onder- en bovengrens) berekent voor de veilige kans door efficiënt "probabilistische hulls" (probabilistische omhulsels) te vinden. Een probabilistische hull is een gesloten, begrensd gebied in de invoerruimte dat is uitgelijnd met de Gaussische verdeling, waardoor de kansberekening efficiënt kan worden uitgevoerd via de foutfunctie (error function).

De kern van de methode bestaat uit drie innovatieve componenten:

Regressieboom-gestuurde ruimtesplitsing:
In plaats van de invoerruimte uniform te verdelen, gebruikt het systeem regressiebomen om de ruimte adaptief te partitioneren. De boom wordt getraind op steekproeven om de beslissingsgrenzen van het netwerk te benaderen. Dit zorgt ervoor dat grote gebieden die volledig veilig of volledig onveilig zijn, snel worden geïdentificeerd als "hulls", zonder onnodige verdere splitsing.
Grens-bewuste steekproefneming (Boundary-Aware Sampling):
Om de regressieboom effectief te laten werken, wordt een speciale steekproefstrategie gebruikt:
- Combinatie: Er wordt een mix gebruikt van distributie-gestuurde steekproeven (om gebieden met hoge dichtheid te dekken) en uniforme steekproeven (om de randen van gebieden te dekken).
- Selectie: Steekproeven die ver weg liggen van de veiligheidsgrens (in de uitvoerruimte) worden geëlimineerd. Alleen steekproeven die dicht bij de grens liggen, worden gebruikt om de regressieboom te bouwen. Dit zorgt voor een nauwkeurige benadering van de veilige/onveilige grenzen.
Iteratieve verfijning met probabilistische prioritering:
Het algoritme werkt iteratief. Het kiest continu het onbekende gebied (hull) met de hoogste waarschijnlijkheid om dit te splitsen.
- Gebieden die als veilig worden verifieerd (via CROWN), worden toegevoegd aan de set $R_{safe}$ .
- Gebieden die als onveilig worden verifieerd, worden toegevoegd aan $R_{unsafe}$ .
- Gebieden die gemengd zijn, worden verder opgesplitst.
  Het proces stopt wanneer de som van de kansen van de resterende "onbekende" gebieden onder een bepaalde drempelwaarde ( $\epsilon$ ) zakt.

De bovengrens van de veilige kans ( $U_s$ ) wordt berekend als $1 - \sum P(R_{unsafe})$ en de ondergrens ( $L_s$ ) als $\sum P(R_{safe})$ .

Belangrijkste Bijdragen

Efficiëntie: Door de focus te leggen op gebieden met hoge waarschijnlijkheid en grensgebieden, wordt de "curse of dimensionality" aanzienlijk verzacht in vergelijking met uniforme methoden.
Generaliteit: De methode behandelt het DNN als een "blackbox" voor het genereren van steekproeven. Hierdoor is het niet beperkt tot ReLU-netwerken en kunnen netwerken met andere activeringsfuncties (zoals tanh) worden geverifieerd.
Garantie: Het biedt wiskundig bewezen onder- en bovengrenzen voor de veilige kans, waarbij de onzekerheid willekeurig klein kan worden gemaakt door de drempelwaarde te verlagen.
Snelheid: De implementatie maakt gebruik van parallelle verwerking (GPU) en CROWN voor snelle bereikverificatie.

Resultaten

De methode is geëvalueerd op verschillende benchmarks, waaronder ACAS Xu (vliegsafety) en een raketlandingscontroller (SpaceX Falcon 9).

ACAS Xu: De voorgestelde methode levert consistent nauwkeurigere grenzen op dan ProbStar en de basis Branch-and-Bound (BaB) methode. BaB loopt in alle gevallen vast (time-out), terwijl ProbStar langzamer is en minder nauwkeurige grenzen geeft. De parallelle versie van de nieuwe methode is gemiddeld 4,8x sneller dan de niet-parallelle versie.
Raketlandingscontroller: Bij deze hoge-dimensionale benchmarks (9 invoerdimensies) presteert de nieuwe methode aanzienlijk beter. De onbekende kans ( $U_s - L_s$ ) is veel kleiner (dichter bij 0) dan bij ProbStar, wat betekent dat de methode de veiligheid veel scherper kan inschatten. De runtime is tot 10x sneller dan de basis BaB-methode.
Tanh-netwerken: In vergelijking met BaB op gedistilleerde tanh-netwerken, bereikte de nieuwe methode sneller de convergentiedrempel en leverde strakkere grenzen op.

Betekenis en Conclusie

Dit artikel introduceert een doorbraak in de probabilistische verificatie van neurale netwerken. De belangrijkste betekenis ligt in de combinatie van adaptieve ruimtesplitsing (via regressiebomen) en grensgevoelige steekproefneming. Dit stelt onderzoekers en ingenieurs in staat om veiligheidsclaims te onderbouwen voor systemen die werken onder onzekere omstandigheden, zelfs bij complexe netwerken met niet-lineaire activeringsfuncties.

De methode lost het probleem op dat bestaande tools ofwel te traag zijn (door uniforme verdeling) of te beperkt in toepasbaarheid (door afhankelijkheid van ReLU). De auteurs geven aan dat toekomstig werk gericht zal zijn op het verbeteren van de output-range analyse voor hulls en het gebruik van symbolische representaties (zoals Taylor-modellen) om de dimensieproblematiek in extreme gevallen verder te verminderen.