🤖 machine learning

Non-Parametric Probabilistic Robustness: A Conservative Risk Estimator under Unknown Perturbation Distributions

Dit artikel introduceert Non-Parametric Probabilistic Robustness (NPPR), een praktische metriek die geoptimaliseerde perturbatiedistributies direct uit data leert via een Gaussian Mixture Model om conservatieve risico-inschattingen te bieden onder distributionele onzekerheid, waarmee de onrealistische aanname van vaste perturbatiedistributies in bestaande probabilistische robuustheidskaders wordt geadresseerd.

Oorspronkelijke auteurs: Zheng Wang, Yi Zhang, Siddartha Khastgir, Carsten Maple, Xingyu Zhao

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zheng Wang, Yi Zhang, Siddartha Khastgir, Carsten Maple, Xingyu Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot hebt die foto's van katten en honden kan herkennen. Je wilt weten: Hoe betrouwbaar is deze robot?

In de wereld van AI zijn er twee belangrijke manieren waarop mensen de betrouwbaarheid meestal testen, maar beide hebben een groot gebrek. Dit artikel introduceert een nieuwe, veiligere manier om dit te testen.

Hier is de onderverdeling met eenvoudige analogieën:

1. De twee oude manieren van testen (Het probleem)

De "Worst-Case" Test (Adversarial Robustness)
Stel je een meesterdief voor die probeert in te breken in het brein van je robot. De dief is super slim, heeft een blauwdruk van de robot en probeert de kleinste, meest perfecte hoeveelheid "ruis" (zoals een minuscuul stofje) toe te voegen aan een foto van een kat om de robot te misleiden zodat hij denkt dat het een hond is.

Het resultaat: Als de robot zelfs maar één keer faalt tegenover deze meesterdief, zeggen we dat de robot "niet robuust" is.
Het gebrek: Dit is als het testen van een auto door deze met 100 mph tegen een bakstenen muur te laten rijden. Het vertelt je wel dat de auto kan breken, maar het vertelt je niet hoe de auto omgaat met normale oneffenheden in de weg. Het is te angstaanjagend en pessimistisch.

De "Bekende Ruis" Test (Probabilistic Robustness)
Stel je nu voor dat je geen meesterdief hebt. In plaats daarvan strooi je gewoon willekeurig wat stof op de foto. Maar hier komt de crux: Je moet raden wat voor soort stof het is.

De meeste onderzoekers raden dat het stof "Gaussiaans" is (zoals een fijn, pluizig poeder) of "Uniform" (zoals zand). Ze gaan ervan uit dat ze precies weten hoe het stof valt.
Het gebrek: In de echte wereld weet je zelden precies hoe het stof valt. Misschien is het stof klonterig, misschien is het zwaar, misschien komt het uit een specifieke machine. Als jij raadt dat het stof "pluizig poeder" is, maar het echte stof is "zwaar zand", dan is je test fout. Je denkt misschien dat de robot veilig is, maar in werkelijkheid is dat niet zo.

2. De Nieuwe Oplossing: NPPR (De "Slimme Detective")

De auteurs stellen Non-Parametric Probabilistic Robustness (NPPR) voor.

In plaats van te raden hoe de "stof" eruit ziet, werkt NPPR als een slimme detective. Het kijkt naar de data en vraagt: "Wat is het ergst mogelijke type stof dat realistisch gezien zou kunnen bestaan, dat de robot het meest zou kunnen misleiden?"

Geen giswerk: Het gaat er niet vanuit dat de ruis Gaussiaans of Uniform is. Het leert de vorm van de ruis rechtstreeks van de data.
De "Conservatieve" Aanpak: Het vindt het "worst-case scenario" binnen het domein van de waarschijnlijkheid. Het vraagt: "Als de ruis onvoorspelbaar is, wat is dan de laagste kans dat de robot het nog steeds goed doet?"
Het resultaat: Dit geeft je een veiligheidsgarantie. Als de robot deze test doorstaat, weet je dat hij robuust is, zelfs tegen de meest verraderlijke, onbekende soorten ruis.

3. Hoe het werkt (De "Mix van Wolken")

Om dit "worst-case stof" te vinden, gebruikt het paper een slimme truc genaamd een Gaussian Mixture Model (GMM).

De Analogie: Stel je voor dat je een storm probeert te beschrijven. Een simpel model zegt misschien: "Het is gewoon regen." Maar een echte storm bestaat uit zware regen, lichte motregen, hagel en wind die allemaal gemengd zijn.
De Methode: Het NPPR-systeem bount een "mix van wolken". Het creëert een complexe vorm bestaande uit verschillende soorten ruis (zoals een wolk van regen, een wolk van hagel, enz.) die samen gemengd zijn.
Het Leren: Het past deze mix aan totdat het de specifieke combinatie van ruis vindt die de robot het vaakst laat falen. Dit is de "conservatieve" schatting.

4. Wat ze hebben gevonden (Het Bewijs)

De auteurs hebben dit getest op beroemde afbeeldingen-datasets (zoals CIFAR en Tiny ImageNet) met standaard robotbreinen (ResNet, VGG, etc.).

De Hiërarchie: Ze hebben wiskundig bewezen dat de resultaten altijd in deze volgorde vallen:
1. Adversarial Robustness (De Bakstenen Muur): De robot ziet er verschrikkelijk uit (0% veilig).
2. NPPR (De Slimme Detective): De robot ziet er oké uit, maar voorzichtig. Het geeft een lagere, veiligere score dan de oude methoden.
3. Oude Probabilistic Robustness (De Gissers): De robot ziet er geweldig uit (90%+ veilig), maar dit kan een leugen zijn omdat ze het verkeerde type stof hebben geraden.
De Conclusie: De oude methoden overschatten vaak hoe veilig de robot is. NPPR geeft een lager, eerlijker getal. Het is beter om te weten dat je robot voor 60% veilig is (en daarop voorbereid te zijn) dan te denken dat hij voor 95% veilig is en verrast te worden wanneer hij faalt.

Samenvatting

Oude Manier: "Laten we ervan uitgaan dat de ruis een specifiek type zand is." (Risicovol als je het fout hebt geraden).
Nieuwe Manier (NPPR): "Laten we leren wat de ergst mogelijke ruis is van de data zelf, zodat we niet overrompeld worden."
Waarom het ertoe doet: Het voorkomt dat we vals zelfvertrouwen krijgen. Het biedt een conservatieve, realistische veiligheidsscore voor AI-modellen wanneer we niet precies weten met wat voor soort "ruis" ze in de echte wereld te maken krijgen.

Technische Samenvatting: Non-Parametrische Probabilistische Robuustheid (NPPR)

1. Probleemstelling

Deep learning (DL) modellen staan erom bekend kwetsbaar te zijn voor kleine perturbaties in de input. Terwijl Adversarial Robustness (AR) zich richt op worst-case, deterministische aanvallen, is Probabilistic Robustness (PR) naar voren gekomen als een complementaire metriek om de waarschijnlijkheid te kwantificeren waarmee een model correct gedrag behoudt onder willekeurige, stochastische perturbaties (bijv. sensorgruis of brute-force aanvallen).

Echter, bestaande PR-formuleringen lijden aan een kritieke beperking: ze gaan ervan uit dat de perturbatieverdeling vaststaat en vooraf bekend is (bijv. door uit te gaan van een Gaussische of Uniforme ruis). In praktische scenario's is de werkelijke verdeling van perturbaties zelden bekend. Het vertrouwen op een willekeurige, vooraf gedefinieerde verdeling kan leiden tot een onderschatting van het risico, aangezien de gekozen verdeling mogelijk niet het "worst-case" stochastische gedrag vertegenwoordigt binnen het toegestane budget. Er is behoefte aan een robuustheidsmetriek die niet afhankelijk is van vooraf gedefinieerde verdelingsaannames, maar in plaats daarvan een conservatieve schatting direct uit data afleidt.

2. Methodologie

Het artikel stelt Non-Parametrische Probabilistische Robuustheid (NPPR) voor, een framework dat een geoptimaliseerde perturbatieverdeling leert van data om een conservatieve (ondergrens) schatting van robuustheid te geven.

Kerndefinities:

NPPR-metriek: Formeel gedefinieerd als het infimum van de PR over een verzameling toelaatbare perturbatieverdelingen ( $\mathcal{P}_\epsilon$ ). In tegenstelling tot standaard PR, dat een vaste $\omega$ gebruikt, zoekt NPPR de verdeling $\omega \in \mathcal{P}_\epsilon$ die de waarschijnlijkheid minimaliseert dat het model correct blijft:
$S_{NPPR}(x, y) \triangleq \inf_{\omega \in \mathcal{P}_\epsilon} \mathbb{E}_{\epsilon \sim \omega(\cdot|x)} [\mathbb{1}_{h(x+\epsilon)=y}]$
Theoretische grenzen: De auteurs stellen vast dat $G_{AR} \le G_{NPPR} \le G_{PR}$ , waarbij $G$ de globale robuustheid vertegenwoordigt. NPPR dient als een meer conservatieve maatstaf dan standaard PR, maar is over het algemeen hoger dan de worst-case AR.

Schattingframework:
Om NPPR te schatten, ontwikkelen de auteurs een leerbare estimator gebaseerd op een Gaussian Mixture Model (GMM):

Modellering van de verdeling: De perturbatieverdeling wordt benaderd door een eindige GMM met $K$ componenten. De parameters (gewichten, gemiddelden, covarianties) worden geleerd om de robuustheid van het model te minimaliseren.
Afhankelijkheidsscenario's: Het framework ondersteunt vier afhankelijkheidsstructuren tussen perturbaties en inputs/labels:
- Input-onafhankelijk: Ruis is statisch over alle inputs.
- Label-afhankelijk: Ruis varieert op basis van de grondwaarheid-labels.
- Input-afhankelijk: Ruis varieert op basis van inputkenmerken.
- Gezamenlijke afhankelijkheid: Een combinatie van de bovenstaande.
Optimalisatie & Training:
- Het doel is om de verwachte loss (logit margin) te minimaliseren over de geleerde verdeling.
- Omdat de GMM discrete sampling bevat (het selecteren van een component), wordt de Gumbel-Softmax trick toegepast om een differentieerbare relaxatie te creëren, wat end-to-end training via Stochastic Gradient Descent (SGD) mogelijk maakt.
- Architectuur: Een lichtgewicht Multi-Layer Perceptron (MLP) head parametriseert de GMM. Om hoog-dimensionale beeldruimtes te verwerken, worden perturbaties gemodelleerd in een lager-dimensionale feature space en terug naar de inputruimte gemapt met behulp van bicubische up-sampling.
- Restrictie: Een geschaalde tanh-mapping zorgt ervoor dat perturbaties binnen het voorgeschreven $L_p$ -norm budget blijven.

3. Belangrijkste Bijdragen

Formele Metriek: Het artikel breidt het concept van Probabilistische Robuustheid uit naar een non-parametrische setting, definieert NPPR formeel en relateert het theoretisch aan AR en standaard PR.
Ontwikkeling van de Estimator: Een praktische NPPR-estimator wordt ontwikkeld met behulp van een GMM met Gumbel-Softmax relaxatie. Deze leert een conservatieve perturbatieverdeling zonder een vaste prior aan te nemen, met theoretische garanties op de convergentie van de gerelaxeerde objectieve functie.
Uitgebreide Evaluatie: De aanpak wordt gevalideerd over meerdere datasets (CIFAR-10, CIFAR-100, Tiny ImageNet) en architecturen (ResNet18/50, WideResNet50, VGG16).
Open Source: De auteurs stellen de volledige implementatie en experimentele details beschikbaar.

4. Experimentele Resultaten

Experimenten tonen aan dat NPPR een realistischere en conservatievere robuustheidsschatting biedt vergeleken met standaard PR-methoden die uitgaan van vaste verdelingen (Gaussisch, Uniform, Laplace).

Conservatieve Schattingen: Over alle geteste modellen en datasets heen is de geschatte globale NPPR ( $\hat{G}_{NPPR}$ ) consistent lager dan de PR-schattingen afgeleid van vaste verdelingen (bijv. op CIFAR-10 met ResNet18, $\hat{G}_{NPPR} \approx 76,29\%$ versus $\hat{G}_{PR}^{Gaussian} \approx 95,28\%$ ), maar hoger dan de worst-case AR (bijv. $\approx 3,10\%$ ). Dit valideert de theoretische grens $G_{AR} \le G_{NPPR} \le G_{PR}$ .
Impact van Afhankelijkheid: De studie laat zien dat het toestaan dat de perturbatieverdeling afhankelijk is van inputs of labels (Gezamenlijke of Input-afhankelijke structuren) over het algemeen meer conservatieve (lagere) robuustheidsschattingen oplevert vergeleken met input-onafhankelijke aannames.
Ablatie: Het verhogen van het aantal GMM-componenten ( $K$ ) verbetert over het algemeen de expressiviteit van de geleerde verdeling, wat leidt tot lagere (conservatievere) NPPR-scores.
Cross-Radius Analyse: Estimators getraind bij grotere perturbatie-radii hebben de neiging om iets conservatievere schattingen te produceren wanneer ze worden geëvalueerd bij grotere radii, wat stabiliteit demonstreert over verschillende budgetrestricties.

5. Betekenis en Claims

Het artikel positioneert NPPR niet als een nieuwe aanvalsmethode, maar als een conservatieve risicoschatter voor beoordelaars. De primaire betekenis ligt in het adresseren van de "onbekende verdeling"-kloof in huidige robuustheidsevaluaties.

Praktijkgerichtheid: Door de onrealistische aanname van een bekende perturbatieverdeling te verwijderen, biedt NPPR een metriek die beter implementeerbaar is in real-world scenario's waar ruisbronnen (sensordrift, omgevingsruis) complex en onbekend zijn.
Complementariteit: De auteurs stellen expliciet dat NPPR AR of PR niet vervangt. In plaats daarvan vult het deze aan door een ondergrens-schatting te bieden van de probabilistische robuustheid wanneer de exacte aard van stochastische perturbaties onbekend is.
Veiligheid: Door de "worst-case" stochastische verdeling binnen een toelaatbare set te identificeren, helpt NPPR bij het beantwoorden van de cruciale vraag: "Als de input onderhevig is aan onbekende stochastische perturbaties, hoe robuust kan het model dan ten minste zijn?" Dit biedt een veiligheidsmarge die door vaste-verdeling PR-metrieken mogelijk over het hoofd wordt gezien.