🤖 machine learning

PRBench: A Standardized Probabilistic Robustness Benchmark

Dit artikel introduceert PRBench, de eerste gestandaardiseerde benchmark voor het evalueren van probabilistische robuustheid in deep learning-modellen, die aantoont dat terwijl adversarial training-methoden grotere veelzijdigheid bieden over hyperparameters heen, methoden specifiek gericht op probabilistische robuustheid een lagere generalisatiefout en hogere schone nauwkeurigheid bereiken.

Oorspronkelijke auteurs: Yi Zhang, Zheng Wang, Zhen Chen, Wenjie Ruan, Qing Guo, Siddartha Khastgir, Carsten Maple, Xingyu Zhao

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yi Zhang, Zheng Wang, Zhen Chen, Wenjie Ruan, Qing Guo, Siddartha Khastgir, Carsten Maple, Xingyu Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot hebt gebouwd om foto's van katten en honden te herkennen. Je wilt ervoor zorgen dat deze robot niet in de war raakt door kleine, onzichtbare veranderingen in de foto's—zoals een paar pixels die verschuiven of een beetje ruis.

In de wereld van AI zijn er twee hoofdmanieren om te testen of je robot "sterk" genoeg is:

De "Slechtst-Mogelijke Geval"-test (Adversarial Robustness): Dit is als een meesterdief die probeert de enige, perfecte manier te vinden om je robot te bedriegen. Als de dief zelfs maar één foto kan vinden waardoor de robot "Hond" zegt terwijl het duidelijk een "Kat" is, faalt de robot. Dit is de standaardmanier waarop mensen al jaren AI testen.
De "Real-World"-test (Probabilistic Robustness): Dit is meer als een weersvoorspelling. In plaats van te vragen: "Kan een dief de robot bedriegen?", vraagt het: "Als we de foto 1.000 keer willekeurig schudden, hoe vaak krijgt de robot het dan nog steeds goed?" Misschien faalt de robot 5 keer op 1.000, maar krijgt het het 995 keer goed. In de echte wereld is dat misschien goed genoeg.

Het Probleem: Een Ontbrekende Scorekaart

De auteurs van dit artikel merkten een groot gat op. We hebben een enorme bibliotheek met tests voor de "Slechtst-Mogelijke Geval"-dief, maar we hebben geen gestandaardiseerde manier om verschillende trainingsmethoden voor de "Real-World"-weers test met elkaar te vergelijken.

Sommige onderzoekers probeerden speciale trainingsmethoden te bouwen om deze "Real-World"-score te verbeteren. Maar omdat iedereen verschillende regels en verschillende tests gebruikte, kon niemand zeggen welke methode eigenlijk de beste was. Het was alsof je de snelheid van twee auto's probeerde te vergelijken terwijl de ene bestuurder een stopwatch gebruikt en de andere een zonnewijzer.

De Oplossing: PRBench (De Nieuwe Scorekaart)

Het team creëerde PRBench, de eerste gestandaardiseerde "scorekaart" die specifiek is ontworpen om te testen hoe goed AI omgaat met deze willekeurige, real-world verstoringen.

Ze namen 229 verschillende AI-modellen (variërend van eenvoudige tot zeer complexe modellen) en trainden ze met behulp van 13 verschillende methoden. Deze methoden omvatten:

Standaard Training: Gewoon de AI op de normale manier leren.
Adversarial Training (AT): De AI leren door haar de beste trucs van de "dief" te laten zien (de slechtst-mogelijke scenario's).
Probabilistic Training (RT): De AI specifiek leren omgaan met willekeurige ruis.
Hybride Methoden: Een mix van beide.

De Grote Verrassingen

Na het uitvoeren van al deze tests vonden de auteurs dingen die ingingen tegen de gebruikelijke intuïtie:

1. De "Gratis Lunch"-Ontdekking
De grootste verrassing was dat de methoden die zijn ontworpen om de "dief" te stoppen (Adversarial Training), eigenlijk ook de beste waren in het hanteren van willekeurige ruis.

Analogie: Stel je voor dat je een bokser traint. Je besluit ze te trainen door ze te laten vechten tegen een zwaargewichtkampioen (het slechtst-mogelijke scenario). Je verwacht dat ze goed worden in het vechten tegen zwaargewichten. Maar, verrassend genoeg, worden ze ook ongelooflijk goed in het ontwijken van willekeurige, lichte tikken van een menigte.
De Bevinding: Het artikel stelt dat als je je AI traint om robuust te zijn tegen de slechtst-mogelijke "dief", je "probabilistic robustness" (het hanteren van willekeurige ruis) bijna gratis krijgt. Je hebt niet per se een aparte, speciale trainingsmethode nodig voor willekeurige ruis.

2. De Trade-offs
Echter, er is een prijs.

Adversarial Training (De Zwaargewichtvechter): Maakt de AI zeer sterk tegen zowel dieven als willekeurige ruis, maar het maakt de AI soms iets trager of minder nauwkeurig bij het kijken naar perfecte, schone foto's.
Probabilistic Training (De Ruis-specialist): Deze methoden houden de AI zeer goed in het kijken naar schone foto's en gaan goed om met willekeurige ruis, maar ze zijn verrassend zwak tegen de "dief" (slechtst-mogelijke aanvallen).

3. De "Hybride"-Hoop
Er is een nieuwe, geavanceerde methode genaamd AT-PR die probeert het beste van twee werelden te combineren. Het gebruikt de "dief-bestrijdende" strategie, maar past deze aan zodat het ook omgaat met willekeurige ruis. Het doet een uitstekend werk in het balanceren van alles, maar het is zeer duur om uit te voeren (alsof je een team van 100 trainers inhuurt in plaats van één).

De Conclusie

Het artikel suggereert dat mensen al lange tijd proberen complexe, gespecialiseerde hulpmiddelen uit te vinden om alleen het "willekeurige ruis"-probleem op te lossen. Maar de data toont aan dat de standaard "dief-bestrijdende" hulpmiddelen (Adversarial Training) al een fantastisch werk doen bij het oplossen van beide problemen.

De auteurs zeggen niet dat we moeten stoppen met het onderzoeken van "probabilistic robustness". In plaats daarvan zeggen ze: "Stop met het opnieuw uitvinden van het wiel. De hulpmiddelen die we al hebben voor de slechtst-mogelijke scenario's zijn verrassend goed in het hanteren van de dagelijkse dingen ook."

Ze hebben deze benchmark (PRBench) gebouwd zodat onderzoekers in de toekomst kunnen stoppen met gokken en kunnen beginnen met het gebruik van een duidelijke, gedeelde liniaal om vooruitgang te meten, zodat we AI bouwen die veilig en betrouwbaar is in zowel extreme als alledaagse situaties.

Technische Samenvatting: PRBench: Een Gestandaardiseerd Probabilistisch Robuustheidsbenchmark

Probleemstelling

Deep learning-modellen zijn inherent kwetsbaar voor onwaarneembare invoerperturbaties. Hoewel het vakgebied zich uitgebreid heeft gericht op Adversariële Robuustheid (AR) – het evalueren van het vermogen van een model om bestand te zijn tegen worst-case, deterministische adversariële voorbeelden (AE's) – faalt dit perspectief vaak om de probabilistische aard van risico's in de echte wereld te vangen. Probabilistische Robuustheid (PR) biedt een praktischer alternatief door de waarschijnlijkheid te meten dat de voorspelling van een model correct blijft onder stochastische perturbaties.

Ondanks de erkende waarde van PR blijft onderzoek naar trainingsmethoden die specifiek zijn ontworpen om PR te verbeteren, in vergelijking met AR, onderbelicht. Bestaande op PR gerichte trainingsmethoden lijden aan drie kritieke beperkingen:

Niet-vergelijkbare evaluatieprotocollen: Methoden maken gebruik van uiteenlopende metrieken, wat een holistische beoordeling verhindert.
Beperkte baseline-vergelijkingen: Er is onvoldoende inzicht in hoe standaard Adversariële Training (AT)-methoden, die primair voor AR zijn ontworpen, presteren als hulpmiddelen voor PR-verbetering, ondanks anekdotisch bewijs dat ze PR kunnen versterken als een "gratis bijproduct".
Gebrek aan een verenigd theoretisch raamwerk: Er bestaat geen gemeenschappelijke theoretische basis om de generalisatievermogens van verschillende op PR gerichte trainingsmethoden met elkaar te vergelijken.

Methodologie: PRBench

Om deze hiaten aan te pakken, introduceren de auteurs PRBench, het eerste gestandaardiseerde benchmark dat is gewijd aan het evalueren van trainingsmethoden voor het verbeteren van Probabilistische Robuustheid.

Experimentele Omvang

Schaal: De benchmark traint en evalueert 229 modellen over 7 datasets (MNIST, SVHN, CIFAR-10, CIFAR-100, CINIC-10, TinyImageNet, ImageNet-50) en 10 modelarchitecturen (waaronder VGG-19, ResNet-varianten, WideResNet, ViT en DeiT).
Trainingsmethoden: PRBench categoriseert en vergelijkt 13 verschillende trainingsbenaderingen:
- Standaard Training: Empirisch Risicominimalisatie (ERM).
- Adversariële Training (AT): 6 methoden, waaronder PGD, TRADES, MART, ALP, CLP en een nieuw geïntroduceerde diagnostische variant KL-PGD (met gebruik van KL-divergentie voor AE-generatie maar cross-entropy voor training).
- Risico-gebaseerde Training (RT): 4 methoden (Corruptietraining, CVaR, EVaR) die statistische risico's over perturbatiedistributies optimaliseren in plaats van worst-case AE's.
- Hybride Methode: AT-PR, een recente aanpak die AT-principes aanpast om PR te targeten door optimale AE's te identificeren die het "all-AE"-gebied maximaliseren.
Evaluatiemetrieken: De benchmark maakt gebruik van een uitgebreide reeks metrieken:
- Schone Nauwkeurigheid: Standaard prestaties op niet-gestoorde data.
- Adversariële Robuustheid (AR): Gemeten via 4 white-box aanvallen (PGD10, PGD20, C&W, Auto-Attack).
- Probabilistische Robuustheid (PR): Gequantificeerd met behulp van $PR_D(\gamma)$ (gemiddelde waarschijnlijkheid van een correcte voorspelling onder perturbatie) en $ProbAcc(\rho)$ (fractie van invoeren die een robuustheidsthrshold overschrijden).
- Generalisatiefout (GE): Het gat tussen trainings- en testprestaties voor zowel AR als PR.
- Efficiëntie: Trainingstijd per epoch.

Theoretische Analyse

De auteurs bieden een theoretische analyse die is gebaseerd op Uniforme Algorithmische Stabiliteit. Zij leiden grenzen af voor de Generalisatiefout (GE) onder verschillende trainingsregimes:

RT-methoden: Bewezen om soepelere trainingsprocessen te leveren (Lipschitz- en gladheidseigenschappen) in vergelijking met AT, wat theoretisch hun lagere GE en verminderde robuuste overfitting verklaart.
AT-methoden: De analyse toont aan dat AT een extra term introduceert die evenredig is met de gladheid van de surrogaatverliesfunctie, wat bijdraagt aan robuuste overfitting. Methoden die echter straffen op softmax-uitgangen incorporeren (zoals TRADES) kunnen dit mitigeren door de Lipschitz-constante van de doelstelling te verkleinen.

Belangrijkste Resultaten

De empirische evaluatie onthult twee verschillende afwegingsfronten:

Dominantie van Adversariële Training (AT) in Robuustheid:
- In tegenstelling tot de aanname dat PR gespecialiseerde training vereist, presteren standaard AT-methoden (zoals PGD, TRADES) consequent beter dan op PR gerichte methoden in het verbeteren van zowel AR als PR.
- AT-getrainde modellen bereiken meer dan 99% PR-prestatie binnen de perturbatie-normbol van training, vaak met weinig tot geen extra kosten in vergelijking met PR-specifieke methoden.
- Dit suggereert dat voor veel scenario's PR een "gratis bijproduct" is van sterke AT-training.
Op PR gerichte Methoden in Nauwkeurigheid en Generalisatie:
- Hoewel RT-methoden (zoals Corruptie, CVaR) PR verbeteren ten opzichte van standaard ERM, blijven ze aanzienlijk achter bij AT in AR-prestaties, vaak dalend tot bijna nul onder sterke aanvallen.
- RT-methoden behouden echter hogere schone nauwkeurigheid en vertonen lagere Generalisatiefout (GE) in vergelijking met AT-methoden.
- De hybride methode AT-PR biedt een gebalanceerde afweging, met PR-prestaties vergelijkbaar met AT, AR-prestaties superieur aan RT en betere schone nauwkeurigheid dan standaard AT, hoewel tegen aanzienlijk hogere computerkosten.
Efficiëntie versus Prestatie:
- Corruptietraining is zeer efficiënt maar biedt beperkte robuustheidswinst.
- CVaR en AT-PR zijn computergewijs duur vanwege de noodzaak van meerdere steekproeven of complexe optimalisatielussen.
- Standaard AT-methoden (zoals PGD en TRADES) bieden een middenweg in efficiëntie terwijl ze de hoogste samengestelde robuustheidsscores leveren.

Betekenis en Claims

Het artikel positioneert PRBench als een noodzakelijke standaardisatie voor het vakgebied, met het argument dat het huidige gebrek aan verenigde evaluatie het begrip van de relatie tussen AR en PR belemmert.

Herwaardering van de Behoefte aan PR-specifieke Methoden: De auteurs stellen een "dappere hypothese" voor dat er mogelijk beperkte praktische behoefte is aan het ontwikkelen van aparte op PR gerichte trainingsmethoden, gezien het feit dat sterke AT-methoden al aanzienlijke PR-verbeteringen opleveren.
Toekomstige Richting: In plaats van uitsluitend te focussen op PR-specifieke benaderingen, suggereren de auteurs dat toekomstig onderzoek prioriteit moet geven aan veelzijdige, AT-gebaseerde benaderingen (zoals de diagnostische KL-PGD of de hybride AT-PR) die gezamenlijk AR en PR verbeteren terwijl ze schone nauwkeurigheid en lage generalisatiefout behouden.
Beschikbaarheid van Middelen: Om dit onderzoek te faciliteren, hebben de auteurs een publieke leaderboard vrijgegeven met resultaten voor alle 229 getrainde modellen en een open-source codebase, wat een systematische vergelijking van huidige en toekomstige robuustheidstrainingsmethoden mogelijk maakt.

Kortom, PRBench toont aan dat hoewel gespecialiseerde PR-training voordelen biedt in generalisatie en schone nauwkeurigheid, standaard adversariële training de meest effectieve en efficiënte strategie blijft om hoge probabilistische robuustheid te bereiken, wat de noodzaak van gescheiden PR-trainingsparadigma's uitdaagt.