🤖 machine learning

Rethinking Evaluation Paradigms in IBP-based Certified Training

Dit artikel stelt een nieuw evaluatieparadigma voor voor IBP-gebaseerde gecertificeerde training dat gebruikmaakt van geautomatiseerde multi-objective hyperparameteroptimalisatie om Pareto-fronten van natuurlijke versus gecertificeerde nauwkeurigheid te construeren, waardoor significante onderinstelling in eerder werk wordt onthuld en eerlijke, onbevooroordeelde vergelijkingen mogelijk worden gemaakt die een nieuwe state of the art vaststellen.

Oorspronkelijke auteurs: Konstantin Kaulen, Hadar Shavit, Holger H. Hoos

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Konstantin Kaulen, Hadar Shavit, Holger H. Hoos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Veiligheid vs. Snelheid" Dilemma

Stel je voor dat je een robot traint om een auto te besturen. Je wilt twee dingen:

Natuurlijke Nauwkeurigheid: De robot rijdt perfect op normale, zonnige dagen.
Gecertificeerde Robuustheid: De robot heeft een wiskundige garantie dat hij niet crasht als er een klein, vreemd foutje optreedt (zoals een sticker op een stopbord die de camera in de war brengt).

Het probleem is dat deze twee doelen meestal met elkaar in strijd zijn. Als je de robot superveilig maakt tegen foutjes, kan hij op normale dagen onhandig worden. Als je hem een geweldige bestuurder maakt op normale dagen, kan hij gemakkelijk worden misleid door foutjes.

Jarenlang hebben onderzoekers geprobeerd de "perfecte" robot te vinden die een balans vindt tussen deze twee. Maar de manier waarop ze hun robots hebben getest, was gebrekkig.

Het Probleem: Een Boek Beoordelen op Eén Pagina

Tot nu toe zouden onderzoekers de instellingen van hun robot afstemmen om één enkele "beste" instelling te vinden. Ze kozen een specifieke balans tussen veiligheid en snelheid, rapporteerden die cijfers en zeiden: "Kijk, onze robot is de beste!"

De auteurs van dit artikel stellen dat dit is alsof je een restaurant beoordeelt door slechts één gerecht te bestellen. Misschien is het restaurant geweldig in biefstuk, maar verschrikkelijk in pasta. Als je alleen de biefstuk bestelt, denk je dat het het beste restaurant van de stad is. Maar als je de pasta zou proberen, zou je kunnen merken dat ze eigenlijk niet zo goed zijn.

In de wereld van AI kozen onderzoekers slechts één punt op het spectrum van "veiligheid versus snelheid". Dit betekende dat ze het volledige plaatje misten. Sommige methoden zijn geweldig in veiligheid maar slecht in snelheid, terwijl andere het tegenovergestelde zijn. Door slechts naar één punt te kijken, kreeg de wetenschappelijke gemeenschap een misleidend beeld van wie er werkelijk de beste was.

De Oplossing: De "Pareto Frontier" Kaart

De auteurs stellen een nieuwe manier voor om deze robots te evalueren. In plaats van te zoeken naar één "beste" instelling, brengen ze het volledige bereik van mogelijkheden in kaart.

Stel je een kaart voor waarbij de X-as "Rijvaardigheid" is (Natuurlijke Nauwkeurigheid) en de Y-as "Crash-bestendigheid" (Gecertificeerde Nauwkeurigheid).

Sommige robots scoren hoog op rijvaardigheid maar laag op crash-bestendigheid.
Sommige scoren hoog op crash-bestendigheid maar laag op rijvaardigheid.
Sommige zitten in het midden.

De auteurs gebruiken een speciaal computeralgoritme om de rand van de kaart te vinden (de Pareto Front genoemd). Deze rand vertegenwoordigt de best mogelijke afwegingen. Als een robot op deze rand staat, kun je de rijvaardigheid niet verbeteren zonder hem minder crash-bestendig te maken, en vice versa.

Door de volledige rand van verschillende robots te vergelijken, in plaats van slechts één punt, kunnen ze zien wie werkelijk superieur is.

Wat Ze Ontdekten: De "Verborgen Parels"

Toen de auteurs deze nieuwe methode van kaart maken toepasten op bestaande AI-methoden, ontdekten ze twee belangrijke zaken:

1. Eerdere "Winnaars" waren Ondergetuned
Veel van de methoden die voorheen als "state of the art" werden beschouwd, waren in werkelijkheid gewoon slecht afgesteld. De onderzoekers ontdekten dat als je de instellingen correct aanpast (met behulp van hun nieuwe kaart), deze oudere methoden veel beter presteren dan iedereen voor mogelijk hield.

Analogie: Het is alsof je ontdekt dat een auto die iedereen als traag beschouwde, eigenlijk 160 km/u kon rijden, maar de vorige eigenaar had het gaspedaal vastgeplakt. Zodra ze het losmaakten, was de auto een raket.

2. Er Is Niet Eén Enkele "Beste" Robot
De studie toonde aan dat er niet één enkele methode is die alles wint.

Methode A (SABR) is als een sportwagen: Hij is fantastisch in snel en soepel rijden (hoge natuurlijke nauwkeurigheid), maar biedt een redelijke, zij het niet perfecte, crashbescherming.
Methode B (MTL-IBP) is als een tank: Hij is iets langzamer op de open weg, maar biedt de sterkste, wiskundig gegarandeerde crashbescherming.
Conclusie: Afhankelijk van wat je nodig hebt (een snelle auto of een tank), moet je een andere methode kiezen. Ze zijn complementair, geen concurrenten.

De Prijs van de Waarheid

De auteurs geven toe dat het maken van deze nieuwe kaart duur is. Het vereist veel rekenkracht om duizenden verschillende instellingen voor elke robot te testen.

Analogie: Om de beste route voor een roadtrip te vinden, kun je gewoon één pad gokken. Of je kunt een supercomputer gebruiken om elke mogelijke route, elke verkeerssituatie en elk weersscenario te simuleren. De tweede manier kost meer tijd en elektriciteit, maar het garandeert dat je de werkelijk beste route vindt, en niet slechts een gelukkige gok.

De Kernboodschap

Dit artikel vindt geen nieuwe robot; het vindt een betere liniaal.

Het zegt tegen de wetenschappelijke gemeenschap: "Stop met het kiezen van één willekeurige instelling en de overwinning claimen. Breng de volledige afwegingscurve in kaart. Wanneer je dat doet, zul je zien dat veel van onze oude kampioenen gewoon ondervoorbereid waren, en dat de echte winnaars volledig afhangen van wat je het meest waardeert: snelheid of veiligheid."

Door deze nieuwe, eerlijkere manier van meten te gebruiken, vestigt het artikel een nieuwe standaard voor hoe AI-veiligheid in de toekomst getest moet worden.

Technische Samenvatting: Heroverweging van Evaluatieparadigma's in IBP-gebaseerde Gecertificeerde Training

Probleemstelling

Diepe neurale netwerken (DNN's) behalen een hoge prestatie op supervised learning-taken, maar blijven kwetsbaar voor adversariële perturbaties. Hoewel neurale netwerkverificatie wiskundig rigoureuze robuustheidsgaranties biedt, is dit computationeel duur (NP-volledig). Gecertificeerde trainingstechnieken, met name die gebaseerd op Interval Bound Propagation (IBP), beogen het optimaliseren van verifieerbare robuustheid tijdens de training. Deze methoden induceren echter een fundamentele trade-off tussen natuurlijke accuratesse (prestaties op schone data) en gecertificeerde accuratesse (prestaties op bewijsbaar robuuste inputs).

Het huidige evaluatieparadigma in het vakgebied is gebrekkig: onderzoekers rapporteren doorgaans een enkele configuratie (één punt in de trade-off ruimte) die is bepaald door handmatige afstemming of grid search. Deze praktijk is problematisch omdat:

Bias: Het vergelijken van enkele configuraties is sterk afhankelijk van het specifieke gekozen trade-off punt, wat leidt tot bevooroordeelde conclusies over de state-of-the-art.
Onder-afstemming (Under-tuning): Eerdere werken falen vaak in het verkennen van de volledige hyperparameterruimte, waardoor superieure configuraties die de gerapporteerde resultaten domineren, mogelijk worden gemist.
Gebrek aan Standaardisatie: Er is geen onbevooroordeelde, gestandaardiseerde procedure om nieuwe methoden tegen bestaande methoden uit te zetten over het gehele spectrum van robuustheid versus accuratesse.

Methodologie

De auteurs stellen een paradigmaverschuiving voor van single-point evaluatie naar Pareto-front-gebaseerde evaluatie. In plaats van te optimaliseren voor één enkel objectief (bijv. het maximaliseren van gecertificeerde accuratesse), behandelen zij het probleem als een multi-objectieve optimalisatietaak om de verzameling niet-gedomineerde configuraties (het Pareto-front) te ontdekken.

Kernaanpak

Multi-Objective Hyperparameter Optimization (MO-HPO): De auteurs maken gebruik van multi-objective Bayesian optimalisatie met Gaussian process surrogates en de Expected Hypervolume Improvement (EHVI) acquisitiefunctie. Dit maakt de gelijktijdige optimalisatie van natuurlijke accuratesse en gecertificeerde accuratesse mogelijk.
Ontwerp van de Zoekruimte: Om een onbevooroordeelde vergelijking te garanderen, is de zoekruimte uitgebreid, inclusief:
- Algemene deep learning hyperparameters (leersnelheid, optimizers zoals Adam/AdamW/RAdam, decay schedules).
- Methode-specifieke trade-off parameters (bijv. $\kappa$ voor IBP/CROWN-IBP, $\alpha$ voor MTL-IBP, $\tau$ voor SABR).
- Trainingsschema parameters (warm-up epochs, ramp-up epochs, $\epsilon$ schalingfactoren).
- Attack parameters (PGD stappen, stapgrootte, restarts).
- Cruciaal: De zoekruimte bevat parameters die in eerdere literatuur vaak vaststaan of genegeerd worden (bijv. het toestaan van $\kappa$ transities, variërende warm-up lengtes), wat de ontdekking van voorheen onverkende configuraties mogelijk maakt.
Efficiënte Evaluatie Proxy: Omdat volledige verificatie (vereist voor de uiteindelijke gecertificeerde accuratesse) voor elke trial computationeel onhaalbaar is, gebruikt de optimalisatielus onvolledige verificatie (IBP, CROWN, CROWN-IBP) als een proxy-objectief.
Definitieve Verificatie: Zodra de Pareto-optimale configuraties via de proxy zijn geïdentificeerd, worden deze opnieuw geëvalueerd met state-of-the-art volledige verificatie (specifiek $\alpha\beta$ -CROWN) om het definitieve Pareto-front vast te stellen. Om de kosten te beheersen, wordt single-linkage clustering gebruikt om redundante configuraties te filteren vóór de volledige verificatie.
Gestandaardiseerd Budget: Alle methoden worden geëvalueerd onder een vast computationeel budget (100 trials per seed, 3 seeds per methode) om een eerlijke vergelijking te waarborgen.

Kernbijdragen

Nieuwe Evaluatiestandaard: Het artikel vestigt een gestandaardiseerd, multi-objectief evaluatieprotocol dat single-point vergelijkingen vervangt door Pareto-front analyse. Dit maakt een genuanceerde beoordeling mogelijk waarbij onderzoekers methoden kunnen selecteren op basis van hun specifieke vereisten (bijv. prioriteit geven aan schone accuratesse versus gecertificeerde garanties).
Ontdekking van Onder-afgestemde Configuraties: Door de hyperparameterruimte systematisch te verkennen, laten de auteurs zien dat veel eerder gerapporteerde "state-of-the-art" resultaten worden gedomeerd door configuraties die via hun geautomatiseerde optimalisatie zijn gevonden. Dit onthult een significante "onder-afstemming" in de bestaande literatuur.
Uitgebreide Benchmarking: De studie biedt de eerste uitgebreide multi-objectieve vergelijking van belangrijke IBP-gebaseerde gecertificeerde trainingsmethoden (IBP, CROWN-IBP, SABR, MTL-IBP) over CIFAR-10 en Tiny ImageNet met variërende perturbatieradii ( $\epsilon$ ).
Hyperparameter Inzichten: Met behulp van fANOVA identificeren de auteurs dat complexe interacties tussen hyperparameters (bijv. de transitie van $\kappa$ tijdens ramp-up, $\epsilon$ schaling en warm-up duur) cruciaal zijn voor het bereiken van optimale trade-offs, inzichten die vaak gemist worden bij handmatige afstemming.

Resultaten

Superieure Prestaties: De voorgestelde evaluatie onthult configuraties die eerdere resultaten domineren. Bijvoorbeeld, op CIFAR-10 met $\epsilon = 2/255$ behaalt SABR winsten van meer dan 1% in zowel schone als gecertificeerde accuratesse vergeleken met de literatuur. Op Tiny ImageNet laat MTL-IBP verbeteringen zien van ~2% in beide metrieken.
Complementariteit van Methoden: Geen enkele methode domineert uniform.
- SABR blinkt over het algemeen uit in het bereiken van een hoge natuurlijke accuratesse.
- MTL-IBP heeft de neiging om de sterkste gecertificeerde garanties te bieden, met name bij kleinere perturbatieradii.
- IBP en CROWN-IBP blijven competitief, vooral wanneer hogere natuurlijke accuracesses gewenst zijn of bij grotere perturbatieradii ( $\epsilon = 8/255$ ), wat de aanname dat ze verouderd zijn uitdaagt.
Gestagneerde Vooruitgang bij Grote Radii: De analyse suggereert dat de vooruitgang bij grotere perturbatieradii is gestagneerd, waarbij oudere methoden aanzienlijk bijdragen aan het gecombineerde Pareto-front.
Validatie vs. Testset Tuning: De auteurs demonstreren dat het direct afstemmen van hyperparameters op de testset (een gangbare maar problematische praktijk) leidt tot Pareto-fronts die de fronten verkregen via validatieset-tuning strikt domineren, wat aangeeft dat eerdere evaluaties de generalisatieprestaties waarschijnlijk hebben overschat.
Computationele Efficiëntie: De studie toont aan dat hoewel volledige verificatie duur is, het reduceren van de verificatie-timeout (bijv. van 1000s naar 100s op CIFAR-10) de vorm van het Pareto-front behoudt terwijl de computationele kosten met een factor tien worden verminderd.

Betekenis en Claims

Het artikel claimt dat de huidige state-of-the-art in gecertificeerde training aanzienlijk is onderschat door slechte hyperparameter-afstemming en gebrekkige evaluatiemethodologieën. Door een multi-objectief perspectief te adopteren:

Herbeoordeling van de State-of-the-Art: Recente vooruitgang is minder uitgesproken dan voorheen aangenomen, met name voor grotere perturbatieradii.
Actiegerichte Inzichten: Het werk biedt concrete richtlijnen voor de gemeenschap, waarbij wordt benadrukt dat complexe interacties tussen hyperparameters (vaak over het hoofd gezien) essentieel zijn voor optimale prestaties.
Toekomstige Richting: De auteurs pleiten voor een verschuiving naar gestandaardiseerde multi-objectieve evaluatieprotocollen. Zij suggereren dat de gemeenschap zich moet richten op "goedkope verificatie" strategieën in plaats van te vertrouwen op steeds grotere verificatie-timeouts om methoden te onderscheiden, aangezien kleinere timeouts vaak voldoende zijn om het Pareto-front te identificeren.

Uiteindelijk betogen de auteurs dat eerlijke evaluatie vereist dat de volledige trade-off ruimte wordt verkend, wat de ontwikkeling van gecertificeerde modellen mogelijk maakt die zowel robuust als praktisch bruikbaar zijn, terwijl misleidende conclusies door single-configuratie vergelijkingen worden voorkomen.