Technische Samenvatting: Clustered Randomized Smoothing voor Stochastische Voorspellingsfuncties

1. Probleemstelling

Moderne stochastische voorspellers, zoals Variational Autoencoders (VAE's), Normalizing Flows en Bayesiaanse Neurale Netwerken, zijn in staat om rijke, multi-modale uitkomstverdelingen te modelleren. Deze expressiviteit is cruciaal voor veiligheidskritische domeinen zoals autonoom rijden, robotica en de gezondheidszorg, waar het voorspellen van meerdere plausibele toekomsten (bijv. een voertuig dat links afslaat of wacht) essentieel is.

Het waarborgen van robuustheid tegen adversariële perturbaties in deze modellen vormt echter een aanzienlijke uitdaging. Randomized smoothing, een leidende techniek voor het certificeren van robuustheid, werkt doorgaans door ruis in de input te injecteren en de resulterende voorspellingen te middelen. Hoewel dit effectief is voor unimodale classificatietaken, lijdt deze aanpak onder mode collapse in stochastische multi-modale regressie-omgevingen. Door te middelen over ruizige outputs, laat standaard randomized smoothing onderscheidende modi ineenstorten tot een enkele, unimodale en vaak oninformatieve schatting. Dit falen is bijzonder gevaarlijk in veiligheidskritische toepassingen waar de "gemiddelde" voorspelling kan corresponderen met een onveilige of fysiek onmogelijke staat (bijv. recht in een obstakel rijden in plaats van een geldige route eromheen te kiezen).

Bestaande oplossingen zoals $\alpha$-smoothing (die uitschieters wegfiltert) verzachten de invloed van extreme waarden, maar slagen er nog steeds niet in de onderliggende multi-modale structuur te behouden wanneer de distributie inherent multi-modaal is.

2. Methodologie: Clustered $\alpha$-Smoothing

De auteurs stellen Clustered $\alpha$-Smoothing voor, een raamwerk ontworpen om multi-modaliteit te behouden terwijl het gecertificeerde robuustheidsgaranties biedt. De methode werkt in drie primaire stadia:

1. Clustering: Gegeven een input $x$ en een set ruizige samples $\{x + \epsilon_1, \dots, x + \epsilon_N\}$, worden de resulterende voorspellingssamples $\{h_w(x + \epsilon_i)\}$ gepartitioneerd in $M$ disjuncte clusters (modi) $V = \{V_1, \dots, V_M\}$ met behulp van een arbitraal clusteringalgoritme (bijv. DBSCAN).
2. Lokale $\alpha$-Smoothing: Binnen elk cluster $V_m$ past de methode $\alpha$-trimming toe. Dit houdt in dat het bovenste en onderste $\alpha$-fractie van de samples wordt verwijderd (behandeld als uitschieters) en het gemiddelde van de resterende samples wordt berekend. Dit levert een lokaal gesmoothde voorspeller $\tilde{H}_{N,\alpha,V_m}(x)$ op voor elke modus.
3. Mixture Reconstruction: De uiteindelijke gesmoothde voorspeller wordt geconstrueerd als een mengverdeling. Een categorische willekeurige variabele $z$ selecteert een cluster $m$ met een waarschijnlijkheid proportioneel aan de clustergrootte ($\pi^{(m)} = |I_m|/N$), en de output is de lokaal gesmoothde voorspelling voor die cluster.

Theoretische Garanties

Het artikel leidt een probabilistische ondergrens af op de waarschijnlijkheid dat de gesmoothde voorspelling binnen een vereniging van compacte regio's $\tilde{R} = \cup R_l$ valt die overeenkomen met de onderscheidende modi.

• Robuustheidscertificering: Met behulp van de Neyman-Pearson Lemma en union-bound argumenten bewijzen de auteurs dat voor elke perturbatie $\delta$ met $\|\delta\|_2 \le r$, de waarschijnlijkheid dat de voorspelleroutput binnen de gecertificeerde dekkingregio blijft, van onderaf begrensd is.
• Afhandeling van Niet-Convexiteit: Het optimalisatieprobleem dat vereist is om deze grenzen te berekenen is niet-convex. De auteurs stellen een hantebare oplossing voor met behulp van ankerpunten om de convexe enveloppe van de objectiefunctie te benaderen, waardoor het probleem wordt omgezet in een Lineair Programma (LP) met een controleerbare foutterm (residue).
• Algoritmische Implementatie: Het raamwerk bevat een algoritme (Algoritme 1) om de partitie $V$ en dekkingverzamelingen $R$ te construeren vanuit samples, waarbij wordt gewaarborgd dat de verzamelingen binnen hun respectieve partities liggen (met behulp van gegeneraliseerde Voronoi-partities) om aan de theoretische vereisten te voldoen.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie belangrijke bijdragen:

1. Introductie van het Raamwerk: Een nieuw randomized smoothing raamwerk voor multi-modale stochastische voorspellers dat clustering en $\alpha$-trimming gebruikt om mode collapse te voorkomen.
2. Theoretisch Bewijs: Een bewijs dat de output van de clustered $\alpha$-smoothed voorspeller met hoge waarschijnlijkheid binnen een kleine dekkingregio per cluster valt voor alle inputs binnen een specifieke straal.
3. Empirische Validatie: Evaluatie op twee benchmarks die significante verbeteringen laten zien ten opzichte van de huidige state-of-the-art methoden.

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op twee verschillende benchmarks:

A. Stochastische Trajectvoorspelling (L-GAP Dataset)

• Taak: Voorspellen of een voertuig zal "blijven" (wachten) of "gaan" (links afslaan) bij een kruispunt.
• Metrieken: Risicorate (kans op botsing door onjuiste voorspelling) en de Wasserstein-afstand ($W_2$) tot de grondwaarheidverdeling.
• Resultaten:
  • Risicorate: De voorgestelde methode bereikte een risicorate van 2,5%, wat aanzienlijk beter is dan RS-Reg (7,5%) en standaard $\alpha$-smoothing (16,5%). De auteurs schrijven dit toe aan het vermogen van de methode om gedragsonzekerheid te behouden, waardoor het model niet met hoge zekerheid een gevaarlijke "ga"-actie voorspelt wanneer de distributie ambigu is.
  • Distributiegetrouwheid: De methode verminderde de gemiddelde 2-Wasserstein afstand tot de oorspronkelijke ruizige voorspeller met 27% vergeleken met standaard $\alpha$-smoothing (3,80 vs. 5,18), wat wijst op een betere behoud van de structuur van de onderliggende distributie.

B. Quadrotor Controle (Multi-modale RL)

• Taak: Een quadrotor navigeren door obstakels naar een doel, waarbij twee verschillende haalbare paden bestaan (links of rechts van een obstakel).
• Resultaten:
  • Botsingspercentage: De standaard $\alpha$-smoothing methode liet de twee modi ineenstorten tot een enkel gemiddeld pad, wat leidde tot een botsingspercentage van 48%. In contrast hiermee behield de clustered $\alpha$-smoothing methode de onderscheidende paden, waardoor het botsingspercentage werd teruggebracht tot 9% (een reductie van 81% ten opz respect met de state-of-the-art smoothing).
  • Certificering: De methode bood gecertificeerde ondergrenzen op robuustheid, hoewel de grenzen conservatiever werden naarmate de perturbatiestraal toenam.

5. Betekenis en Beperkingen

Betekenis:
Dit artikel adresseert een fundamentele beperking van randomized smoothing in regressie: de vernietiging van multi-modale structuren die essentieel zijn voor veiligheid. Door modi individueel te behandelen in plaats van ze globaal te middelen, stelt de methode het mogelijk om robuust te certificeren zonder de diversiteit van voorspellingen op te offeren die vereist is voor complexe besluitvorming in robotica en autonome systemen. De auteurs benadrukken dat hun aanpak agnostisch is voor de onderliggende voorspeller en het clusteringalgoritme, wat het toepasbaar maakt voor diverse architecturen zoals BNN's, VAE's en RL-policies.

Beperkingen:
De auteurs identificeren expliciet enkele beperkingen:

• Computationele Kosten: Net als alle randomized smoothing methoden, rust het op herhaalde inferentie, wat prohibitief kan zijn voor grote neurale netwerken.
• Partitiebeperkingen: De theoretische garanties rusten op het definiëren van de dekkingregio als een vereniging van disjuncte, convexe verzamelingen. Dit kan restrictief zijn voor complexe, niet-convexe clusters (bijv. "halve maan"-vormen).
• Voorspeller vs. Smoother: De garanties gelden voor de gesmoothde voorspeller, niet voor de basisvoorspeller. Als exacte pariteit met de basisregressor vereist is (bijv. in fysica-simulaties), is deze methode mogelijk niet geschikt.
• Ruis-Straal Afruil: Om waarschijnlijkheidsgrenzen te behouden terwijl de ruis wordt verminderd, moet de robuustheidsstraal $r$ evenredig zijn aan de reciproque van de ruisstandaarddeviatie $\sigma$.
• Conservatisme: In sterk multi-modale settings kunnen de ondergrenzen steeds conservatiever worden, wat mogelijk grotere ruisniveaus of kleinere gecertificeerde radii vereist om robuustheid te garanderen.

Het artikel concludeert door op te merken dat toekomstig werk de mogelijkheden kan verkennen van input-afhankelijke smoothing-distributies en dynamische partities $V(x)$, voortbouwend op recente trends in het vakgebied.