Sintesi Tecnica: Clustered Randomized Smoothing per Funzioni di Predizione Stocastica

1. Definizione del Problema

I moderni predittori stocastici, come i Variational Autoencoders (VAE), i Normalizing Flows e le Reti Neurali Bayesiane, sono in grado di modellare distribuzioni di esito ricche e multi-modali. Questa espressività è critica nei domini a criticità elevata (safety-critical) come la guida autonoma, la robotica e l'assistenza sanitaria, dove prevedere molteplici futuri plausibili (ad esempio, un veicolo che gira a sinistra o che resta in attesa) è essenziale.

Tuttavia, garantire la robustezza contro le perturbazioni avversarie in questi modelli presenta una sfida significativa. Il randomized smoothing, una tecnica leader per la certificazione della robustezza, funziona tipicamente iniettando rumore nell'input e mediando i risultati della predizione. Sebbene efficace per compiti di classificazione unimodali, questo approccio soffre di collasso dei modi (mode collapse) in contesti di regressione stocastica multi-modale. Mediando su output rumorosi, il randomized smoothing standard collassa i diversi modi in una singola stima unimodale e spesso non informativa. Questo fallimento è particolarmente pericoloso nelle applicazioni critiche per la sicurezza, dove la predizione "media" può corrispondere a uno stato non sicuro o fisicamente impossibile (ad esempio, guidare direttamente contro un ostacolo invece di scegliere un percorso valido intorno ad esso).

Le soluzioni esistenti come l' $\alpha$-smoothing (che elimina gli outlier) mitigano l'influenza dei valori estremi, ma falliscono comunque nel preservare la struttura multi-modale sottostante quando la distribuzione è intrinsecamente multi-modale.

2. Metodologia: Clustered $\alpha$-Smoothing

Gli autori propongono il Clustered $\alpha$-Smoothing, un framework progettato per preservare la multi-modalità fornendo al contempo garanzie di robustezza certificata. Il metodo opera in tre fasi principali:

1. Clustering: Dato un input $x$ e un insieme di campioni rumorosi $\{x + \epsilon_1, \dots, x + \epsilon_N\}$, i campioni di predizione risultanti $\{h_w(x + \epsilon_i)\}$ vengono partizionati in $M$ cluster disgiunti (modi) $V = \{V_1, \dots, V_M\}$ utilizzando un algoritmo di clustering arbitrario (ad esempio, DBSCAN).
2. Local $\alpha$-Smoothing: All'interno di ogni cluster $V_m$, il metodo applica il $\alpha$-trimming. Questo comporta la rimozione della frazione superiore e inferiore $\alpha$ dei campioni (trattandoli come outlier) e il calcolo della media dei campioni rimanenti. Ciò produce un predittore localmente smussato $\tilde{H}_{N,\alpha,V_m}(x)$ per ogni modo.
3. Mixture Reconstruction: Il predittore smussato finale è costruito come una distribuzione di miscela. Una variabile casuale categorica $z$ seleziona un cluster $m$ con una probabilità proporzionale alla dimensione del cluster ($\pi^{(m)} = |I_m|/N$), e l'output è la predizione localmente smussata per quel cluster.

Garanzie Teoriche

Il documento deriva un limite inferiore probabilistico sulla probabilità che la predizione smussata ricada all'interno di un'unione di regioni compatte $\tilde{R} = \cup R_l$ corrispondenti a modi distinti.

• Certificazione della Robustezza: Utilizzando il Lemma di Neyman-Pearson e argomenti di union-bound, gli autori dimostrano che per qualsiasi perturbazione $\delta$ con $\|\delta\|_2 \le r$, la probabilità che l'output del predittore rimanga all'interno della regione di copertura certificata è limitata inferiormente.
• Gestione della Non-Convessità: Il problema di ottimizzazione richiesto per calcolare questi limiti è non convesso. Gli autori propongono una soluzione trattabile utilizzando punti ancora (anchor points) per approssimare l'inviluppo convesso della funzione obiettivo, convertendo il problema in un Programma Lineare (LP) con un termine di errore (residuo) controllabile.
• Implementazione Algoritmica: Il framework include un algoritmo (Algoritmo 1) per costruire la partizione $V$ e i set di copertura $R$ dai campioni, assicurando che i set siano contenuti nei rispettivi partizioni (usando partizioni di Voronoi generalizzate) per soddisfare i requisiti teorici.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Introduzione del Framework: Un nuovo framework di randomized smoothing per predittori stocastici multi-modali che utilizza il clustering e l' $\alpha$-trimming per prevenire il collasso dei modi.
2. Dimostrazione Teorica: Una prova che dimostra come l'output del predittore clustered $\alpha$-smoothed ricada entro una piccola regione di copertura per ogni cluster con alta probabilità per tutti gli input entro un determinato raggio.
3. Validazione Empirica: Valutazione su due benchmark che dimostrano miglioramenti significativi rispetto ai metodi allo stato dell'arte.

4. Risultati Sperimentali

Il framework è stato valutato su due benchmark distinti:

A. Predizione di Traiettoria Stocastica (Dataset L-GAP)

• Task: Predire se un veicolo "resterà" (attendere) o "andrà" (girare a sinistra) in un incrocio.
• Metriche: Tasso di rischio (probabilità di collisione dovuta a una predizione errata) e distanza di Wasserstein ($W_2$) dalla distribuzione reale (ground-truth).
• Risultati:
  • Tasso di Rischio: Il metodo proposto ha ottenuto un tasso di rischio del 2,5%, superando significativamente RS-Reg (7,5%) e lo standard $\alpha$-smoothing (16,5%). Gli autori attribuiscono ciò alla capacità del metodo di mantenere l'incertezza comportamentale, evitando che il modello predica con eccessiva fiducia un'azione "go" pericolosa quando la distribuzione è ambigua.
  • Fedeltà della Distribuzione: Il metodo ha ridotto la distanza media 2-Wasserstein rispetto al predittore rumoroso originale del 27% rispetto allo standard $\alpha$-smoothing (3,80 vs 5,18), indicando una migliore preservazione della struttura della distribuzione sottostante.

B. Controllo di Quadrotor (RL Multi-modale)

• Task: Navigare un quadrotor attraverso ostacoli verso un obiettivo, dove esistono due percorsi fattibili distinti (sinistra o destra di un ostacolo).
• Risultati:
  • Tasso di Collisione: Lo standard $\alpha$-smoothing ha fatto collassare i due modi in un unico percorso medio, portando a un tasso di collisione del 48%. Al contrario, il metodo clustered $\alpha$-smoothing ha preservato i percorsi distinti, riducendo il tasso di collisione al 9% (una riduzione dell'81% rispetto allo smoothing allo stato dell'arte).
  • Certificazione: Il metodo ha fornito limiti inferiori certificati sulla robustezza, sebbene i limiti siano diventati più conservativi all'aumentare del raggio di perturbazione.

5. Significato e Limitazioni

Significato:
Il documento affronta un limite fondamentale del randomized smoothing nella regressione: la distruzione delle strutture multi-modali essenziali per la sicurezza. Trattando i modi individualmente anziché mediarli globalmente, il metodo consente una certificazione robusta senza sacrificare la diversità delle predizioni richiesta per i processi decisionali complessi nella robotica e nei sistemi autonomi. Gli autori sottolineano che il loro approccio è agnostico rispetto al predittore e all'algoritmo di clustering sottostante, rendendolo applicabile a varie architetture come BNN, VAE e policy di RL.

Limitazioni:
Gli autori identificano esplicitamente diverse limitazioni:

• Costo Computazionale: Come tutti i metodi di randomized smoothing, si basa su inferenze ripetute, il che può essere proibitivo per grandi reti neurali.
• Vincoli di Partizione: Le garanzie teoriche si basano sulla definizione della regione di copertura come un'unione di insiemi disgiunti e convessi. Ciò può essere restrittivo per cluster complessi e non convessi (ad esempio, forme a "mezzaluna").
• Predittore vs. Smoother: Le garanzie si applicano al predittore smussato, non al predittore base. Se è richiesta l'esatta parità con il regressore base (ad esempio, in simulazioni fisiche), questo metodo potrebbe non essere adatto.
• Trade-off Rumore-Raggio: Per mantenere i limiti di probabilità riducendo il rumore, il raggio di robustezza $r$ deve essere proporzionale al reciproco della deviazione standard del rumore $\sigma$.
• Conservatività: In contesti altamente multi-modali, i limiti inferiori possono diventare sempre più conservativi, richiedendo potenzialmente livelli di rumore maggiori o raggi certificati più piccoli per garantire la robustezza.

Il documento conclude notando che i lavori futuri potrebbero esplorare distribuzioni di smoothing dipendenti dall'input e partizioni dinamiche $V(x)$, basandosi sulle recenti tendenze nel campo.