Résumé Technique : Lissage Aléatoire Groupé pour les Fonctions de Prédiction Stochastiques

1. Énoncé du Problème

Les prédicteurs stochastiques modernes, tels que les auto-encodeurs variationnels (VAE), les flux de normalisation (Normalizing Flows) et les réseaux de neurones bayésiens, sont capables de modéliser des distributions de résultats riches et multimodales. Cette expressivité est cruciale dans les domaines critiques pour la sécurité comme la conduite autonome, la robotique et la santé, où la prédiction de futurs multiples et plausibles (par exemple, un véhicule qui tourne à gauche ou qui attend) est essentielle.

Cependant, garantir la robustesse face aux perturbations adverses dans ces modèles présente un défi important. Le lissage aléatoire (randomized smoothing), une technique de pointe pour certifier la robustesse, fonctionne généralement en injectant du bruit dans l'entrée et en faisant la moyenne des prédictions résultantes. Bien qu'efficace pour les tâches de classification unimodales, cette approche souffre d'un effondrement de mode (mode collapse) dans les contextes de régression stochastique multimodale. En faisant la moyenne sur des sorties bruitées, le lissage aléatoire standard réduit des modes distincts en une estimation unimodale unique et souvent peu informative. Cet échec est particulièrement dangereux dans les applications critiques pour la sécurité, où la prédiction « moyenne » peut correspondre à un état dangereux ou physiquement impossible (par exemple, conduire directement dans un obstacle plutôt que de choisir un chemin valide autour de celui-ci).

Les solutions existantes comme le $\alpha$-lissage (qui élimine les valeurs aberrantes) atténuent l'influence des valeurs extrêmes mais échouent toujours à préserver la structure multimodale sous-jacente lorsque la distribution est intrinsèquement multimodale.

2. Méthodologie : $\alpha$-Lissage Groupé

Les auteurs proposent le $\alpha$-Lissage Groupé (Clustered $\alpha$-Smoothing), un cadre conçu pour préserver la multimodalité tout en fournissant des garanties de robustesse certifiées. La méthode opère en trois étapes principales :

1. Groupement (Clustering) : Étant donné une entrée $x$ et un ensemble d'échantillons bruités $\{x + \epsilon_1, \dots, x + \epsilon_N\}$, les échantillons de prédiction résultants $\{h_w(x + \epsilon_i)\}$ sont partitionnés en $M$ clusters disjoints (modes) $V = \{V_1, \dots, V_M\}$ en utilisant un algorithme de groupement arbitraire (par exemple, DBSCAN).
2. $\alpha$-Lissage Local : Au sein de chaque cluster $V_m$, la méthode applique un $\trimming$ en $\alpha$. Cela consiste à supprimer la fraction supérieure et inférieure de $\alpha$ des échantillons (les traitant comme des valeurs aberrantes) et à calculer la moyenne des échantillons restants. Cela produit un prédicteur localement lissé $\tilde{H}_{N,\alpha,V_m}(x)$ pour chaque mode.
3. Reconstruction par Mélange : Le prédicteur lissé final est construit comme une distribution de mélange. Une variable aléatoire catégorielle $z$ sélectionne un cluster $m$ avec une probabilité proportionnelle à la taille du cluster ($\pi^{(m)} = |I_m|/N$), et la sortie est la prédiction localement lissée pour ce cluster.

Garanties Théoriques

Le papier dérive une borne inférieure probabiliste sur la probabilité que la prédiction lissée se situe dans une union de régions compactes $\tilde{R} = \cup R_l$ correspondant à des modes distincts.

• Certification de Robustesse : En utilisant le lemme de Neyman-Pearson et des arguments de borne supérieure (union-bound), les auteurs prouvent que pour toute perturbation $\delta$ telle que $\|\delta\|_2 \le r$, la probabilité que la sortie du prédicteur reste dans la région de couverture certifiée est bornée inférieurement.
• Gestion de la Non-Convexité : Le problème d'optimisation requis pour calculer ces bornes est non convexe. Les auteurs proposent une solution traitable utilisant des points d'ancrage pour approximer l'enveloppe convexe de la fonction objectif, convertissant le problème en un Programme Linéaire (LP) avec un terme d'erreur contrôlable (résidu).
• Implémentation Algorithmique : Le cadre inclut un algorithme (Algorithme 1) pour construire la partition $V$ et les ensembles de couverture $R$ à partir d'échantillons, garantissant que les ensembles sont contenus dans leurs partitions respectives (en utilisant des partitions de Voronoi généralisées) afin de satisfaire les exigences théoriques.

3. Principales Contributions

Le papier expose trois contributions principales :

1. Introduction du Cadre : Un nouveau cadre de lissage aléatoire pour les prédicteurs stochastiques multimodaux qui utilise le groupement et le $\alpha$-trimming pour empêcher l'effondrement de mode.
2. Preuve Théorique : Une preuve démontrant que la sortie du prédicteur $\alpha$-lissé groupé tombe dans une petite région de couverture par cluster avec une haute probabilité pour toutes les entrées dans un rayon spécifique.
3. Validation Empirique : Évaluation sur deux benchmarks démontrant des améliorations significatives par rapport aux méthodes de l'état de l'art.

4. Résultats Expérimentaux

Le cadre a été évalué sur deux benchmarks distincts :

A. Prédiction de Trajectoire Stochastique (Jeu de données L-GAP)

• Tâche : Prédire si un véhicule va « rester » (attendre) ou « partir » (tourner à gauche) à une intersection.
• Métriques : Taux de risque (probabilité de collision due à une prédiction incorrecte) et distance de Wasserstein ($W_2$) par rapport à la distribution réelle.
• Résultats :
  • Taux de Risque : La méthode proposée a atteint un taux de risque de 2,5 %, surpassant nettement le RS-Reg (7,5 %) et le $\alpha$-lissage standard (16,5 %). Les auteurs attribuent cela à la capacité de la méthode à maintenir l'incertitude comportementale, empêissant le modèle de prédire avec confiance une action « aller » dangereuse lorsque la distribution est ambiguë.
  • Fidélité de la Distribution : La méthode a réduit la distance de Wasserstein-2 moyenne par rapport au prédicteur bruité original de 27 % par rapport au $\alpha$-lissage standard (3,80 contre 5,18), indiquant une meilleure préservation de la structure de la distribution sous-jacente.

B. Contrôle de Quadrotor (RL Multimodal)

• Tâche : Naviguer un quadrotor à travers des obstacles vers un objectif, où deux chemins réalisables distincts existent (à gauche ou à droite d'un obstacle).
• Résultats :
  • Taux de Collision : La méthode de $\alpha$-lissage standard a fait s'effondrer les deux modes en un seul chemin moyen, entraînant un taux de collision de 48 %. En revanche, la méthode de $\alpha$-lissage groupé a préservé les chemins distincts, réduisant le taux de collision à 9 % (une réduction de 81 % par rapport à la méthode de lissage de l'état de l'art).
  • Certification : La méthode a fourni des bornes inférieures certifiées sur la robustesse, bien que les bornes soient devenues plus conservatrices à mesure que le rayon de perturbation augmentait.

5. Signification et Limites

Signification :
Le papier traite une limitation fondamentale du lissage aléatoire en régression : la destruction des structures multimodales essentielles pour la sécurité. En traitant les modes individuellement plutôt qu'en faisant une moyenne globale, la méthode permet une certification robuste sans sacrifier la diversité des prédictions requise pour la prise de décision complexe dans la robotique et les systèmes autonomes. Les auteurs soulignent que leur approche est agnostique au prédicteur et à l'algorithme de groupement sous-jacent, ce qui la rend applicable à diverses architectures telles que les BNN, les VAE et les politiques de RL.

Limites :
Les auteurs identifient explicitement plusieurs limites :

• Coût Computationnel : Comme toutes les méthodes de lissage aléatoire, elle repose sur des inférences répétées, ce qui peut être prohibitif pour les grands réseaux de neurones.
• Contraintes de Partition : Les garanties théoriques reposent sur la définition de la région de couverture comme une union d'ensembles disjoints et convexes. Cela peut être restrictif pour des clusters complexes et non convexes (par exemple, des formes en « demi-lune »).
• Prédicteur vs Lisseur : Les garanties s'appliquent au prédicteur lissé, pas au prédicteur de base. Si une parité exacte avec le régresseur de base est requise (par exemple, dans des simulations physiques), cette méthode peut ne pas être adaptée.
• Compromis Bruit-Rayon : Pour maintenir les probabilités de bornes tout en réduisant le bruit, le rayon de robustesse $r$ doit être proportionnel à l'inverse de l'écart-type du bruit $\sigma$.
• Conservatisme : Dans les contextes hautement multimodaux, les bornes inférieures peuvent devenir de plus en plus conservatrices, nécessitant potentiellement des niveaux de bruit plus élevés ou des rayons certifiés plus petits pour garantir la robustesse.

Le papier conclut en notant que les travaux futurs pourraient explorer des distributions de lissage dépendantes de l'entrée et des partitions dynamiques $V(x)$, en s'appuyant sur les tendances récentes du domaine.