技術要約：確率的予測関数に対するクラスタリングを用いたランダム化平滑化

1. 問題提起

変分オートエンコーダ（VAE）、ノーマライジングフロー、ベイズニューラルネットワークなどの現代的な確率的予測器は、豊かでマルチモーダルな出力分布をモデル化する能力を備えています。この表現力は、自動運転、ロボティクス、ヘルスケアといった安全性が極めて重要な領域において不可欠です。なぜなら、複数の起こりうる未来（例：車両が左折するか、あるいは待機するか）を予測することは重要だからです。

しかし、これらのモデルに対する敵対的摂動に対する堅牢性を確保することは、大きな課題となっています。**ランダム化平滑化（Randomized smoothing）は、入力にノイズを注入し、その結果得られる予測を平均化する手法であり、堅牢性を保証するための主要な技術です。これは単峰性の分類タスクには効果的ですが、確率的なマルチモーダル回帰の設定においてはモード崩壊（mode collapse）**を引き起こします。ノイズを含む出力に対して平均化を行うことで、標準的なランダム化平滑化は、明確に異なるモードを単一の、しばしば無意味な単峰性の推定値へと崩壊させてしまいます。この失敗は、安全性が重要なアプリケーションにおいては特に危険です。なぜなら、「平均的な」予測は、安全ではない状態や物理的に不可能な状態（例：障害物の周囲を通る有効な経路を選択するのではなく、障害物に直接突っ込む走行）に対応してしまう可能性があるからです。

外れ値の影響を軽減する$\alpha$-平滑化（$\alpha$-smoothing）のような既存の解決策は、極端な値の影響を抑えますが、分布自体が本質的にマルチモーダルである場合、依然として基礎となるマルチモーダル構造を保持することには失敗します。

2. 手法：クラスタリングを用いた$\alpha$-平滑化

著者らは、マルチモーダリティを保持しながら堅牢性の保証を提供するフレームワークとして、**クラスタリングを用いた$\alpha$-平滑化（Clustered $\alpha$-Smoothing）**を提案しています。この手法は、主に以下の3つの段階で動作します。

1. クラスタリング: 入力 $x$ とノイズ付きサンプル集合 $\{x + \epsilon_1, \dots, x + \epsilon_N\}$ が与えられたとき、得られる予測サンプル $\{h_w(x + \epsilon_i)\}$ を、任意のクラスタリングアルゴリズム（例：DBSCAN）を用いて、$M$ 個の互いに素なクラスター（モード） $V = \{V_1, \dots, V_M\}$ に分割します。
2. 局所的$\alpha$-平滑化: 各クラスター $V_m$ 内において、手法は**$\alpha$-トリミング（$\alpha$-trimming）**を適用します。これには、サンプルを（外れ値として扱うために）上位および下位の $\alpha$ 分率を除去し、残りのサンプルの平均を計算することが含まれます。これにより、各モードに対する局所的な平滑化予測器 $\tilde{H}_{N,\alpha,V_m}(x)$ が得られます。
3. 混合再構成: 最終的な平滑化予測器は、混合分布として構築されます。カテゴリカルな確率変数 $z$ が、クラスターのサイズに比例する確率（$\pi^{(m)} = |I_m|/N$）でクラスター $m$ を選択し、出力はそのクラスターの局所的な平滑化予測となります。

理論的保証

本論文では、予測値が、個別のモードに対応するコンパクトな領域の和 $\tilde{R} = \cup R_l$ 内に存在する確率に関する確率的な下限を導出しています。

• 堅牢性の保証: ネイマン・ピアソンの補題と和の境界（union-bound）を用いた議論を用い、摂動 $\delta$ が $\|\delta\|_2 \le r$ である場合、予測器の出力が保証された被覆領域内に留まる確率が、下限から抑えられることを証明しています。
• 非凸性の処理: これらの境界を計算するために必要な最適化問題は非凸です。著者らは、目的関数の凸包を近似するために**アンカーポイント（anchor points）**を使用し、問題を制御可能な誤差項（残差）を持つ線形計画法（LP）に変換する、扱いやすい解法を提案しています。
• アルゴリズムの実装: 本フレームワークには、分割 $V$ と被覆集合 $R$ をサンプルから構築するためのアルゴリズム（Algorithm 1）が含まれており、理論的要件を満たすために、集合がそれぞれの分割内に含まれることを保証しています（一般化ボロノイ分割を使用）。

3. 主な貢献

本論文は、主に3つの貢献を述べています。

1. フレームワークの導入: クラスタリングと$\alpha$-トリミングを利用してモード崩壊を防ぐ、マルチモーダルな確率的予測器のための新しいランダム化平滑化フレームワーク。
2. 理論的証明: 特定の半径内におけるすべての入力に対して、出力が各クラスターに対応する小さな被覆領域内に高い確率で収まることを示す証明。
3. 実証的検証: 最先端の手法を大幅に上回る改善を示す2つのベンチマークによる評価。

4. 実験結果

本フレームワークは、2つの異なるベンチマークで評価されました。

A. 確率的軌道予測（L-GAP データセット）

• タスク: 交差点において、車両が「留まる（待機）」か「進む（左折）」かを予測する。
• 指標: リスク率（誤った予測による衝突確率）および、真の分布に対するワッサースタイン距離（$W_2$）。
• 結果:
  • リスク率: 提案手法は**2.5%**のリスク率を達成し、RS-Reg（7.5%）および標準的な$\alpha$-平滑化（16.5%）を大幅に上回りました。著者らは、この理由を、手法が行動の不確実性を維持し、分布が曖昧な場合にモデルが自信を持って危険な「進む」アクションを予測してしまうことを防いでいるためであるとしています。
  • 分布の忠実度: 本手法は、標準的な$\alpha$-平滑化と比較して、元のノイズ付き予測器への平均2-ワッサースタイン距離を**27%**減少させました（3.80 対 5.18）。これは、基礎となる分布の構造をより良く保持していることを示しています。

B. クアッドロータ制御（マルチモーダル強化学習）

• タスク: 障害物の左右の2つの異なる経路がある中で、クアッドロータを目標へとナビゲートする。
• 結果:
  • 衝突率: 標準的な$\alpha$-平滑化法は、2つのモードを一つの平均的な経路へと崩壊させ、**48%の衝突率を招きました。対照的に、クラスタリングを用いた$\alpha$-平滑化法は、明確な経路を保持することで、衝突率を9%**に減少させました（最先端の平滑化手法に対して81%の削減）。
  • 保証: 本手法は、堅牢性に関する保証された下限を提供しましたが、摂動半径が増加するにつれて、境界はより保守的になりました。

5. 意義と限界

意義:
本論文は、回帰におけるランダム化平滑化の根本的な限界、すなわち安全に不可欠なマルチモーダル構造の破壊に対処しています。モードをグローバルに平均化するのではなく、個別に扱うことで、この手法は複雑な意思決定を必要とするロボティクスや自律システムにおいて、予測の多様性を犠牲にすることなく、堅牢な保証を提供することを可能にします。著者らは、彼らのアプローチが基礎となる予測器やクラスタリングアルゴリズムに依存しない（agnosticである）ことを強調しており、BNN、VAE、RLポリシーなどの様々なアーキテクチャへの適用可能性を示しています。

限界:
著者らは、以下の限界を明示的に特定しています。

• 計算コスト: すべてのランダム化平滑化手法と同様に、繰り返し推論を行うため、大規模なニューラルネットワークではコストが高くなる可能性があります。
• 分割の制約: 理論的な保証は、被覆領域を互いに素な凸集合の和として定義することに依存しています。これは、複雑で非凸なクラスター（例：「半月型」の形状）に対しては制限的となる可能性があります。
• 予測器と平滑化器: 保証は「平滑化された」予測器に適用されるものであり、基礎となる回帰器（base regressor）に適用されるものではありません。物理シミュレーションのように、基礎となる回帰器と正確な一致が必要な場合、この手法は適さない可能性があります。
• ノイズ半径のトレードオフ: ノイズを減らしつつ確率の下限を維持するためには、堅牢性半径 $r$ はノイズの標準偏差 $\sigma$ の逆数に比例する必要があります。
• 保守性: 高度にマルチモーダルな設定では、下限がますます保守的になる可能性があり、堅牢性を保証するために、より大きなノイズレベルやより小さな保証半径が必要になる場合があります。

結論として、著者らは、今後の研究として、入力依存の平滑化分布や動的な分割 $V(x)$ を探索できる可能性を挙げており、この分野の最近の傾向に基づいています。