기술 요약: 확률적 예측 함수를 위한 클러스터 기반 무작위 평활화 (Clustered Randomized Smoothing)

1. 문제 정의

변이형 오토인코더(VAE), 노멀라이징 플로우(Normalizing Flows), 베이지안 신경망(BNN)과 같은 현대적인 확률적 예측기들은 풍부하고 다봉형(multi-modal)인 결과 분포를 모델링할 수 있습니다. 이러한 표현력은 자율 주행, 로보틱스, 의료와 같이 여러 가능한 미래(예: 차량이 좌회전을 하거나 대기하는 상황)를 예측하는 것이 필수적인 안전 중심 도메인에서 매우 중요합니다.

그러나 이러한 모델의 적대적 섭동(adversarial perturbations)에 대한 강건성을 보장하는 것은 큰 과제입니다. 대표적인 기술인 **무작위 평활화(Randomized smoothing)**는 입력에 노이즈를 주입하고 그 결과 예측값들을 평균내는 방식으로 작동합니다. 이 방식은 단봉형(unimodal) 분류 작업에는 효과적이지만, 확률적 다봉형 회귀 설정에서는 모드 붕괴(mode collapse) 문제를 일으킵니다. 노이즈가 섞인 출력값들을 평균 내는 과정에서, 표준 무작위 평활화는 서로 다른 모드들을 하나의 단봉형이며 종종 정보가 없는 추정치로 붕괴시킵니다. 이러한 실패는 안전이 중요한 응용 분야에서 매우 위험한데, "평균" 예측값이 안전하지 않거나 물리적으로 불가능한 상태(예: 장애물을 피해 경로를 선택하는 대신 장애물로 직접 돌진하는 것)에 해당할 수 있기 때문입니다.

$\alpha$-평활화(outlier를 제거하는 방식)와 같은 기존 솔루션은 극단적인 값의 영향을 완화하지만, 분포 자체가 본질적으로 다봉형인 경우에도 밑바닥의 다봉 구조를 보존하는 데는 여전히 실패합니다.

2. 방법론: 클러스터 기반 $\alpha$-평활화 (Clustered $\alpha$-Smoothing)

저자들은 다봉성을 보존하면서도 인증된 강건성 보증을 제공하도록 설계된 클러스터 기반 $\alpha$-평활화 프레임워크를 제안합니다. 이 방법은 세 가지 주요 단계로 작동합니다.

1. 클러스터링(Clustering): 입력 $x$와 노이즈 샘플 집합 $\{x + \epsilon_1, \dots, x + \epsilon_N\}$이 주어지면, 결과 예측 샘플 $\{h_w(x + \epsilon_i)\}$를 임의의 클러스터링 알고리즘(예: DBSCAN)을 사용하여 $M$개의 서로 소인 클산터(모드) $V = \{V_1, \dots, V_M\}$로 분할합니다.
2. 국소적 $\alpha$-평활화(Local $\alpha$-Smoothing): 각 클러스터 $V_m$ 내에서, 이 방법은 **$\alpha$-트리밍($\alpha$-trimming)**을 적용합니다. 이는 상위 및 하위 $\alpha$ 비율의 샘플을 제거(outlier로 취급)하고 남은 샘플들의 평균을 계산하는 것을 포함합니다. 이를 통해 각 모드에 대한 국소적 평활 예측기 $\tilde{H}_{N,\alpha,V_m}(x)$를 생성합니다.
3. 혼합 재구성(Mixture Reconstruction): 최종 평활 예측기는 혼합 분포로 구성됩니다. 범주형 확률 변수 $z$가 클러스터 크기에 비례하는 확률($\pi^{(m)} = |I_m|/N$)로 클러스터 $m$을 선택하며, 출력값은 해당 클러스터의 국소적 평활 예측값이 됩니다.

이론적 보증

논문은 예측값이 서로 다른 모드에 대응하는 압축 영역 $\tilde{R} = \cup R_l$의 합집합 내에 존재할 확률에 대한 확률적 하한을 유도합니다.

• 강건성 인증: 네이만-피어슨 정리(Neyman-Pearson Lemma)와 합집합 경계(union-bound) 논법을 사용하여, $\|\delta\|_2 \le r$인 임의의 섭동 $\delta$에 대해 예측기 출력이 인증된 커버리지 영역 내에 머물 확률이 하한으로부터 제한됨을 증명합니다.
• 비볼록성 처리: 이러한 경계값을 계산하기 위해 필요한 최적화 문제는 비볼목(non-convex)입니다. 저자들은 **앵커 포인트(anchor points)**를 사용하여 목적 함수의 볼록 포락선(convex envelope)을 근사함으로써, 문제를 제어 가능한 오차 항(residual)을 가진 선형 계획법(LP)으로 변환하는 실행 가능한 솔루션을 제안합니다.
• 알고리즘 구현: 프레임워크는 파티션 $V$와 커버리지 집합 $R$을 샘플로부터 구축하는 알고리즘(Algorithm 1)을 포함하며, 이론적 요구 사항을 충족하기 위해 (일반화된 보로노이 파티션을 사용하여) 집합들이 각각의 파티션 내에 포함되도록 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 프레임워크 도입: 클러스터링과 $\alpha$-트리밍을 활용하여 모드 붕괴를 방지하고 다봉형 확률적 예측기를 위한 새로운 무작위 평활화 프레임워크를 제시합니다.
2. 이론적 증명: 특정 반경 내의 모든 입력에 대해, 클러스터 기반 $\alpha$-평활화된 예측기의 출력이 각 클러스터의 작은 커버리지 영역 내에 높은 확률로 들어감을 보여주는 증명을 제공합니다.
3. 실험적 검증: 두 가지 벤치마크를 통해 최신 기법(SOTA) 대비 유의미한 개선을 입증합니다.

4. 실험 결과

프레임워크는 두 가지 서로 다른 벤치마크에서 평가되었습니다.

A. 확률적 궤적 예측 (L-GAP 데이터셋)

• 태스크: 교차로에서 차량이 "대기(stay)"할지 또는 "진행(go, 좌회전)"할지를 예측합니다.
• 지표: 위험률(Risk rate, 잘못된 예측으로 인한 충돌 확률) 및 실제 분포와의 와서스테인 거리($W_2$).
• 결과:
  • 위험률: 제안된 방법은 **2.5%**의 위험률을 달성하여, RS-Reg(7.5%) 및 표준 $\alpha$-평활화(16.5%)를 크게 앞질렀습니다. 저자들은 이를 모델이 모호한 상황에서 위험한 "진행" 동작을 확신 있게 예측하는 것을 방지함으로써 행동 불확실성을 유지할 수 있었던 덕분이라고 설명합니다.
  • 분포 충실도: 이 방법은 표준 $\alpha$-평활화(3.80 vs 5.18)에 비해 원래의 노이즈 섞인 예측기와의 평균 2-와서스테인 거리를 27% 감소시켜, 밑바닥 분포의 구조를 더 잘 보존함을 보여주었습니다.

B. 쿼드로터 제어 (다봉형 RL)

• 태스크: 장애물 사이를 통과하여 목표로 이동하는 쿼드로터 항법 (좌측 또는 우측의 두 가지 뚜렷한 가용 경로 존재).
• 결과:
  • 충돌률: 표준 $\alpha$-평활화 방법은 두 모드를 하나의 평균 경로로 붕괴시켜 **48%**의 충돌률을 초래했습니다. 반면, 클러스터 기반 $\alpha$-평활화 방법은 두 경로를 보존하여 충돌률을 **9%**로 낮추었으며, 이는 기존 상태 기술(SOTA) 평활화 대비 **81%**의 감소를 나타냅니다.
  • 인증: 이 방법은 강건성에 대한 인증된 하한을 제공했으나, 섭동 반경이 증가함에 따라 경계값이 더 보수적으로 변했습니다.

5. 의의 및 한계점

의의:
본 논문은 회귀에서의 무작위 평활화가 가진 근본적인 한계, 즉 안전에 필수적인 다봉 구조를 파괴하는 문제를 해결합니다. 모드를 전역적으로 평균 내는 대신 개별적으로 처리함으로써, 복잡한 의사결정이 필요한 로보틱스 및 자율 시스템에서 요구되는 예측의 다양성을 희생하지 않고도 강건한 인증을 가능하게 합니다. 저자들은 이 접근 방식이 기본 예측기에 무관(agnostic)하며, BNN, VAE, RL 정책과 같은 다양한 아키텍처에 적용 가능하다는 점을 강조합니다.

한계점:
저자들은 다음과 같은 몇 가지 한계점을 명시적으로 식별했습니다:

• 계산 비용: 모든 무작위 평활화 방법과 마찬가지로, 반복적인 추론에 의존하므로 대규모 신경망의 경우 비용이 많이 들 수 있습니다.
• 파티션 제약: 이론적 보증은 커버리지 영역을 서로 소인 볼록 집합의 합집합으로 정의하는 것에 의존합니다. 이는 복잡하고 비볼록한 클러스터(예: "반달 모양")에 대해서는 제한적일 수 있습니다.
• 예측기 vs 평활기: 보증은 평활화된 예측기에 적용되며, 기본 예측기(base predictor)에는 적용되지 않습니다. 만약 물리 시뮬레이션과 같이 기본 회귀 모델과의 정확한 일치가 필요하다면 이 방법은 적합하지 않을 수 있습니다.
• 노이즈-반경 트레이드오프: 노이즈를 줄이면서 확률 경계를 유지하려면, 강건성 반경 $r$은 노이즈 표준 편차 $\sigma$의 역수에 비례해야 합니다.
• 보수성: 고도로 다봉형인 환경에서는 하한값이 점점 더 보수적으로 변할 수 있으며, 이는 강건성을 보장하기 위해 더 큰 노이즈 수준이나 더 작은 인증 반경을 요구할 수 있습니다.

논문은 향-입력 의존적 평활 분포 및 동적 파티션 $V(x)$를 탐구하는 것이 향후 연구 과제임을 언급하며 마무리합니다.