Bayesian 3D Steerable CNNs: Enabling Equivariance and Uncertainty Quantification Simultaneously

기술 요약: 베이지안 3D 스티어러블 CNN (Bayesian 3D Steerable CNNs)

문제 정의
스티어러블 합성곱 신경망(Steerable-CNNs)은 컨볼루션 커널을 스티어러블 기저 함수(steerable basis functions)의 선형 결합으로 매개변수화함으로써 SE(3)-동변성(equivariance)을 보장하며, 3D 데이터 처리를 위한 강력한 패러다임으로 자리 잡았습니다. 이러한 구조적 제약은 입력의 변환(예: 3D 회전)이 그에 상응하는 변환된 출력을 생성하도록 보장하여, 형상 인식 및 분자 특성 예측과 같은 도메인에서 가설 공간을 크게 줄이고 일반화 성능을 향상시킵니다. 그러나 기존의 Steerable-CNN은 완전히 결정론적(deterministic)입니다. 이들은 신뢰도 측정값 없이 단일 점 추정치만을 생성하므로, 불확실성 정량화(UQ)가 필수적인 의료 영상이나 자율 주행 시스템과 같은 안전 중심 애플리케이션에는 부적합합니다.

베이지안 Steerable-CNN을 개발하는 데 있어 주요 과제는, 네트워크 가중치에 나이브하게 확률성을 도입할 경우 일반적으로 동변성 속성이 깨진다는 점입니다. 만약 컨볼루션 커널이 무작위로 샘플링된다면, 이는 "인터티너(intertwiner)" 또는 스티어러빌리티 제약 조건을 위반하게 되어, 평균은 동변할지라도 결과적인 확률적 실현(stochastic realizations)은 동변성을 유지하지 못하게 됩니다.

방법론
저자들은 커널 행렬 자체가 아니라 스티어러블 기저 함수의 *스칼라 계수(scalar coefficients)*에 사후 분포를 배치함으로써 이 충돌을 해결하는 베이지안 Steerable-CNN 프레임워크를 제안합니다.

1. 확률적 동변 커널 (Stochastic Equivariant Kernels): 컨볼루션 커널 $K(x)$는 결정론적이고 사전 계산된 스티어러블 기저 함수 $\{\kappa_b(x)\}$ (Wigner D-행렬로부터 유도됨)의 선형 결합으로 정의됩니다:
   $$K(x; w) = \sum_{b=1}^{B} w_b \kappa_b(x)$$
   기저 함수 $\kappa_b$는 고정되어 있으며 설계상 스티어러빌리티 제약을 만족합니다. 계수 $w = (w_1, \dots, w_B)$는 확률 변수로 취급됩니다.
2. 동변성 보존 (Preservation of Equivariance): 논문은 기저 함수가 스티어러빌리티 제약을 만족한다면, 계수가 결정론적이든 확률 분포에서 샘플링되었든 관계없이 이들의 모든 선형 결합은 동변성을 유지함을 증명합니다 (Proposition 1). 이를 통해 구조적 수정 없이도 확률적 커널을 사용할 수 있습니다.
3. 변분 추론 (Variational Inference): 모델은 Bayes-by-Backpropagation 접근 방식을 채택합니다. 계수에 대해 평균 $\mu$와 로그 분산 $\rho$로 매개변수화된 평균장 가우시안 변분 사후 분포 $q(w|\theta)$를 가정합니다. 모델은 가우시안 사전 분포에 대해 KL 발산(Kullback-Leibler divergence)을 통해 사후 분포를 정규화하는 항과 크로스 엔트로피 손실 항으로 구성된 ELBO(Evidence Lower Bound)를 최대화하도록 학습됩니다.
4. 불확실성 분해 (Uncertainty Decomposition): 추론 시, 모델은 $N$번의 확률적 순방향 패스(forward pass)를 수행합니다. 총 예측 불확실성은 다음과 같이 분해됩니다:
   • 알레아토리 불확실성 (Aleatoric Uncertainty): 데이터에 내재된 노이즈 (개별 예측의 평균 엔트로피로 포착).
   • 에피스테믹 불확실성 (Epistemic Uncertainty): 제한된 데이터로 인한 모델 불확실성 ($N$개의 샘플 간 예측의 분산으로 포착).

주요 기여

• 새로운 베이지안 정식화: 스티어러블 컨볼루션에 확률적 추론을 통합하여, 정확한 SE(3)-동변성을 유지하면서 커널 기저 계수의 사후 분포를 얻어낸 최초의 연구입니다.
• 이론적 증명: 계수 공간에서의 확률성이 인터티너 제약을 위반하지 않음을 보여줌으로써, 샘플링된 모든 커널이 동변성을 유지한다는 것을 입증하는 공식적인 증명을 제공합니다.
• 분해 가능한 불확실성: 3D 동변 모델을 위해 보정된(calibrated), 분해 가능한 불확실성(에피스테믹 vs 알레아토리) 추정치를 제공하는 프레임워크를 구축했습니다.

실험 결과
모델은 escnn 라이库리를 기반으로 구축된 아키텍처를 사용하여 ModelNet10 데이터셋(3D CAD 모델)에서 평가되었습니다.

• 분류 성능: 베이지안 모델은 **86.34%**의 테스트 정확도를 달성하였으며, 이는 결정론적 모델과 대등한 수준입니다.
• 보정 (Calibration): 모델은 0.0263의 기대 보정 오차(ECE)를 기록하며 우수한 보정 성능을 보였으며, 이는 예측된 신뢰 점수가 경험적 정확도와 밀접하게 일치함을 나타냅니다.
• 분포 변화에 대한 강건성 (Robustness to Distribution Shift): 가우시안 노이즈가 추가된 환경에서 베이지안 모델은 결정론적 베이스라인보다 뛰어난 강건성을 보였습니다. 높은 노이즈 수준($\epsilon_{noise} = 0.9$)에서 베이지안 모델은 **81.83%**의 정확도를 유지하여, 결정론적 모델(75.66%)보다 6.17% 더 높은 성능을 기록했습니다.
• 불확실성의 유용성:
  • 선택적 예측 (Selective Prediction): 불확실성이 높은 샘 샘플을 필터링함으로써, 모델은 특정 불확실성 임계값 미만인 테스트 데이터셋의 84%에 대해 약 4%의 정확도 향상을 달성했습니다.
  • 의미론적 의미: 에피스테믹 불확실성과 예측 오차 사이에 통계적으로 유의미한 음의 스피어먼 상관관계(-0.3989)가 발견되었으며, 이는 높은 불확실성이 높은 분류 오차를 신뢰성 있게 예측함을 확인시켜 줍니다.
  • 불확실성 수렴: 학습 과정 동안 총 불확실성은 꾸준히 감소한 반면, 에피스테믹 불확실성은 지속적으로 낮게 유지되었습니다. 이는 모델이 학습된 가중치 분포에 대해 확신을 갖게 되었음을 시사합니다.

의의 및 주장
본 논문은 베이지안 불확실성 정량화와 동변 CNN의 귀납적 편향(inductive bias)을 통합한다고 주장합니다. 저자들은 이것이 단일 판별 모델 내에서 확률적 추론과 스티어러블 컨볼루션을 성공적으로 통합한 첫 번째 작업임을 강조합니다. 이 연구의 의의는 3D 도메인에서의 **위험 인지 의사결정(risk-aware decision-making)**을 가능하게 한다는 점에 있습니다. 모델은 기하학적 대칭을 존중할 뿐만 아니라, 원칙에 기반한 분해 가능한 신뢰도 추정치를 제공합니다. 이를 통해 사용자는 데이터 자체의 모호함(알레아토리)과 모델 지식의 부족(에피스테믹)을 구분할 수 있으며, 이는 타겟팅된 모델 개선과 안전 민감 애플리케이션에서의 안전한 배포를 용이하게 합니다. 이 프레임워크는 3D 데이터에 효과적인 Steerable-CNN의 동변성 보장을 희생하지 않으면서 이러한 이점들을 달성합니다.