기술 요약: 객체 탐지에서의 인스턴스 수준 사후 불확실성 정량화 (Instance-Level Post Hoc Uncertainty Quantification in Object Detection)

1. 문제 정의

객체 탐지는 자율 주행의 안전이 직결된 구성 요소이며, 바운딩 박스 예측에 대한 정확한 정량적 불확실성을 확보하는 것은 안전 보증을 위해 필수적입니다. 현재의 탐지 모델들은 일반적으로 훈련 과정에서 바운딩 박스의 불확실성을 정량화하는 능력이 부족합니다. 일단 안전을 위해 튜닝된 모델은 수정할 수 없으므로, 원래의 네트워크를 재학습하거나 수정하지 않고도 적용 가능한 사후(post hoc) 불확실성 정량화 방법이 필요합니다.

본 논문은 네 가지 핵심 제약 조건을 충족하면서 모든 개별 바운딩 박스(인스턴스 수준)에 대한 불확실성을 추정하는 과제를 다룹니다:

• 비침습적/사후적 (Non-intrusive/Post Hoc): 해당 방법은 모델의 동작을 변경하지 않고 사전 학습된 모델에 적용되어야 합니다.
• 인스턴스 수준 (Instance-Level): 불확실성은 전역적인 모델 불확실성이 아닌, 개별 바운딩 박스 수준에서 추정되어야 합니다.
• 추론 속도 (Inference Speed): 추정 과정은 온라인 자율 주행 시스템에 적합할 만큼 계산 효율적이어야 합니다.
• 에피스테믹 불확실성 (Epistemic Uncertainty): 이 방법은 알레아토릭(aleatoric) 노이즈가 아닌, 모델의 지식 부족(파라미터 불확실성)에서 기인하는 불확실성을 포착해야 합니다.

기존 솔루션들은 다음과 같은 상당한 트레이드오프에 직면해 있습니다:

• 샘플링 기반 방법 (예: MC Dropout, Deep Ensembles): 강력하지만, 엄밀한 의미의 사후적 방법은 아닙니다. 여러 모델을 훈련해야 하거나, 원래의 최대 사후 확률(MAP) 모델과 다른 예측 분포를 생성하기 때문입니다.
• 선형화 방법 (예: Laplace 근사를 이용한 일반화 선형 모델 - GLM): 이들은 엄격한 사후적 방법이며 MAP 예측을 보존하지만, 인스턴스 수준의 불확실성을 계산하기에는 계산 비용이 너무 많이 듭니다. $m$개의 박스가 각각 9개의 파라미터를 갖는 탐지기의 경우, 모든 스칼라 출력 성분에 대해 자코비안 $J(x)$를 계산하려면 $9m$번의 역전파(backpropagation)가 필요하며, 이는 실시간 애플리케이션에 너무 느립니다.

2. 방법론: 몬테카를로 일반화 선형 모델 (MC-GLM)

저자들은 Laplace 근사의 사후적 보장성과 몬테카를로 샘플링의 효율성을 결합한 근사 추론 방법인 MC-GLM을 제안합니다.

핵심 개념

이 방법은 MAP 추정치 $\theta^*$ 주변에서 Laplace 근사를 사용하여 네트워크 출력 $z = f(x; \theta)$의 예측 공분산 $\Sigma_z(x)$를 근사합니다:
$$\Sigma_z(x) \approx J(x) \Sigma_\theta J(x)^\top$$
여기서 $J(x)$는 자코비안이고, $\Sigma_\theta$는 (KFAC를 통해 오프라인으로 계산된) 파라미터 공분산입니다.

$d$번의 역전파(여기서 $d$는 출력 차원)를 통해 전체 자코비안 $J(x)$를 직접 계산하는 대신, MC-GLM은 몬테카를로 샘플링을 통해 공분산을 추정합니다. 이 방법은 $J(x)\Sigma_\theta J(x)^\top$가 방향 미분(directional derivatives) $J(x)\eta$ (단, $\eta \sim \mathcal{N}(0, \Sigma_\theta)$)의 공분산과 동일하다는 점을 활용합니다.

알고리즘 단계

1. 오프라인 단계 (Offline Phase): 파라미터 공분산 $\Sigma_\theta$를 얻기 위해 KFAC(Kronecker-factored Approximate Curvature) 근사를 사용하여 피셔 정보 행렬(Fisher information matrix)을 계산합니다. 이 단계는 훈련 데이터에 대해 한 번만 수행됩니다.
2. 온라인 단계 (Online Phase, 입력 $x$당):
   • 기본 예측 $z_0 = f(x; \theta^*)$를 계산합니다.
   • $k$개의 가중치 섭동(weight perturbations) $\eta_i \sim \mathcal{N}(0, \Sigma_\theta)$를 샘플링합니다. 이 샘플링은 효율성을 위해 KFAC의 블록 대각 및 크로네커 구조를 활용합니다.
   • 섭동된 가중치를 사용하여 $k$번의 순전파(forward pass)를 수행합니다: $z_i = f(x; \theta^* + \epsilon \eta_i)$.
   • 유한 차분(finite differences)을 사용하여 방향 미분을 근사합니다: $u_i \approx (z_i - z_0) / \epsilon$.
   • 이 $k$개의 방향 미분들로 행렬 $A(x)$를 구성합니다.
   • $A(x)$를 열 중심화(column-center)하여 $\tilde{A}(x)$를 얻고 표본 공분산을 계산합니다:
     $$\hat{\Sigma}_{z, MC-GLM}(x) = \frac{1}{k-1} \tilde{A}(x) \tilde{A}(x)^\top$$
3. 인스턴스 수준 집계 (Instance-Level Aggregation): 객체 탐지의 경우, 출력 벡터를 바운딩 박스별로 그룹화하도록 재구성합니다. 이 방법은 효율성을 위해 박스 간 상관관계는 무시하면서 박스 내부의 상관관계를 포착하는 per-box 공분사 텐서 $\hat{\Sigma}_i(x) \in \mathbb{R}^{9 \times 9}$를 계산합니다.

주요 효율성 특징

MC-GLM의 계산 비용은 작은 상수 하이퍼파라미터(예: $k=10$)만큼의 $k+1$번의 순전파입니다. 결정적으로, 이 비용은 탐지된 인스턴스의 수($m$)와 무관합니다. 반면, 정확한 GLM은 $9m$번의 역전파를 요구합니다. 이를 통해 MC-GLM은 탐지 횟수가 늘어나더라도 추론 시간이 증가하지 않도록 병렬화 및 확장이 가능합니다.

3. 주요 기여

• MC-GLM 프레임워크: 객체 탐지를 위한 인스턴스 수준의 근사적 사후 불확실성 정량화 기능을 제공하는 새로운 방법론을 제시합니다.
• 계산 효율성: 값비싼 자코비안 계산을 고정된 횟수의 순전파($k$)로 대체함으로써, 샘플 수가 아닌 출력 인스스턴스 수에 비례하는 시간 복잡도를 달성했습니다.
• 사후 호환성 (Post Hoc Compatibility): 샘플링 기반 베이지안 방법들이 평균을 이동시키는 것과 달리, 이 방법은 예측 평균이 원래 사전 학습된 모델의 출력($f(x; \theta^*)$)과 일치함을 보장합니다.
• KFAC 통합: 효율적인 오프라인 파라미터 공분산 계산과 구조화된 샘플링을 위해 KFAC를 활용하여 대규모 탐지기에서도 실행 가능하게 만들었습니다.

4. 실험 결과

본 방법은 nuScenes 데이터셋 상의 CenterPoint 3D 객체 탐지기를 사용하여 평가되었습니다.

• 평가 지표: 성능은 정확한 상태에서의 정확한 확률($P(A|C)$), 부정확한 상태에서의 불확실한 확률($P(U|I)$), 그리고 정확도 대비 불확실성($Avu$)을 사용하여 측정되었습니다.
• 비교 베이스라인:
  • MCI (Monte Carlo Integration): MC Dropout을 사용합니다.
  • GLM: 전체 자코비안 계산을 포함한 정확한 Laplace 근사법입니다.
• 주요 결과:
  • 불확실성 품질: MC-GLM은 $P(U|I)$(IoU 기준 0.40 대 0.14)에서 정확한 GLM보다 훨씬 뛰어난 성능을 보였으며, 이는 부정확한 예측을 더 잘 식별함을 나타냅니다. 또한 $P(A|C)$ 측면에서는 GLM 및 MCI와 대등한 성능을 달성했습니다.
  • 속도: MC-GLM은 GLM보다 현저히 빠릅니다. 평균적으로 GLM은 입력당 약 10,636ms(9m번의 역전파로 인해)가 소요된 반면, MC-GLM은 단 542ms(11번의 순전파)가 소요되었습니다. MCI는 약간 더 빨랐지만(~525ms), 사후적(post hoc) 요구 사항을 충족하지 못했습니다.
  • 절제 연구 (Ablation Studies):
    • Fisher Depth: 더 깊은 네트워크 층의 피셔 정보를 사용하는 것이 $AvU$를 개선하지만 메모리 사용량을 늘립니다. 헤드(head) 부분만 사용하는 근사가 좋은 절충안을 제공합니다.
    • 데이터 서브샘플링: 훈련 데이터의 5-10%만 사용하여 피셔 행렬을 추정해도 대등한 불확실성 품질을 얻을 수 있어 오프라인 비용을 줄일 수 있습니다.
    • 하이퍼파라미터: 작은 유한 차분 단계($\epsilon = 10^{-7}$)와 적절한 샘플 수($k=10$)만으로도 고품질의 추정이 가능합니다.

5. 의의 및 주장

본 논문은 MC-GLM이 안전이 중요한 자율 주행 시스템의 핵심적인 격차를 메운다고 주장합니다. 이 방법은 엄격한 사후 제약 조건(재학습 불필요, 원래 모델 동작 보존)을 준수하면서도 실시간 배포에 적합한 추론 속도를 유지하는 실용적인 인스턴스 수준 불확실성 정량화 도구를 제공합니다.

저자들은 기존 방법들이 너무 느리거나(정확한 GLM), 모델의 예측 분포를 변화시킨다는 점(MC Dropout/Ensembles)을 강조하며, MC-GLM이 그 사이의 균형 잡힌 솔루션을 제공한다고 설명합니다. 이는 탐지된 객체의 수와 무관하게 일정한 계산 비용으로 모든 탐지 객체에 대한 에피스테믹 불확실성을 정량화할 수 있게 하여, 자율 주행 차량의 온라인 안전 보증을 가능하게 합니다.