Uncertainty in Real-Time Semantic Segmentation on Embedded Systems

1. 문제 정의 (Problem Statement)

• 배경: 자율 주행, 로봇 공학, 인간 - 컴퓨터 상호작용 등 안전이 중요한 분야에서 실시간 시맨틱 세그멘테이션 (Semantic Segmentation) 모델의 수요가 급증하고 있습니다.
• 핵심 과제: 이러한 시스템은 제한된 컴퓨팅 리소스를 가진 임베디드 하드웨어 (Edge Devices) 에서 실시간으로 작동해야 합니다.
• 현재의 한계:
  • 기존 딥러닝 모델은 예측 성능은 우수하지만, **모델이 가진 불확실성 (Uncertainty)**을 정량화하는 능력이 부족합니다.
  • 불확실성을 추정하는 기존 방법들 (예: Monte Carlo Dropout) 은 다수의 샘플링을 필요로 하여 계산 비용이 매우 높고, 실시간 처리에 적합하지 않습니다.
  • 특히 **인지적 불확실성 (Epistemic Uncertainty, 모델이 모르는 것에 대한 불확실성)**을 임베디드 환경에서 실시간으로 추정하는 연구는 거의 존재하지 않았습니다.

2. 제안 방법론 (Methodology)

저자들은 기존 사전 학습된 모델에 불확실성 추정 기능을 추가하면서도 실시간 성능을 유지하기 위해 **결정론적 특징 추출기 (Deterministic Feature Extractor)**와 **확률적 회귀 모듈 (Probabilistic Regression Module)**을 결합한 하이브리드 아키텍처를 제안했습니다.

A. 모델 구조

1. 고정된 특징 추출기 (Fixed Feature Extractor):
   • 사전 학습된 신경망 (예: BiSeNet, ENet 등) 의 모든 레이어를 고정된 파라미터 ($\theta$) 로 사용하여 입력 이미지를 특징 벡터로 변환합니다.
   • 이 과정은 결정론적 (Deterministic) 으로 수행되어 계산 효율성을 극대화합니다.
2. 확률적 분류 레이어 (Probabilistic Classification Layer):
   • 네트워크의 마지막 선형 레이어를 확률적 레이어로 대체합니다.
   • 이 레이어의 가중치와 편향 ($\omega$) 을 확률 변수로 간주하여 추론 (Inference) 을 수행합니다.
   • Moment Propagation (모멘트 전파): 고차원 데이터에 대한 복잡한 베이지안 추론을 피하기 위해, 입력 특징과 확률적 가중치의 곱 (내적) 을 통해 로그이트 (Logits) 의 평균과 분산을 분석적으로 계산합니다.

B. 불확실성 추정 기법

1. SWAG 기반 근사 추론:
   • 완전한 베이지안 추론은 계산량이 많으므로, SWAG (Stochastic Weight Averaging-Gaussian) 방법의 변형을 사용하여 로그이트 공간에서 사후 분포를 근사합니다.
   • 사전 학습된 가중치를 평균으로 사용하고, SGD 반복 과정에서 수집된 파라미터 변동을 대각 공분산 행렬 (Diagonal Covariance Matrix) 로 근사하여 메모리 사용량과 계산 오버헤드를 줄입니다.
2. EPSoftmax (Expectation Propagation Softmax):
   • 로그이트 (Gaussian 분포) 를 최종 클래스 확률 (Softmax) 로 변환할 때, 정확한 분석적 해가 존재하지 않으므로 모멘트 전파 (Moment Propagation) 기법을 적용합니다.
   • 로그 - 정규 분포 (Log-Normal) 의 성질을 활용하여 Softmax 출력의 평균과 분산을 근사적으로 계산합니다. 이를 통해 최종 예측 확률 분포를 유도합니다.

C. 불확실성 메트릭

• 인지적 불확실성 (Epistemic Uncertainty): 모델 파라미터의 불확실성에서 기인하며, 예측 로그이트의 분산 (Entropy) 을 통해 측정합니다.
• 알레토릭 불확실성 (Aleatoric Uncertainty): 데이터 자체의 노이즈에서 기인하며, 최종 분류 확률 분포의 엔트로피를 통해 근사합니다.
• 클래스 조건부 불확실성: 특정 클래스 (예: 보행자, 차량) 에 대한 불확실성을 개별적으로 시각화할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 가벼운 불확실성 추정 방법: 모멘트 전파와 베이지안 방법을 결합하여 시맨틱 세그멘테이션의 불확실성을 추정하는 경량화 방법을 제안했습니다.
2. 실시간 알레토릭 및 인지적 불확실성 메트릭 개발: 임베디드 환경에서 의미 있는 불확실성 지표를 생성하고, 이를 최종 사용자와 의사 결정 프로토콜에 활용할 수 있는 방안을 제시했습니다.
3. 사전 학습 모델과의 호환성: 기존 사전 학습된 실시간 세그멘테이션 모델 (BiSeNet, ENet, PIDNet 등) 을 최소한의 수정으로 적용 가능하게 하여, 임베디드 장치에서 실시간 불확실성 정량화를 가능하게 했습니다.

4. 실험 결과 (Results)

• 실험 환경: NVIDIA Jetson AGX Xavier 임베디드 하드웨어.
• 데이터셋: 자율 주행 (CityScapes, CamVid), 일반 객체 (ADE20k, CoCoStuff).
• 성능 평가:
  • 정확도: 제안된 확률적 모델 (Bayes-*) 은 기존 점 추정 (Point Estimate) 모델과 비교해 mIOU, F1 점수에서 비슷한 성능을 유지했습니다.
  • 속도: 불확실성 추정으로 인해 프레임 속도 (FPS) 는 일부 감소했으나, 대부분의 모델에서 **실시간 처리 (30 FPS 이상)**가 가능했습니다. (예: BiSeNetV1 은 68.8 FPS → 57.3 FPS, PIDNet 은 84.3 FPS → 69.3 FPS).
  • 하드웨어 최적화: TensorRT 를 사용하여 반정밀도 (Half-precision) 연산을 수행함으로써 추론 속도를 가속화했습니다.
• 정성적 분석:
  • 인지적 불확실성: 관심 객체 내부에서 높은 불확실성을 보였습니다.
  • 알레토릭 불확실성: 객체의 경계선 (Edge) 주변에서 집중적으로 나타났습니다.
  • 클래스 조건부 불확실성: 특정 클래스 (예: '차량', '보행자') 에 대한 불확실성을 시각화하여, 안전에 중요한 영역을 식별하는 데 유용함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실시간 안전성 확보: 제한된 리소스를 가진 임베디드 장치에서도 실시간으로 불확실성을 추정할 수 있게 되어, 자율 주행이나 로봇 공학 등 안전이 중요한 분야에서 시스템의 신뢰성을 높일 수 있습니다.
• 계산 효율성: 기존 Monte Carlo 방식과 같은 고비용 샘플링 없이, 분석적 (Analytic) 인 접근법을 통해 불확실성을 계산함으로써 실시간 적용의 장벽을 낮췄습니다.
• 미래 방향:
  • 훈련 단계에서 알레토릭 불확실성을 명시적으로 학습하는 메커니즘과 결합할 경우 더 정확한 추정 가능.
  • 불확실성 정보를 실제 의사 결정 시스템 (Decision Protocol) 에 통합하는 방법론에 대한 추가 연구 필요.

이 논문은 실시간 시맨틱 세그멘테이션의 정확성과 신뢰성 (불확실성 추정) 을 동시에 달성할 수 있는 실용적인 솔루션을 제시했다는 점에서 의의가 큽니다.