Probabilistic Object Detection with Conformal Prediction

기술 요약: 합동 예측을 활용한 확률적 객체 감지

문제 제기
자율주행과 같은 안전-중요(safety-critical) 분야에서 객체 감지기 (object detectors) 를 배포하려면 정확한 예측뿐만 아니라 신뢰할 수 있는 불확실성 추정도 필요합니다. 최첨단 감지기들은 일반적으로 내재적 불확실성 정량화 (UQ) 가 부족한 결정론적 신경망에 의존합니다. 확률적 감지기가 존재하지만, 그 UQ 방법들은 종종 모델 특정적이며 계산 비용이 많이 듭니다. 합동 예측 (Conformal Prediction, CP) 은 유한 표본 한계 커버리지 (marginal coverage) 보장을 가진 예측 집합을 구성하기 위한 사후적 (post-hoc), 모델 독립적, 분포 자유 (distribution-free) 프레임워크를 제공합니다. 그러나 CP 를 객체 감지에 적용할 때는 두 가지 구체적인 과제가 존재합니다:

1. 구조화된 다중 출력: 객체 감지는 경계 상자 좌표와 클래스 레이블이라는 다중 출력 예측을 생성하므로, 단일 출력을 위해 설계된 고전적 CP 이론의 적용이 복잡해집니다.
2. 고정 폭 구간: 표준 (비스케일) CP 는 모든 입력에 대해 일정한 폭의 예측 구간을 생성합니다. 이는 개별 예측의 난이도 변동을 무시하여, 낮은 불확실성 사례에서는 불필요하게 넓은 구간을 초래하고 높은 불확실성 사례에서는 커버리지가 부족할 수 있습니다.

방법론
저자들은 손실 감쇠 (loss attenuation) 를 사용하여 훈련된 확률적 객체 감지기와 합동 예측을 통합하는 프레임워크를 제안합니다 (Kendall and Gal, 2017; Kassem Sbeyti et al., 2023). 이 감지기는 회귀 목표 alongside 로 예측별 알레토릭 불확실성 (분산) 을 학습하여, 계산 효율적이고 샘플링이 불필요한 불확실성 추정을 제공합니다.

방법론은 네 가지 핵심 구성 요소로 구조화되어 있습니다:

1. 보너페로니 보정을 활용한 좌표별 CP:
   경계 상자 회귀는 네 개의 좌표를 포함하므로, CP 는 좌표별로 적용됩니다. 좌표 간의 의존 구조를 가정하지 않고 결합된 상자 수준의 커버리지 보장을 확보하기 위해, 저자들은 보너페로니 보정을 적용하여 각 좌표에 $\alpha/4$의 오커버리지 (miscoverage) 수준을 할당합니다.

2. 스케일링된 CP 대 비스케일 CP:

   • 비스케일 CP: 절대 잔차 ($| \hat{f}(x) - y |$) 에서 도출된 고정 분위수를 사용하여 일정한 폭의 구간을 생성합니다.
   • 스케일링된 CP: 입력 의존적 알레토릭 불확실성 추정치 ($\hat{\sigma}(x)$) 에 기반하여 구간 폭을 적응시킵니다. 점수 함수는 다음과 같이 재조정됩니다: $s(\hat{y}, y) = | \hat{f}(x) - y | / \hat{\sigma}(x)$.
   • 보정 변형: 이 연구는 원시 (보정되지 않은) 손실 감쇠 추정치를 상대적 등방성 회귀 (relative isotonic regression) 를 사용한 두 가지 보정 변형 (전역적 및 좌표별/클래스별 적용) 과 비교하여 원시 분산 추정치의 오보정을 수정합니다.

3. 클래스 무관 CP 대 클래스별 CP:

   • 클래스 무관: 모든 클래스에 걸쳐 단일 일치성 점수 집합을 계산합니다.
   • 클래스별: (알려진 레이블을 가정하여) 각 실제 클래스별로 별도의 보정 분위수를 계산하여, 구간 폭이 클래스별 난이도에 적응하도록 합니다.

4. 이단계 파이프라인 (결합 분류 및 회귀):
   Timans 등 (2025) 에 따라, 저자들은 다음과 같은 파이프라인을 구현합니다:

   • 1 단계: 정규화 적응 예측 집합 (RAPS) 을 사용하여 분류 헤드에 CP 를 적용하여 객체 클래스에 대한 예측 집합을 생성합니다.
   • 2 단계: 합동화된 경계 상자는 이 예측된 클래스 집합에 조건부로 설정됩니다. 경계 상자의 분위수는 모든 가능한 클래스가 아닌 예측 집합 내의 클래스들 중에서 최악의 경우로 선택됩니다.

주요 기여
본 논문은 다음과 같은 구체적인 기여를 합니다:

• 체계적 비교: 다중 클래스 객체 감지에 대한 비스케일 대 스케일링된 CP 의 포괄적 평가로, 도메인 내 및 도메인 간 설정에서 커버리지 유효성과 구간 날카로움 (IoU 및 구간 점수) 을 모두 평가합니다.
• 불확실성 보정 분석: 등방성 회귀를 통한 원시 손실 감쇠 추정치의 보정이 스케일링된 CP 의 성능에 미치는 영향을 조사합니다.
• 클래스별 평가: 경계 상자 회귀에 대한 클래스별 CP 분석으로, 클래스 무관 설정 대비 커버리지와 날카로움에 미치는 영향을 입증합니다.
• 결합 파이프라인 평가: 분류 및 회귀 헤드를 결합하여 합동화하는 이단계 파이프라인 평가로, RAPS 기반 클래스 예측 집합과 합동화된 경계 상자 간의 상호작용을 특히 검증합니다.

실험 결과
실험은 KITTI, BDD, CODA 세 가지 자율주행 데이터셋에서 수행되었으며, 후자는 분포 이동 하의 도메인 간 평가를 위해 사용되었습니다.

• 스케일링된 대 비스케일 성능: 스케일링된 CP 는 커버리지 보장을 희생하지 않으면서 날카로움 측면에서 비스케일 CP 를 일관되게 능가했습니다.
  • IoU 개선: 스케일링된 CP 는 비스케일 CP 대비 최대 19% 높은 IoU를 달성했습니다 (예: 특정 변형의 경우 KITTI 에서 +5.4%, CODA 에서 +6.3%).
  • 구간 점수: 스케일링된 CP 는 구간 점수를 최대 39% 감소시켜, 폭과 커버리지 간의 훨씬 더 나은 균형을 나타냈습니다.
  • 분포 이동: 스케일링의 이점은 모델 성능이 저하될 때 적응형 구간이 필수적인 분포 이동 하의 도메인 간 설정 (CODA) 에서 가장 두드러졌습니다.
• 보정 영향: 원시 (보정되지 않은) 손실 감쇠 추정치는 비스케일 CP 대비 대부분의 성능 향상을 포착했습니다. 등방성 회귀를 통한 추가 보정은 날카로움 측면에서 미미한 추가 개선을 제공했으며, 커버리지에는 미미한 영향만 미쳤습니다.
• 클래스별 대 클래스 무관: 클래스별 층화 (stratification) 는 스케일링된 및 비스케일 변형 모두의 구간 점수를 감소시켰으며, 이 감소는 스케일링된 CP 에서 더 유의미했습니다. 이는 클래스 조건부 분위수가 알레토릭 불확실성 스케일링과 유리하게 상호작용함을 시사합니다.
• 이단계 파이프라인: 결합 분류 - 회귀 파이프라인에서 스케일링된 CP 는 우수한 견고성을 보여주었습니다. 비스케일 CP 는 클래스 예측 집합에 조건부로 설정될 때 구간 점수가 크게 증가하여 (날카로움 악화) 고통받는 반면, 스케일링된 CP 의 구간 점수는 실제로 감소하여 (개선) 분류 불확실성과 결합될 때 더 우아하게 저하됨을 나타냈습니다.

의의 및 주장
저자들은 손실 감쇠에서 도출된 알레토릭 불확실성 추정치로 합동 예측 구간을 스케일링하는 것이 합동화된 객체 감지기의 날카로움을 개선하는 간단하고, 계산 효율적이며, 원칙적인 방법이라고 주장합니다.

저자들이 강조한 주요 교훈은 다음과 같습니다:

• 실행 가능한 불확실성: 제안된 파이프라인은 낮은 불확실성 시나리오에서 불필요한 과도한 보수주의를 피함으로써 실시간, 현실 세계 객체 감지를 위한 더 실행 가능한 불확실성 추정을 제공합니다.
• 견고성: 스케일링된 CP 의 우월성은 다양한 데이터셋, 불확실성 보정 전략, 파이프라인 구성 (클래스 무관, 클래스별, 이단계) 전반에 걸쳐 유지됩니다.
• 유효성: 날카로움의 개선은 한계 커버리지 보장을 훼손하지 않고 달성되었으며, 이는 스케일링된 및 비스케일 변형 모두에서 유효하게 유지됩니다.
• 실용성: 이 접근법은 단일 순전달 (forward pass) 만 필요로 하며 출력 헤드를 제외한 아키텍처 변경이 없으므로, 계산 효율성이 최우선인 안전-중요 애플리케이션에 적합합니다.

본 논문은 CP 가 필요한 커버리지 보장을 제공하지만, 객체 감지와 같은 복잡하고 다중 출력 작업에서 밀집하고 유용한 예측 집합을 생성하려면 입력 의존적 불확실성 추정치 (스케일링된 CP) 와 통합하는 것이 필수적이라고 결론지었습니다.