Perception Characteristics Distance: Measuring Stability and Robustness of Perception System in Dynamic Conditions under a Certain Decision Rule

Each language version is independently generated for its own context, not a direct translation.

1. 문제점: 기존 평가는 '눈가림'을 하고 있습니다

지금까지 자율주행 AI 를 평가할 때는 주로 **"화면 속 물체가 얼마나 정확하게 박스 안에 들어왔는가?" (IoU, 정밀도 등)**를 봤습니다.

비유: 마치 맑은 낮에 자동차를 보며 "이 차가 사진 한가운데 잘 찍혔니?"라고 묻는 것과 같습니다.
한계: 하지만 실제 운전은 맑은 날만 있는 게 아닙니다. 비가 오고, 밤이 되고, 안개가 끼면 상황이 달라집니다.
- 멀리 있는 차가 비에 젖어 흐릿하게 보일 때, AI 는 "아, 저건 차야!"라고 확신할 수도 있고, "아니, 그냥 물방울인가?"라고 망설일 수도 있습니다.
- 기존 평가 지표는 이 **'망설임 (불확실성)'**과 **'거리가 멀어질수록 생기는 흔들림'**을 제대로 잡아내지 못했습니다. 마치 "이 카메라는 화질이 좋으니 멀리 있는 물체도 다 잘 볼 거야"라고 믿고 있는 것과 비슷합니다.

2. 해결책: '지각 특성 거리 (PCD)'라는 새로운 자

저자들은 **"AI 가 얼마나 멀리서도 '확신'하며 물체를 볼 수 있는가?"**를 측정하는 새로운 자를 만들었습니다. 이를 **PCD(Perception Characteristics Distance)**라고 부릅니다.

비유: PCD 는 **"안전한 시야의 끝"**을 재는 자입니다.
- 예를 들어, 맑은 날에는 PCD 가 100m라고 나옵니다. (100m 까지 차를 확실히 봄)
- 하지만 비가 오는 밤에는 PCD 가 20m로 줄어듭니다. (20m 를 넘어가면 AI 가 "저게 차일까?"라고 의심하기 시작함)
- 이 '20m'가 바로 그날그날의 날씨와 AI 의 상태에 따라 변하는 안전한 운전의 한계선입니다.

이 자는 단순히 "물체를 찾았나?" (Yes/No) 가 아니라, **"얼마나 멀리서, 얼마나 확신하며 찾았나?"**를 통계적으로 계산합니다. AI 가 멀리서 물체를 볼 때 신호가 흔들리는 (불확실해지는) 지점을 정확히 찾아내는 것입니다.

3. 새로운 데이터: 'SensorRainFall' (센서 비 내리는 날)

이 새로운 자를 검증하기 위해, 연구팀은 버지니아 스마트 로드라는 특수한 시설에서 인공적으로 비를 뿌리며 데이터를 모았습니다.

상황: 맑은 낮, 비 오는 낮, 비 오는 밤, 가로등이 켜진 비 오는 밤 등 4 가지 상황을 완벽하게 통제했습니다.
목표: 자율주행차가 앞차 (빨간 세단) 와 가상의 보행인 (인형) 을 얼마나 멀리서, 어떤 날씨에서도 안정적으로 인식하는지 기록했습니다.
의미: 기존 데이터셋은 자연스러운 도로 상황이라 '날씨' 변수를 통제하기 어려웠는데, 이 데이터는 비라는 변수를 정밀하게 조절하여 AI 의 약점을 낱낱이 파헤쳤습니다.

4. 실험 결과: 기존 지표는 속고, PCD 는 진짜를 봅니다

연구팀은 최신 AI 모델 10 개를 이 데이터로 테스트했습니다. 결과는 놀라웠습니다.

기존 지표 (AP 등): "이 모델이 정밀도가 높으니 최고야!"라고 칭찬했습니다.
PCD 지표: "아니, 이 모델은 비 오는 밤에 20m만 되어도 물체를 못 보거나 엉뚱한 걸로 착각해. 위험해!"라고 경고했습니다.
비유:
- 기존 지표는 **"시험 점수 90 점"**을 보고 "이 학생은 천재야!"라고 말합니다.
- PCD 는 **"비 오는 날 시험을 치르면 30 점으로 떨어지고, 100m 떨어진 문제를 못 푼다"**라고 말합니다.
- 실제 운전에서는 점수보다 비 오는 날의 30 점이 훨씬 중요합니다. PCD 는 바로 이 실전에서의 약점을 찾아냅니다.

5. 결론: 왜 이것이 중요한가?

이 연구는 자율주행차가 **"안전한 운전 범위 (Safety Envelope)"**를 정하는 데 큰 도움을 줍니다.

안전한 운전: "오늘 비가 오고 밤이니까, AI 가 확신하는 거리는 30m 까지야. 그 이상은 사람이 직접 운전하거나 속도를 줄여야 해."
유연한 설정: 긴급 제동이 필요할 때는 "조금 덜 확실해도 50m 까지 감지하면 돼"라고 설정을 낮출 수 있고, 고속도로 주행처럼 정확도가 중요할 때는 "100% 확신할 때까지 20m 까지만 믿자"라고 설정을 높일 수 있습니다.

한 줄 요약:

"이 논문은 자율주행차가 비와 어둠 속에서 **'얼마나 멀리서도 믿을 수 있는지'**를 측정하는 새로운 자 (PCD) 를 만들었고, 이를 통해 AI 가 실전에서 얼마나 안전한지 진짜로 평가할 수 있게 되었습니다."

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

자율주행 시스템 (ADS) 의 안전성은 다양한 주행 조건과 거리에서 정확한 인식 (Perception) 에 달려 있습니다. 그러나 기존 인식 평가 지표에는 다음과 같은 한계가 존재합니다.

확률적 특성의 무시: AI 인식 알고리즘의 출력은 확률적 (Stochastic) 성격을 가지며, 이는 의사결정과 안전 결과 (예: 충돌 시간 추정) 에 큰 영향을 미칩니다. 하지만 기존 지표 (AP, IoU, F1 점수 등) 는 정적 (Static) 인 프레임 단위 평가에 의존하여 이러한 확률적 변동성을 반영하지 못합니다.
거리 의존성 및 동적 환경의 부재: 실제 도로 환경에서는 물체가 멀어질수록 탐지 신뢰도 (Confidence Score) 가 불안정하게 변동합니다. 고정된 임계값 (Threshold) 을 사용하는 이진법적 접근 방식은 이러한 거리 의존적 변동성을 포착하지 못해, 안전한 가속/제동과 같은 하위 제어 모듈에 불안정한 입력을 제공할 수 있습니다.
기존 지표의 한계: 평균 정밀도 (mAP) 나 IoU 와 같은 기존 지표는 탐지 성능의 전반적인 수준은 알 수 있지만, "어느 거리까지 시스템이 안정적으로 작동하는가"에 대한 물리적 의미를 제공하지 못합니다.

2. 제안된 방법론 (Methodology)

이 논문은 인식 시스템의 안정성과 강건성을 거리와 확률적 임계값에 따라 정량화하는 새로운 지표인 **인식 특성 거리 (Perception Characteristics Distance, PCD)**를 제안합니다.

A. PCD (Perception Characteristics Distance) 의 정의

개념: 주어진 탐지 품질 임계값 ( $y_{thres}$ ) 과 확률 임계값 ( $p_{thres}$ ) 하에서, 인식 시스템이 일관되게 신뢰할 수 있는 탐지를 수행할 수 있는 최대 거리를 정의합니다.
입력 값: 단순한 신뢰도가 아닌, IoU × Confidence Score를 결합하여 공간적 정확도와 예측 확신을 동시에 고려합니다.
통계적 모델링:
1. 분산 변화점 (Variance Change Points) 탐지: 거리 ( $x$ ) 에 따른 IoU×Confidence 점수의 분산이 급격히 변하는 지점을 통계적 가설 검정 (Spline regression 및 Likelihood ratio test) 을 통해 식별합니다. 이를 통해 데이터를 통계적 특성이 다른 구간 (Segment) 으로 나눕니다.
2. 확률적 계산: 각 구간 내에서 점수가 $y_{thres}$ 를 초과할 확률이 $p_{thres}$ 보다 큰 최대 거리 $x_i$ 를 PCD 로 정의합니다.
  $PCD = \max \{x_i | P(Y_i > y_{thres}) > p_{thres}\}$

B. 평균 PCD (aPCD)

다양한 탐지 품질 및 확률 임계값 조합에 대해 계산된 PCD 값들을 평균화하여 시스템의 전반적인 인식 능력을 나타내는 **평균 PCD (aPCD)**를 도입합니다. 이는 ROC 곡선 아래 면적 (AUC) 과 유사하게, 다양한 임계값 조건에서의 시스템 성능을 종합적으로 요약합니다.

C. SensorRainFall 데이터셋

PCD 를 검증하기 위해 Virginia Smart Road 에서 수집된 SensorRainFall 데이터셋을 공개했습니다.
특징: 통제된 환경 (Controlled Environment) 에서 수집된 유일한 공개 데이터셋으로, 맑은 날씨/비 오는 날씨 (강우량 64mm/h), 낮/밤/가로등 조건 등 4 가지 환경에서 카메라, 레이더, 라이다 센서 데이터를 제공합니다.
어노테이션: 정밀한 거리 측정, 바운딩 박스, 인스턴스 분할 마스크를 포함하며, 목표물은 붉은색 세단과 더미 보행자입니다.

3. 주요 기여 (Key Contributions)

새로운 평가 지표 (PCD/aPCD): 거리 의존적 신뢰도와 탐지 출력의 변동성을 확률적으로 모델링하여, 기존 정적 지표가 놓치고 있는 "시스템의 안정성"을 정량화합니다.
SensorRainFall 데이터셋: 다양한 기상 및 조명 조건 하에서 인식 시스템의 성능 저하를 분석할 수 있는 고품질 통제 실험 데이터셋을 공개했습니다.
통계적 변화점 탐지 기법: 인식 성능의 분산이 변하는 지점을 식별하여 PCD 를 계산하는 정교한 통계적 프레임워크를 제시했습니다.

4. 실험 결과 (Results)

최신 모델 (YOLOX, Grounding DINO, Mask2Former 등) 을 대상으로 한 16 가지 실험 결과, PCD 는 기존 지표와 다른 통찰력을 제공했습니다.

환경 조건에 따른 민감도 포착: 맑은 날에는 PCD 가 길지만, 비 오는 밤이나 가로등 조건에서는 PCD 가 급격히 감소하여 시스템의 신뢰도 저하를 명확히 보여줍니다. 기존 mAP 는 이러한 환경별 미세한 차이를 잘 반영하지 못했습니다.
모델 간 안정성 비교:
- 예시 1 (차량, 맑은 낮): Mask2Former 는 높은 aPCD(107m) 를 보였으며, 이는 높은 mAP 와도 일치했습니다.
- 예시 2 (차량, 비 오는 밤): GLIP 은 DyHead 보다 낮은 mAP 를 보였으나, aPCD 는 더 높았습니다. 이는 GLIP 이 먼 거리에서도 일관된 IoU×Confidence 를 유지하고 실패 구간 (Failure tail) 이 짧음을 의미하며, 기존 지표로는 파악하기 어려운 "거리 기반 신뢰성"을 PCD 가 포착했습니다.
- 예시 3 (보행자, 맑은 낮): ConvNeXt-V2 는 높은 mAP 를 보였으나, Mask2Former 가 더 높은 aPCD 를 기록했습니다. Mask2Former 는 짧은 거리에서 더 낮은 분산과 안정적인 출력을 보였음을 의미합니다.
안전 영역 (Safety Envelope) 정의: PCD 를 통해 특정 환경과 임계값 하에서 시스템이 안전하게 작동할 수 있는 거리 범위를 시각화할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

안전 중심의 평가: PCD 는 단순히 "얼마나 많이 맞췄는가"가 아니라, "얼마나 멀리까지, 얼마나 안정적으로 탐지할 수 있는가"를 평가하여 자율주행 시스템의 안전 마진 (Safety Margin) 설정에 직접적인 도움을 줍니다.
유연한 적용: 임계값 ( $p_{thres}, y_{thres}$ ) 을 조정하여 긴급 제동 (낮은 임계값, 넓은 범위) 이나 고속 차선 유지 (높은 임계값, 높은 신뢰도) 등 다양한 운영 시나리오에 맞는 평가가 가능합니다.
향후 전망: PCD 는 인식 시스템의 불확실성을 고려한 더 강건한 자율주행 개발을 지원하며, SensorRainFall 데이터셋은 향후 관련 연구의 벤치마크로 활용될 것입니다.

이 논문은 자율주행 인식 시스템의 평가 패러다임을 정적 성능 지표에서 동적 환경 하의 확률적 안정성 지표로 전환하는 중요한 기여를 하고 있습니다.