Image Quality Dependent Degradation for AI Systems

기술 요약: AI 시스템을 위한 이미지 품질 의존적 성능 저하 (Image Quality Dependent Degradation)

문제 정의
자율 주행과 같은 안전 필수 영역(safety-critical domains)의 AI 인지 시스템은 입력 이미지 품질에 크게 의존한다. 심층 신경망은 훈련 데이터의 분포 내에서 보간(interpolation)하는 데는 뛰어나지만, 손상되거나 열악한 입력(예: 노이즈, 어두움, 센서 마모 등)에 직면했을 때 외삽(extrapolation)하는 데 어려움을 겪는다. 중요한 과제는 모든 오류가 동일한 가중치를 갖지 않는다는 점이다. 예를 들어, 보행자 탐지에서 미탐지(false negative, 보행자를 놓치는 것)는 오탐지(false positive, 존재하지 않는 보행자를 탐지하는 것)보다 훨씬 더 치명적이다. 전통적인 결함 허용(fault-tolerant) 방식은 종종 중복 센서(예: LiDAR)로 전환하거나 시스템을 완전히 종료하는 '결함 작동(fail-operational)' 방식에 의존한다. 그러나 이러한 폴백(fallback) 솔루션은 항상 사용 가능하거나 바람직한 것은 아니다. 저자들은 "결함 저하(fail-degraded)" 접근 방식을 제안하며, 이는 시스템이 결함 발생 시에도 제한적이지만 통제된 기능을 유지하도록 하며, 특히 이미지 품질이 낮을 때 일반적인 정확도보다 치명적인 오류(미탐지)를 방지하는 것을 우선시한다.

방법론
제안된 시스템은 실시간 이미지 품질 추정에 따라 기존 객체 탐지기의 신뢰도 임계값(confidence threshold)을 조정하는 플러그 앤 플레이(plug-and-play) 모듈로 작동한다. 이 방법론은 세 가지 주요 구성 요소로 이루어진다:

1. 수작업 특징 추출 (Handcrafted Feature Extraction): 딥 백본(deep backbones)의 의미론적 특징(semantic features)에 의존하는 대신(이는 품질에 영향을 주는 증강(augmentation)을 무시할 수 있음), 시스템은 비참조 이미지 품질 평가(IQA) 속성 벡터를 추출한다. 여기에는 밝기, 채도, 대비, 에너지, 과노출/저노출, 포화도, 선명도, 신호 대 잡음비(SNR), 왜도(skewness), 스펙트럼 중심, 그리고 PSNR이 포함된다.
2. 정규화 흐름(Normalizing Flows, NF)을 통한 품질 추정: NF 네트워크($\eta_\theta$)는 훈련 데이터셋의 수작업 특징 벡터를 학습한다. NF는 "좋은" 이미지 품질의 확률 밀도를 학습한다. 추론 단계에서는 입력 이미지 특징의 로그 가능도(log-likelihood, $L(x)$)가 계산된다. 높은 가능도는 이미지 품질가 훈련 분포와 유사함을 나타내며, 낮은 가능도는 분포 외(OOD) 상태 또는 저하된 상태임을 시사한다.
3. 결함 저하 임계값 변환 (Fail-Degraded Threshold Conversion): 시스템은 계산된 로그 가능도($L(x)$)를 기반으로 객체 탐지기의 신뢰도 임계값($conf(x)$)을 동적으로 조정한다. 위상장(phase-field) 표현 방식을 사용하여 임계값은 다음과 같이 정의된다:
   $$conf(x) = \frac{1}{2} \tanh(\alpha(L(x) - \tau)) + \frac{1}{2}$$
   여기서 $\tau$는 훈련 데이터의 가능도 분포에서 유도된 임계값(중앙값으로 설정)이며, $\alpha$는 전이 폭(transition width)을 제어한다.
   • 고품질 (높은 $L(x)$): 임계값이 높게 유지되어 정밀도(precision)와 정확한 예측을 우선시한다.
   • 저품질 (낮은 $L(x)$): 임계값이 낮아져 재현율(recall)을 우선시함으로써, 비록 오탐지가 증가하더라도 중요한 객체(보행자)를 놓치지 않도록 한다.

주요 기여

• 결함 저하 시스템 설계: 저자들은 인지 서브시스템이 결함 발생 시 단순히 종료되거나 안전 상태로 복귀하는 대신, 기능이 감소된 상태(낮아진 신뢰도 임계값)로 작동하는 전략을 개발하여 AI 구성 요소의 운용 범위를 확장했다.
• 새로운 품질 모니터링: 수작업 이미지 통계에 기반하여 훈련된 정규화 흐름을 사용하여 이미지 저하를 감지하는 새로운 모니터링 시스템을 도입했다. 이 방식은 특정 객체 탐지기 아키텍처와 독립적이며, 탐지기를 재학습할 필요가 없다.
• 경험적 검증: 본 방법론은 BDD100k 데이터셋을 사용하여 최신 객체 탐지기(YOLOv11 및 DETR)에서 검증되었으며, 다양한 이미지 섭동(perturbation)에 적응하는 능력을 입증했다.

실험 결과
실험은 훈련 및 테스트를 위해 BDD100k 데이터셋을 사용하였으며, Zenseact OpenDataset(ZOD) 및 CARLA 시뮬레이션 데이터로 추가 검증을 수행했다.

• OOD 탐지: 정규화 흐름은 훈련 분포(BDD100k)와 다른 데이터셋 간을 성공적으로 구분했다. 시뮬레이션된 CARLA 데이터는 실제 데이터와 최소한의 중첩을 보였고, ZOD는 더 넓은 범위를 가졌으나 상당한 중첩을 보였다.
• 증강 탐지: 시스템은 여섯 가지 유형의 이미지 증강(어두움, 노이즈, 먼지, 블러, 렌즈 플레어, 롤링 셔터)에 대해 테스트되었다. NF는 모든 증강 유형을 안정적으로 감지했으며, 증강 강도가 높아질수록 로그 가능도가 감소했다. 특히, 저자들은 ResNet-18 백본의 잠재 특징(latent features)을 사용하는 것이 이러한 증강들을 안정적으로 감지하는 데 실패했음을 발견하여, 수작업 특징의 선택이 타당함을 입증했다.
• 탐지기 성능: YOLOv11 보행자 탐지기에 적용했을 때:
  • 재현율(Recall): 결함 저하 시스템은 저품질 이미지(로그 가능도가 낮은 이미지)에 대해 재현율을 유의미하게 향상시켜, 보행자를 놓치는 경우를 줄였다.
  • 정밀도(Precision): 예상대로, 낮은 임계값으로 인해 저품질 이미지에서의 정밀도는 약간 감소하여 오탐지가 늘어났다.
  • 종합: 시스템은 테스트 세트의 377개 이미지에 대해 재현율을 개선하는 동시에 고품질 이미지에 대해서는 높은 재현율을 유지했다. 프레임당 평균 재현율은 0.428(고정 임계값)에서 0.474(결함 저하 방식)로 증가한 반면, 평균 정밀도는 0.996에서 0.984로 미미하게 하락했다.
• 실시간 능력: ROS 2 구현을 통해 이미지 품질 평가와 객체 탐지가 병렬로 실행될 수 있음을 보여주었으며, 이는 시스템이 실시간 애플리케이션에 적합함을 확인시켜 주었다.

의의 및 주장
본 논문은 이 접근 방식이 불리한 조건에서도 시스템을 완전히 종료하지 않고도 치명적인 실패(보행자 미탐지)를 방지함으로써 자율 주행 기반 시스템의 신뢰성을 높인다고 주장한다. 저자들은 이를 신뢰성과 성능 사이의 트레이드오프(trade-off)로 규정한다. 즉, 익숙하고 고품질인 시나리오에서는 정확도를 극대화하고, 생소하고 저품질인 시나리오에서는 중요한 객체를 탐지함으로써 안전을 우선시한다.

저자들은 현재의 접근 방식이 전역적(global) 이미지 품질에 초점을 맞추고 있다는 점을 겸허히 언급했다. 보행자 탐지와 같은 특정 작업의 경우, 국소적(local) 품질(예: 특정 바운딩 박스 영역의 품질)이 더 관련 있을 수 있음을 인정했다. 향후 연구로는 이 접근 방식을 국소 바운딩 박스 분석에 적응시키고, 잠재적으로 탐지기 훈련 시 비대칭 손실 함수(asymmetric loss functions)를 통합하는 것이 제안되었다. 결론적으로, 완전히 부패된 이미지는 시스템이 모든 곳에서 보행자를 탐지하게 만들어(차량 주행을 방해함) 문제가 될 수 있지만, 제안된 방법은 필요한 경우에만 성능을 저하시킴으로써 안전과 유용성 사이의 균형을 유지한다고 밝혔다.