HiProto: Hierarchical Prototype Learning for Interpretable Object Detection Under Low-quality Conditions

1. 연구 배경 및 문제 정의 (Problem)

• 저품질 이미징 환경의 한계: 저조도 (Low-light) 나 안개 (Haze) 와 같은 열악한 조건에서는 이미지 품질 저하와 핵심 시각 정보의 손실로 인해 객체 감지 (Object Detection) 의 신뢰성이 크게 떨어집니다.
• 기존 방법의 결함:
  • 이미지 향상 (Image Enhancement) 기반: 밝기 조정이나 노이즈 제거 등 전처리 단계를 거치는 방식은 픽셀 수준의 외관에 집중하여 의미론적 단서 (Semantic cues) 를 왜곡할 수 있으며, 검출 목표와 분리되어 있을 경우 특징 불일치를 초래합니다.
  • 복잡한 아키텍처: 저품질 입력에 최적화된 복잡한 모델 설계는 종종 블랙박스 (Black-box) 성격을 띠어 **해석 가능성 (Interpretability)**이 부족하고, 의미론적 표현의 견고성을 보장하지 못합니다.
• 핵심 과제: 이미지 향상이나 복잡한 구조 변경 없이, 저품질 조건에서도 견고한 성능을 내면서도 모델의 의사결정 과정을 투명하게 해석할 수 있는 객체 감지 방법론의 필요성이 대두되었습니다.

2. 제안 방법론: HiProto (Methodology)

저자들은 **계층적 프로토타입 학습 (Hierarchical Prototype Learning)**을 기반으로 한 새로운 패러다임인 HiProto를 제안합니다. 이 방법은 이미지 향상 파이프라인 없이 Feature Pyramid Network (FPN) 기반의 검출기에 구조화된 프로토타입을 통합합니다.

A. 계층적 프로토타입 모델링 (Hierarchical Prototype Modeling)

• 개념: FPN 의 각 특징 레벨 (Feature Level) 에 클래스별 의미론적 프로토타입 (Prototype) 을 임베딩합니다.
• 작동 원리:
  • 분류 브랜치: 각 특징 레벨의 분류기 가중치를 해당 스케일의 대표적 클래스 패턴을 인코딩하는 '프로토타입 벡터'로 해석합니다. 이를 통해 모델이 각 스케일에서 객체의 의미론적 패턴을 학습하도록 유도합니다.
  • 회귀 브랜치: 각 특징 레벨이 감지할 수 있는 객체 크기의 범위 (Scale-aware) 를 제한하여, 저수준 특징은 작은 객체에, 고수준 특징은 큰 객체에 집중하도록 스케일 의존적 회귀를 수행합니다.

B. 핵심 구성 요소 (Key Components)

1. RPC-Loss (Region-to-Prototype Contrastive Loss):
   • 지역 특징 (Region Features) 과 클래스 프로토타입 간의 유사성을 측정하여, 프로토타입이 목표 객체 영역에 의미론적으로 집중하도록 유도하는 대비 학습 (Contrastive Learning) 손실 함수입니다.
2. PR-Loss (Prototype Regularization Loss):
   • 고차원 특징 공간에서 클래스 간 의미론적 혼란 (Semantic Entanglement) 을 방지하기 위해 프로토타입 간의 직교성 (Orthogonality) 을 강제합니다.
   • 기존 쌍별 (Pairwise) 제약 대신 **특이값 분해 (SVD)**를 기반으로 한 전역 제약 (Global Constraint) 을 사용하여 프로토타입 공간의 기하학적 구조를 안정화하고 클래스 간 구분을 명확히 합니다.
3. SPLGS (Scale-aware Pseudo Label Generation Strategy):
   • 저수준 특징 맵은 큰 객체의 구조적 의미를 포착하기 어렵기 때문에, 각 특징 레벨의 수용 영역 (Receptive Field) 에 맞는 객체 크기만 유효한 라벨로 간주하여 의사 라벨 (Pseudo Label) 을 생성합니다.
   • 이를 통해 저수준 프로토타입 학습 시 발생하는 불일치 감독 (Mismatched Supervision) 을 억제하고 표현의 견고성을 유지합니다.

C. 해석 가능성 지표 (Interpretability Metrics)

• Discriminability Score: 프로토타입 응답이 실제 객체 영역에 얼마나 집중되어 있는지 측정.
• Sparsity Score: 서로 다른 클래스 프로토타입 간의 독립성 (중복성 감소) 을 정량화.
• AUCft: 전경과 배경 활성화의 분리 능력을 평가.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제안: 이미지 향상이나 복잡한 구조 없이, 계층적 프로토타입 학습을 통해 저품질 조건에서 해석 가능한 객체 감지를 가능하게 하는 HiProto 아키텍처를 제안했습니다.
2. 프로토타입 기반 최적화: RPC-Loss 와 PR-Loss 를 도입하여 프로토타입의 의미론적 집중력과 클래스 간 구별력을 동시에 향상시켰습니다.
3. 스케일 인식 라벨링 전략: SPLGS 를 통해 각 특징 레벨의 수용 능력에 맞는 객체만 학습에 참여시켜, 저수준 특징의 노이즈를 줄이고 강건성을 확보했습니다.
4. 성능 및 해석 가능성 동시 달성: ExDark, RTTS, VOC2012-FOG 등 다양한 저품질 데이터셋에서 기존 최첨단 방법 (SOTA) 보다 우수한 검출 정확도와 명확한 시각적 해석 가능성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 저조도 (ExDark), 안개 (RTTS, VOC2012-FOG), 정상 조명 (VOC2012) 환경에서 평가.
• 정량적 성능:
  • ExDark (저조도): mAP 69.1% 달성 (YOLOv8 Baseline 대비 4.7%p 향상, 2 차 방법인 Retinexformer 대비 2.3%p 우위).
  • RTTS (안개): mAP 76.0% 달성 (Baseline 대비 1.6%p 향상).
  • VOC2012-FOG (안개): mAP 63.7% 달성 (Baseline 대비 4.8%p 향상).
  • 정상 조명: 일반 VOC2012 에서도 Baseline 및 Transformer 기반 검출기들을 상회하는 성능 (68.7%) 을 보여 일반화 능력을 입증.
• 해석 가능성: Discriminability Score 와 Sparsity Score 에서 모든 비교 대상 방법보다 압도적으로 높은 수치를 기록하여, 모델이 배경 노이즈를 억제하고 객체에 명확하게 집중함을 증명했습니다.
• 효율성: 추가적인 이미지 향상 모듈이 없어 추론 속도 (FPS) 가 137.23 으로 매우 빠르며, FLOPs 와 파라미터 수는 Baseline 과 유사하여 경량화를 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 저품질 영상 조건에서의 객체 감지 문제를 해결하기 위해 이미지 복원 (Restoration) 에 의존하지 않는 새로운 접근법을 제시했습니다.

• 해석 가능성의 중요성 강조: 자율주행 등 안전이 중요한 분야에서 모델이 '왜' 그렇게 판단했는지 (프로토타입 응답을 통해) 시각적으로 추적 가능하게 함으로써 신뢰성을 높였습니다.
• 구조적 견고성: 복잡한 엔지니어링이나 전처리 없이, FPN 의 계층적 구조와 프로토타입 학습을 결합하여 의미론적 표현의 견고성을 극대화했습니다.
• 실용성: 계산 비용이 낮고 구현이 용이하여 실제 임베디드 시스템이나 실시간 응용 분야에 적용하기 적합한 솔루션을 제공합니다.

결론적으로 HiProto 는 저품질 환경에서도 높은 정확도와 투명한 의사결정 과정을 동시에 제공하는 객체 감지 모델의 새로운 표준을 제시합니다.