OASIC: Occlusion-Agnostic and Severity-Informed Classification

1. 문제 정의 (Problem)

컴퓨터 비전, 특히 세밀한 분류 (Fine-grained classification) 는 객체가 완전히 보이는 깨끗한 이미지에서는 뛰어난 성능을 보이지만, 실제 환경에서는 나뭇잎, 연기, 잔해 등에 의해 **심각한 가려짐 (Occlusion)**이 발생하여 성능이 급격히 저하됩니다.
이 논문은 가려짐이 모델 성능에 악영향을 미치는 두 가지 근본적인 원인을 규명했습니다:

1. 가시 정보의 손실: 객체의 중요한 세부 정보가 가려져 분류에 필요한 특징을 파악하기 어려워짐.
2. 주의를 분산시키는 패턴 (Distracting Patterns): 가려진 객체 (Occluder) 자체의 복잡한 질감 (예: 나뭇잎, 잔해) 이 모델의 주의를 객체 본연의 특징이 아닌 가려진 부분으로 끌어당겨 오분류를 유발함.

기존 연구들은 주로 데이터 증강을 통해 부분적인 가려짐에 대한 내성을 키우거나, 특정 가려짐 유형을 학습시켰으나, 예측 불가능한 다양한 유형의 가려짐과 **가려짐의 심각도 (Severity)**에 따른 최적의 대응 전략 부재라는 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 **OASIC (Occlusion-Agnostic Severity-Informed Classification)**이라는 새로운 프레임워크를 제안했습니다. 이 방법은 가려짐을 '객체에 대한 시각적 이상 (Visual Anomaly)'으로 간주하여 두 가지 핵심 단계를 거칩니다.

가. 가려짐 감지 및 회색 마스킹 (Occlusion Segmentation & Masking)

• 이상 탐지 활용: 사전 학습된 이상 탐지 모델 (AnomalyDINO) 을 사용하여 입력 이미지의 픽셀 단위 이상 점수 (Anomaly Score) 를 생성합니다. 이는 가려짐의 유형 (식물, 연기 등) 을 미리 알지 못하더라도 (Occlusion-Agnostic) 다양한 가려짐을 탐지할 수 있게 합니다.
• 적응형 임계값 (Adaptive Thresholding): 고정된 임계값 대신 Otsu 방법을 사용하여 이미지의 히스토그램을 분석하고 최적의 임계값을 동적으로 결정하여 가려진 영역을 이진 마스크로 변환합니다.
• 회색 마스킹 (Gray Masking): 탐지된 가려진 영역을 모델이 주의 분산되지 않도록 **중립적인 회색 (Gray, 값 127)**으로 채웁니다. 이는 가려짐이 만들어내는 복잡한 질감 정보를 제거하고, 모델이 객체의 가시된 부분에만 집중하도록 유도합니다.

나. 가려짐 심각도 추정 및 모델 선택 (Severity Estimation & Model Selection)

• 심각도 추정: 이상 점수 맵의 평균값을 계산하여 이미지 전체의 가려짐 비율 (Severity, $\hat{s}$) 을 추정합니다.
• 심각도 기반 모델 풀 (Model Pool): 다양한 최대 가려짐 수준 ($p \in \{0, 10, \dots, 100\}$) 까지 학습된 여러 개의 미세 조정 (Finetuned) 모델들을 준비합니다. 각 모델은 특정 범위의 가려짐 ($[0, p]$) 에 최적화되어 있습니다.
• 동적 모델 선택: 테스트 시, 입력 이미지의 추정된 가려짐 심각도 ($\hat{s}$) 에 가장 가까운 최적화 범위를 가진 모델을 동적으로 선택하여 분류를 수행합니다.

3. 주요 기여 (Key Contributions)

1. OASIC 프레임워크 도입: 가시 정보 손실과 가려짐의 시각적 방해 (Distraction) 를 동시에 해결하는 통합 프레임워크를 제안했습니다.
2. Occlusion-Agnostic 분할: 가려짐의 유형에 대한 사전 지식 없이, 시각적 이상 (Anomaly) 으로 해석하여 임의의 가려짐을 국소화하고 회색 마스킹으로 방해 요소를 제거하는 기술을 개발했습니다.
3. 심각도 기반 적응형 모델 선택: 가려짐의 정도를 실시간으로 추정하고, 해당 수준에 최적화된 모델을 동적으로 선택하는 전략을 통해 다양한 가려짐 조건에서 안정적인 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: Stanford Cars 데이터셋 (196 개 차량 카테고리) 을 사용하며, Perlin 노이즈와 SAM(Segment Anything Model) 을 이용해 나뭇잎, 연기, 잔해 등 다양한 질감의 가려짐을 합성했습니다.
• 성능 비교:
  • AUCocc (가려짐 하의 정확도 곡선 아래 면적) 향상:
    • 기존 가려진 이미지로 학습한 모델 대비 +18.5 향상.
    • 깨끗한 이미지로 학습한 모델 (Finetuning) 대비 +23.7 향상.
  • 마스킹 효과: 회색 마스킹만 적용해도 가려짐에 대한 방해 요소가 줄어들어 성능이 개선되었으며, 특히 질감이 복잡한 가려짐 (식물, 잔해) 에서 효과가 두드러졌습니다.
  • 모델 선택 효과: 단일 모델이 모든 가려짐 수준에서 최적의 성능을 내지 못하는 반면, OASIC 의 적응형 모델 선택 전략이 모든 수준에서 일관된 최상의 성능을 보였습니다.
• 관찰: 가려짐이 심할수록 모델의 주의를 객체에서 멀어지게 하는 경향이 있으며, 회색 마스킹은 이를 효과적으로 교정합니다.

5. 의의 및 결론 (Significance)

이 논문은 **가려짐이 단순히 정보의 부족이 아니라, 오히려 모델을 혼란스럽게 하는 '방해 요소'**임을 강조했습니다. OASIC 은 이러한 방해 요소를 제거하고 (마스킹), 가려짐의 정도에 맞춰 가장 적합한 모델을 선택함으로써 (적응형 선택), 실제 환경에서 예측 불가능한 가려짐 조건에서도 강력한 강건성 (Robustness) 을 입증했습니다.

이 접근법은 자율 주행, 감시 시스템, 의료 영상 등 부분적으로만 보이는 객체를 인식해야 하는 다양한 실제 응용 분야에 적용 가능하며, 단일 아키텍처 내에서 가려짐 추정과 분류를 통합하는 방향으로의 미래 연구 가능성을 제시합니다.