Open-World Semantic Segmentation with Sensitivity Modeling

기술 요약: 민감도 모델링을 통한 오픈 월드 시맨틱 세그멘테이션

문제 정의
현대적인 비전 시스템은 고정되고 사전 정의된 클래스 집합에 대해 학습된 "폐쇄형 세계(closed-world)" 가정을 기반으로 작동하는 경우가 많습니다. 실제 "오픈 월드(open-world)" 시나리오에서 모델은 예상치 못한 도로 파편, 새로운 유형의 차량, 또는 문맥 의존적 이상치와 같은 분포 외(out-of-distribution, OOD) 콘텐츠에 직면하게 됩니다. 기존의 시맨틱 세그멘테이션 모델은 이러한 새로운 콘텐츠에 대해 과도하게 확신하는 오분류를 생성하는 경향이 있으며, 이는 자율 주행과 같은 응용 분야에서 안전 문제를 야기합니다. 핵심 과제는 오픈 월드 시맨틱 세그멘테이션입니다. 즉, 알려진 클래스를 세그멘테이션하는 동시에 추가적인 지도 학습 없이도 새로운 콘텐츠나 이상치를 탐지하고 그룹화하는 결합 작업입니다. 이를 위해서는 모델이 알려진 클래스에 대해서는 변별력을 갖추는 동시에, 미지의 콘텐츠에 대해서는 적절한 불확실성을 가져야 합니다. 이러한 목표들은 표준적인 학습 패러다임 하에서는 서로 충돌하는 경우가 많습니다.

기존의 듀얼 디코더 방식은 시맨틱 브랜치(로짓 공간에서 알려진 클래스 분포를 모델링)와 대조(contrastive) 브랜치(알려진 특징과 미지의 특징을 전역적으로 분리하기 위해 임베딩 노름을 구조화)를 결합하여 이를 해결하려고 시도합니다. 그러나 이러한 방법들은 거칠고 전역적으로 집계된 신호(프로토타입 거리 및 임베딩 노름)에 의존합니다. 이 방식은 불규칙한 질감 패턴, 비전형적인 활성화 빈도, 또는 객체 경계에서의 불일치와 같이 이상치를 나타내는 미세한 국소적 단서들을 포착하는 데 실패하는 경우가 많으며, 이러한 단서들은 전역 풀링(global pooling) 및 계층적 업샘플링 과정에서 소실될 수 있습니다.

방법론
저자들은 공유된 인코더-디코더 설계를 기반으로 한 3개 디코더 아키텍처를 제안합니다. 이 프레임워크는 기존의 듀얼 디코더 베이스라인(ContMAV)을 확장하여 세 번째 직교 목표인 **민감도 모델링(sensitivity modeling)**을 도입합니다.

1. 공유 인코더: NonBottleneck-1D 블록, Squeeze-and-Excitation 모듈, 그리고 Pyramid Pooling으로 수정된 ResNet-34 기반 인코더가 다중 스케일 특징 맵을 추출합니다. 중간 특징들은 스킵 연결(skip connections)을 통해 디코더로 전달됩니다.
2. 시맨틱 디코더 ($f_{sem}$): 가우시안 프로토타입을 사용하여 알려진 카테고리에 대한 폐쇄 집합 세그멘테이션을 수행합니다. 이는 focal loss, soft dice loss, 그리고 클래스별 가우시안 프로토타입으로부터의 편차를 클래스별 표준 편차로 정규화하여 벌칙을 주는 특징 정렬 손실($L_{feat}$)을 결합한 멀티 로스(multi-loss) 목적 함수를 활용합니다.
3. 대조 디코더 ($f_{con}$): 특징 공간에서 알려진 픽셀과 미지의 픽셀을 분리합니다. 단위 하이퍼스피어(unit hypersphere) 상에서 클래스별 평균 정규화 특징을 과거의 프로토타입과 정렬하는 대조 손실을 사용하며, 알려진 픽셀을 원점에서 밀어내고 미지의 픽셀을 원점으로 끌어당기는 objectosphere 손실을 통해 방사형 분리를 강제합니다. 정규화되지 않은 임베딩의 노름은 전역적인 미지성(unknownness) 프록시 역할을 합니다.
4. 민감도 디코더 ($f_{sen}$): 본 논문의 핵심 기여입니다. 활성화 불규칙성과 질감 이상으로부터 발생하는 미세하고 국소적인 불확실성을 포착하도록 설계되었으며, 세 개의 피라미드 레벨로부터 인코더 특징 맵을 독립적으로 처리합니다. 각 레벨은 경량 헤드(layer normalization과 ReLU를 포함한 세 개의 $1\times1$ 컨볼루션 레이어)를 사용합니다. 결과물인 스케일별 민감도 맵은 업샘플링된 후 요소별 합산(element-wise summation)을 통해 융합되며, 시그모이드 함수를 통과하여 픽셀당 불확실성 맵을 생성합니다.
   • 학습 신호: $f_{sen}$은 데이터셋의 void 어노테이션과 CutPaste 증강을 통해 합성된 OOD 패치로부터 생성된 "프록시 미지 레이블(proxy unknown labels)"을 사용하여 이진 교차 엔트로피(binary cross-entropy)로 학습됩니다.
   • 상보성: 다른 브랜치들과 달리, $f_{sen}$은 클래스 멤버십이나 특징 거리를 예측하지 않습니다. 대신, 모델이 국소적 활성화 불안정성에 기반하여 어디에서 불확실해야 하는지를 구체적으로 학습합니다.

추론 및 융합
최종 미지성 점수는 세 디코더의 신호를 융합하여 도출됩니다:

• 시맨틱 미지성은 시맨틱 로짓의 가우시안 가능도(likelihood)로부터 도출됩니다.
• 대조적 이상 점수(contrastive anomaly score)와 민감도 맵의 평균을 구합니다.
• 최종 점수는 시맨틱 점수와 대조-민감도 점수의 평균입니다.
• 융합 전, 스케일 지배 현상을 방지하기 위해 모든 점수는 이미지당 min-max 정규화를 거칩니다. 임계값($\delta=0.99$)을 초과하는 픽셀은 미지(unknown)로 레이블링되며, 그렇지 않은 픽셀은 시맨틱 디코더의 레이블을 따릅니다.

주요 기여

1. 민감도 디코더: 프로토타입 기반 또는 노름 기반 불확실성과 개념적으로 구별되는, 미세한 불확실성 모델링을 위한 새로운 모듈로, 특히 모호한 경계와 질감 이상을 탐지하도록 설계되었습니다.
2. 통합 아키텍처: 단일 소비자용 GPU에서 엔드 투 엔드로 학습 가능한 완전 컨볼루션 기반의 3개 디코더 아키텍처로, 새로운 클래스를 위한 추가적인 지도 학습이나 다단계 파이프라인을 필요로 하지 않습니다.
3. 포괄적 평가: 폐쇄 집합 메트릭(mIoU)과 전용 오픈 월드 메트릭(AUROC, AUPR, FPR@95TPR)을 모두 사용하여 베이스라인 대비 일관된 개선을 입증했습니다.

실험 결과
본 방법은 Cityscapes(폐쇄 집합)와 BDD-Anomaly(오픈 월드)에서 평가되었습니다.

• 폐쇄 집합 성능: Cityscapes에서 제안된 방법은 **69.88%**의 mIoU를 달연하여, 재현된 ContMAV 베이스라인(69.28%) 및 DMLNet, RAML과 같은 다른 오픈 월드 방법들을 능가했습니다.
• 오픈 월드 성능: BDD-Anomaly에서 이상 탐지 지표를 크게 개선했습니다:
  • AUROC: 63.4%(베이스라인)에서 **65.8%**로 증가했습니다.
  • AUPR: 41.8%에서 **44.3%**로 증가했습니다.
  • FPR@95TPR: 67.4%에서 **64.9%**로 감소했습니다 (낮을수록 좋습니다).
• 효율성: 민감도 디코더는 1M 미만의 파라미터를 추가하여 전체 모델의 3.6% 미만만을 차지하며, NVIDIA L40s GPU에서 베이스라인(23 fps)과 거의 차이가 없는 24 fps의 추론 속도를 유지하면서 계산 오버헤드를 최소화했습니다.

의의 및 주장
본 논문은 세 개의 디코더가 진정으로 상보적인 신호를 제공한다고 주장합니다: 즉, 로짓 공간에서의 클래스 수준 OOD 거리, 임베딩 공간에서의 전역 특징 에너지, 그리고 인코더 스케일 전반에 걸친 국소적 활성화 불안정성입니다. 절제 연구(ablation studies)를 통해 각 구성 요소가 오픈 월드 문제의 서로 다른 측면을 다루고 있음을 확인했으며, 특히 민감도 디코더가 폐쇄 집합 정확도를 저하시키지 않으면서 미지 영역 탐지에 기여함을 입증했습니다. 저자들은 이 접근 방식을 RAML과 같은 복잡한 다단계 학습 스케줄이나 무거운 백본을 피하면서도, 전역 신호가 놓치기 쉬운 미세한 이상치를 탐지하는 데 탁 있어 우수한 성능을 보이는 경량 단일 단계 솔루션으로 포지셔닝합니다. 향후 연구로는 학습된 융합 전략과 민감도 브랜치를 위한 더 풍부한 OOD 합성법을 탐구할 것임을 명시했습니다.