S3OD: Towards Generalizable Salient Object Detection with Synthetic Data

기술 요약: S3OD: 합성 데이터를 통한 일반화 가능한 돌출 객체 탐지(Salient Object Detection)를 향하여

문제 정의
돌출 객체 탐지(SOD)는 근본적으로 데이터 부족 문제에 직면해 있다. 다양하고 대표성 있는 데이터셋을 구축하려면 샘플당 최대 10시간이 소용되는 비용이 많이 드는 정밀한 픽셀 단위 수동 주석(annotation) 작업이 필요하다. 또한, 주석은 서로 다른 주석가들이 장면의 돌출성을 다르게 해석함에 따라 내재적인 모호성과 불일치를 보일 수 있다. 이러한 희소성으로 인해 커뮤니티는 이분적 이미지 분할(DIS) 및 고해해상도 SOD(HR-SOD)와 같은 특화된 하위 작업에 대해 별도의 모델을 훈련시켜야 하며, 이는 일반화된 원리보다는 작업별 과적합(task-specific overfitting)을 초래한다. 기존의 합성 데이터 접근 방식은 다음과 같은 결정적인 한계를 지닌다: 전통적인 의사 라벨링(pseudo-labeling)은 교사 모델(teacher model)의 능력에 국한되며, 확산 모델(diffusion models)을 통한 직접적인 마스크 예측은 노이즈가 많고 일관되지 않은 경계선을 생성하는 경우가 많고, 마스크 조건부 생성(mask-conditioned generation)은 다양성이 부족하다. 또한, 현재 대부분의 아키텍처는 결정론적인 단일 출력 예측을 강제하며, 이 작업에 내재된 모호성을 무시한다.

방법론
저자들은 대규모 합성 데이터셋, 반복적 생성 파이프라인, 그리고 모호성 인지 아키텍처로 구성된 S3OD 프레임워크를 제안한다.

1. 다중 모달 데이터셋 확산 파이프라인:
   외부 교사 모델이나 노이즈가 섞인 어텐션 추출에 의존하는 대신, 이 파이프라인은 생성 과정 자체를 활용하여 감독 신호를 추출한다. FLUX 확산 트랜스포머(FLux diffusion transformer)를 사용하여 시스템은 이미지를 생성하는 동시에 고품질 마스크를 해독하기 위한 세 가지 상호 보완적인 모달리티를 추출한다:

• FLUX DiT 피처 맵: 다중 스케일 공간 이해와 구조적 구성을 인코딩하기 위해 특정 싱글 스트림 트랜스포머 레이어에서 추출된다.
• 개념 어텐션 맵(Concept Attention Maps): 해석 가능한 시맨틱 로컬라이제이션을 제공하기 위해 정적 개념 토큰(예: "객체" 대 "배경")으로부터 유도된다.
• DINO-v3 시각적 피처: 자기 지도 학습을 통해 미세한 객체 수준의 시맨틱을 포착하기 위해 생성된 이미지로부터 추출된다.
  이러한 모달리티들은 융합되어 DPT 디코더에 입력되며, 이를 통해 픽셀 단위의 주석을 생성함으로써 강력한 이미지-라벨 정렬을 보장한다.

2. 반복적 생성 프레임워크:
   데이터 생성은 정적이지 않다. 반복적 피드백 루프는 다운스트림 모델의 성능에 따라 샘플링 분포를 동적으로 조정한다. 합성 배치(batch)로 훈련된 후, 모델은 홀드아웃 카테고리에 대해 평가된다. 모델이 성능이 저조한 카테러거리는 다음 생성 라운드에서 더 높은 가중치를 부여받아, 모델의 약점을 지속적으로 해결하기 위해 도전적인 사례들을 우선적으로 다루며 데이터셋을 끊임없이 진화시킨다.

3. 모호성 인지 아키텍처 (S3ODNet):
   모델은 DINO-v3 가중치로 초기화된 경량 DPT 백본을 채택한다. SOD의 내재적 모호성(여러 유효한 해석이 존재할 수 있음)을 해결하기 위해, 이 아키텍처는 멀티 마스크 디코더를 사용한다. 단일 결정론적 출력을 내보내는 대신, $N$개의 마스크 후보와 그에 대응하는 추정 IoU 점수 벡터를 예측한다.

• 훈련: 손실 함수는 정답(ground truth)에 대해 가장 높은 IoU를 가진 예측을 타겟팅하는 "최적 매칭(best-match)" 전략을 적용한다. 사용되지 않는 브랜치들이 퇴화하는 것을 방지하기 위해, 모든 브랜치에 걸쳐 지수적 감쇠(exponential decay)가 적용된 완화된 할당 손실(relaxed assignment loss)이 적용된다.
• 추론: 모델은 모든 예측에 대한 IoU 점수를 추정하고 가장 높은 점수의 마스크를 선택한다.

주요 기여

• S3OD 데이터셋: 픽셀 단위 주석이 포함된 139,000장 이상의 고해상도 이미지를 포함하는 대규모 합성 데이터셋이다. 이 규모는 기존의 모든 SOD 데이터셋의 합계를 초과한다. 데이터셋은 다중 모달 확산 파이프라인을 통해 생성되며, 다단계 품질 필터링 프로세스(일관성 검사, VLM을 통한 마스크 품질 평가, 시맨틱 검증)를 통해 정제된다.
• 반복적 데이터 합성: 어려운 카테고리를 우선시하는 피드백 기반 프레임워크를 통해 합성 데이터 분포가 모델의 약점을 커버하도록 진화시킨다.
• 모호성 인지 아키텍처: 결정론적 예측을 넘어 여러 유효한 돌출성 해석을 처리하는 간결한 멀티 마스크 디코더를 제공한다.
• 교차 작업 일반화: DIS와 HR-SOD를 통합하여, 합성 데이터로 훈련된 단일 모델이 서로 다른 해상도와 작업 도메인 전반에 걸쳐 효과적으로 일반화될 수 있음을 입증한다.

실험 결과

• 교차 데이터셋 일반화: 오직 S3OD 합성 데이터셋만으로 훈련된 모델은 교차 데이터셋 벤치마크에서 평가되었을 때, 실제 세계의 하위 작업 데이터셋(DIS-5K 또는 SOD 벤치마크)으로 훈련된 모델에 비해 20~50%의 오차(MAE) 감소를 달성했다.
• 최첨단 성능(SOTA): 실제 데이터로 미세 조정(fine-tuning)되었을 때, S3ODNet은 DIS-5K 및 다양한 HR-SOD 벤치마크(UHRSOD, HRSOD-TE, DUTS-TE, DUT-OMRON)에서 BiRefNet 및 InSPyReNet과 같은 방법들을 능가하며 새로운 SOTA 결과를 달ей했다.
• 제로샷 전이(Zero-Shot Transfer): 합성 S3OD 데이터로만 훈련된 모델은 **위장 객체 탐지(COD)**에 대해 강력한 제로샷 일반화 능력을 보여주며, 실제 COD 데이터셋으로 훈련된 모델보다 우수한 성능을 보인다. COD 데이터로 미세 조정하면 더욱 높은 SOTA 결과를 얻을 수 있다.
• 어블레이션 연구(Ablation Studies):
  • 모달리티: 세 가지 피처 소스(DiT, Concept, DINO-v3)를 결합하는 것이 필수적이다; 개별 모달리티만으로는 고해상도 마스크 디코딩에 불충분하다.
  • 반복적 생성: 세 차례의 반복적 생성은 단일 라운드 생성보다 일관되게 향상된 성능을 보여준다.
  • 아키텍처: 3개의 브랜치를 가진 멀티 마스크 디코더와 DINO-v3 백본은 단일 출력 변형 및 Swin 기반 백본보다 우수하다.

의의 및 주장
본 논문은 SOD의 근본적인 병목 현상이 모델의 복잡성이 아니라 데이터 부족이라고 주장한다. 생성 모델을 활용하여 대규모의 고품질 합성 데이터셋을 만들고, 작업의 모호성을 존중하는 아키텍처를 사용함으로써, 저자들은 합성 데이터가 일반화를 이끄는 데 있어 수동 주석을 보완하거나 심지어 능가할 수 있음을 입증한다. 이 연구는 작고 특정적인 학술 벤치마크에서의 "포화된" 성능은 종종 과적합의 결과이며, 진정한 진보는 교차 도메인 일반화를 평가하는 데서 온다는 점을 시사한다. 제안된 파이프라인은 정답(ground truth) 확보가 주요 장벽인 밀집 예측(dense prediction) 작업에 대한 확장 가능한 솔루션을 제공한다.