MagicSeg: 반사실적 (Counterfactual) 확산 기반 자동 생성을 통한 오픈 월드 분할 사전 학습

1. 문제 정의 (Problem)

• 오픈 월드 시맨틱 분할의 한계: 기존의 오픈 월드 시맨틱 분할 (Open-World Semantic Segmentation) 모델은 이미지 - 텍스트 쌍 데이터셋에 크게 의존합니다. 그러나 이러한 데이터는 픽셀 수준의 세밀한 주석 (pixel-level annotations) 이 부족하여, 폐쇄형 (closed-set) 분할 패러다임에 비해 분할 성능이 제한적입니다.
• 데이터 수집의 비용: 다양한 카테고리에 대한 고품질의 픽셀 단위 주석을 가진 대규모 데이터셋을 구축하는 것은 막대한 인력과 시간 비용이 소요되어 경제적으로 비효율적입니다.
• 기존 합성 데이터의 결함: 기존 GAN 기반이나 확산 모델 (Diffusion Model) 기반의 합성 데이터 생성 방법들은 실제 데이터의 일부를 필요로 하거나, 생성된 마스크에 노이즈가 많으며, 특정 폐쇄된 카테고리 집합 (예: PASCAL VOC) 에만 초점을 맞춰 오픈 월드 시나리오에는 적합하지 않았습니다.

2. 방법론 (Methodology)

MagicSeg 는 오픈 월드 분할을 위한 고품질 합성 데이터셋을 자동 생성하는 파이프라인과 이를 활용한 모델 학습 전략을 제안합니다.

A. 반사실적 확산 기반 데이터 생성 (Counterfactual Diffusion-based Generation)

1. 대규모 어휘 및 텍스트 생성:
   • LVIS 와 PASCAL VOC 의 클래스 이름을 포함한 대규모 어휘 (1,205 개 카테고리) 를 구축합니다.
   • ChatGPT 를 활용하여 클래스 이름에 기반한 풍부하고 다양한 배경 설명이 포함된 고품질 텍스트 프롬프트를 생성합니다. (단, 한 이미지당 1~2 개의 클래스만 포함되도록 제어하여 배경의 다양성을 확보합니다.)
2. 이미지 및 반사실적 쌍 (Counterfactual Pairs) 생성:
   • 생성된 텍스트를 Stable Diffusion 에 입력하여 고품질 이미지를 생성합니다.
   • 핵심 아이디어: 원본 텍스트 내의 대상 클래스 이름을 "nothing"으로 대체하여 **반사실적 텍스트 (Counterfactual Text)**를 생성하고, 이를 통해 대상 객체가 없는 이미지 (Counterfactual Image) 를 생성합니다. 이는 원본 이미지와 대상이 없는 이미지를 쌍으로 구성하여 대비 학습을 가능하게 합니다.
3. 정밀 마스크 자동 주석:
   • 생성된 이미지에 대해 Grounding DINO(오픈 어휘 객체 탐지) 를 사용하여 대상 객체의 바운딩 박스를 찾습니다.
   • 찾은 바운딩 박스를 **SAM (Segment Anything Model)**의 프롬프트로 입력하여 픽셀 수준의 정밀한 마스크를 추출합니다.

B. 오픈 월드 분할 모델 학습 전략

1. 카테고리 무작위 샘플링 전략 (Category Random Sampling Strategy):
   • 어휘 내 모든 카테고리 (N=1205) 를 한 번에 예측하면 존재하지 않는 카테고리가 많아져 학습 효율이 떨어지고 계산 비용이 증가합니다.
   • 따라서 각 학습 단계에서 이미지당 존재하는 카테고리 외에 어휘에서 무작위로 일부 카테고리 (m=100) 를 샘플링하여 예측 타겟으로 설정합니다. 이는 학습 불균형을 해소하고 과적합을 방지하며 계산 부하를 줄입니다.
2. 반사실적 대비 손실 (Counterfactual Contrastive Loss):
   • 생성된 마스크의 노이즈 문제를 해결하고 클래스 무관한 (class-agnostic) 객체 위치 파악 능력을 향상시키기 위해 도입됩니다.
   • 원본 이미지와 대상이 없는 반사실적 이미지의 CLS 토큰 (class token) 간의 코사인 유사도를 최소화하는 손실 함수를 사용하여, 모델이 마스크 주석 없이도 객체를 인식하고 위치를 파악하도록 유도합니다.
3. 전체 손실 함수:
   • Focal Loss, Dice Loss (마스크 예측), 그리고 반사실적 대비 손실을 가중치와 함께 결합하여 모델을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. MagicSeg 데이터셋 및 파이프라인: 오픈 월드 분할을 위해 텍스트, 이미지, 픽셀 단위 마스크, 그리고 반사실적 이미지를 포함하는 대규모 합성 데이터셋을 자동 생성하는 새로운 파이프라인을 제안했습니다.
2. 학습 전략 혁신:
   • 카테고리 무작위 샘플링: 대규모 어휘에서의 학습 불균형과 계산 비용을 해결했습니다.
   • 반사실적 대비 학습: 노이즈가 있는 합성 마스크의 한계를 보완하고, 모델의 일반화 능력과 객체 위치 파악 능력을 강화했습니다.
3. 성능 입증: 생성된 데이터셋을 활용하여 오픈 월드 분할 모델의 성능을 크게 향상시켰으며, 다양한 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

4. 실험 결과 (Results)

MagicSeg 는 PASCAL VOC, PASCAL Context, COCO, LVIS 등 주요 데이터셋에서 평가되었습니다.

• 성능 비교:
  • PASCAL VOC: 62.9% mIoU 달성 (기존 오픈 월드 방법인 SCLIP의 59.1% 보다 우위).
  • PASCAL Context: 26.7% mIoU 달성.
  • COCO: 40.2% mIoU 달성 (기존 오픈 월드 방법인 CLIPpy 의 32.0% 보다 압도적).
  • LVIS: Grounded SAM(61.8%) 대비 62.9% 로 더 높은 성능을 보였으며, 카테고리 수가 증가하는 LVIS 에서도 4.9% 로 기존 방법 (0.5%) 을 크게 상회했습니다.
• Zero-Shot Point Prediction: OpenImages-v7 에서 45.6% p-mIoU 를 기록하여, 대량 사전 학습이 필요한 기존 방법들에 비해 경쟁력 있는 제로샷 능력을 입증했습니다.
• 합성 데이터 효율성: 다른 합성 데이터 생성 방법 (Diffumask, Dataset Diffusion 등) 과 동일한 백본 및 카테고리 수 조건에서 MagicSeg 가 더 높은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 비용 효율성: 인간 주석 없이도 오픈 월드 분할에 필요한 대규모 고품질 데이터셋을 자동 생성할 수 있어 데이터 구축 비용을 획기적으로 줄였습니다.
• 일반화 능력: 생성된 데이터셋이 특정 태스크에 국한되지 않고 다양한 오픈 월드 시나리오에 적용 가능함을 입증했습니다.
• 노이즈 극복: 반사실적 대비 학습을 통해 합성 데이터의 inherent 한계 (마스크 노이즈) 를 극복하고, 실제 데이터로 학습한 모델에 버금가는 성능을 달성했습니다.
• 미래 전망: 이 연구는 생성형 AI(확산 모델) 와 대규모 언어 모델(LLM) 을 결합하여 컴퓨터 비전 데이터셋을 자동 구축하는 새로운 패러다임을 제시하며, 오픈 월드 비전 기술의 발전에 중요한 기여를 합니다.