gen2seg: Generative Models Enable Generalizable Instance Segmentation

1. 문제 정의 (Problem)

기존의 인스턴스 분할 (Instance Segmentation) 모델, 특히 범주 무관 (Category-agnostic) 분할 모델인 SAM (Segment Anything) 은 방대한 양의 레이블이 지정된 데이터 (SA-1B, 약 11 억 개 마스크) 를 기반으로 훈련되어 강력한 일반화 능력을 보입니다. 그러나 이러한 모델들은 훈련 데이터에서 본 적이 없는 객체 유형이나 이미지 스타일에 대해 약한 성능을 보이거나, 미세한 구조 (예: 전선, 복잡한 경계) 를 정확하게 분할하는 데 한계가 있습니다.

이 논문은 "매우 제한된 범주 (실내 가구 및 자동차) 와 합성 데이터로만 파인튜닝된 모델이, 훈련 데이터에 전혀 존재하지 않는 객체 유형 (사람, 동물 등) 과 이미지 스타일 (예술화, X-ray 등) 에 대해 제로샷 (Zero-shot) 으로 일반화될 수 있는가?" 라는 근본적인 질문을 던집니다. 기존 판별적 (Discriminative) 모델들은 이러한 제한된 훈련 조건에서 일반화에 실패하지만, 생성적 (Generative) 모델은 이를 가능하게 할 수 있는지 탐구합니다.

2. 방법론 (Methodology)

가. 핵심 아이디어: 생성적 사전 지식의 활용

저자들은 생성 모델 (Stable Diffusion, MAE) 이 이미지 합성 과정에서 객체의 경계, 구조, 부분 - 전체 관계를 암묵적으로 학습한다는 가설을 세웠습니다. 따라서 이러한 생성적 사전 지식 (Generative Priors) 을 인스턴스 분할 작업에 재사용할 수 있다고 주장합니다.

나. 인스턴스 분할을 이미지 - 이미지 변환으로 재정의

기존의 이진 마스크 예측 방식 대신, 생성 모델의 특성을 활용하여 분할을 이미지 - 이미지 변환 (Image-to-Image Translation) 문제로 접근합니다.

• 입력: 원본 이미지.
• 목표 (Ground Truth): 각 인스턴스마다 고유한 색상 (RGB) 을 부여하고 배경은 검은색으로 만든 RGB 분할 맵.
• 학습 방식: 노이즈를 추가하지 않고, 생성 모델 (VAE 또는 MAE 디코더 포함) 에 입력 이미지를 그대로 통과시켜 RGB 분할 맵을 출력하도록 파인튜닝합니다.

다. 인스턴스 컬러링 손실 (Instance Coloring Loss)

정확한 색상 할당이 여러 가지 가능하므로, 특정 색상을 강제하는 대신 두 가지 핵심 속성을 기반으로 손실 함수를 설계했습니다.

1. 인스턴스 내 분산 손실 (Intra-Instance Variance Loss): 하나의 객체 내 모든 픽셀의 예측 색상이 평균 색상과 유사하도록 유도 (Smooth $\ell_1$ Loss).
2. 인스턴스 간 분리 손실 (Inter-Instance Separation Loss): 한 객체의 영역 밖 픽셀들이 해당 객체의 평균 색상과 멀리 떨어지도록 유도.
3. 평균 레벨 분리 손실 (Mean-Level Separation Loss): 서로 다른 객체의 평균 색상들이 서로 구별되도록 유도.

이러한 손실 함수를 통해 모델은 객체별로 일관된 색상을 할당하고 서로 다른 객체는 다른 색상을 갖도록 학습합니다.

라. 포인트 프롬프트 분할 (Point-Promptable Segmentation)

SAM 과 유사하게 점 (Point) 프롬프트를 사용하여 특정 객체를 선택할 수 있게 합니다. 별도의 마스크 디코더를 학습하지 않고, 모델이 출력한 특징 맵 (Feature Map) 에서 프롬프트 포인트 주변의 색상과 유사한 픽셀들을 찾아 바이너리 마스크를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 제한된 데이터에서의 강력한 제로샷 일반화: 실내 가구와 자동차라는 매우 제한된 합성 데이터 (약 8.6 만 장) 로만 파인튜닝된 모델이, 훈련 데이터에 없던 사람, 동물, 예술화, X-ray 등 다양한 객체와 스타일을 정확하게 분할합니다.
2. 생성적 사전 지식의 검증: 인터넷 규모의 대규모 레이블 데이터 (SA-1B) 없이도, 이미지 합성 학습을 통해 얻은 생성적 사전 지식이 강력한 객체 그룹링 메커니즘을 제공함을 입증했습니다. 특히 MAE(이미지넷-1K 만으로 사전 학습) 와 Stable Diffusion 모두에서 이 효과가 확인되었습니다.
3. SAM 대비 우수한 세부 구조 분할: SAM 이 놓치는 미세한 구조 (전선, 울타리 등) 와 모호한 경계 (Ambiguous boundaries) 에서 더 선명한 경계를 생성하며, BSDS500 및 iShape 데이터셋에서 SAM 을 능가하는 성능을 보입니다.
4. 부분 - 전체 구성성 (Part-Whole Compositionality) 의 발현: 부분 수준의 지도 학습 없이도, 모델이 객체의 부분 (예: 머리와 몸, 넥타이와 셔츠) 을 계층적으로 그룹화하는 능력을 자연스럽게 학습함을 발견했습니다.

4. 실험 결과 (Results)

• 데이터셋: 훈련에는 Hypersim(실내) 과 Virtual Kitti 2(자동차) 의 합성 데이터만 사용. 평가에는 COCOexc(훈련되지 않은 객체 포함), DRAM(예술), EgoHOS(1 인칭 시점), iShape(복잡한 구조), PIDRay(X-ray) 등 5 개 도메인 사용.
• 성능 비교:
  • SAM 과 비교: 훈련되지 않은 객체 유형에 대해 SAM 과 유사하거나 더 나은 성능을 보였습니다. 특히 iShape(미세 구조) 데이터셋에서는 SAM 을 크게 능가했습니다.
  • 기타 베이스라인 비교: 판별적 모델인 DINO-B 나 SimpleClick 은 제로샷 설정에서 성능이 현저히 떨어졌으나, 생성적 사전 지식을 가진 MAE 와 Stable Diffusion 은 우수한 성능을 유지했습니다.
  • 데이터 다양성: 훈련 데이터의 클래스 수를 10 개나 5 개로 줄이거나, 단순한 기하학적 모양 (ClevrTex) 만으로 훈련해도 일반화 성능이 유지되었습니다. 이는 일반화가 데이터의 다양성보다는 생성적 사전 지식에서 비롯됨을 시사합니다.
  • 에지 검출 (Edge Detection): BSDS500 에서 SAM 보다 더 정교하고 매끄러운 객체 경계를 생성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 "이미지를 생성하는 법을 배우는 것이 이미지를 이해하고 분할하는 데 필수적인 요소" 임을 보여줍니다. 생성 모델은 장면의 구성 요소, 경계, 부분 간의 관계를 모델링해야 하므로, 이러한 능력이 인스턴스 분할과 같은 지각 작업으로 자연스럽게 전이됩니다.

• 효율성: SAM 과 같은 초대규모 모델에 비해 훨씬 적은 데이터와 컴퓨팅 자원 (29 시간, 4 개 GPU) 으로 훈련하면서도 경쟁력 있는 일반화 성능을 달성했습니다.
• 미래 전망: 생성적 표현을 활용하면 로봇공학, 의료 영상, 자율주행 등 정밀한 장면 이해가 필수적인 분야에서 더 일반화되고 인간과 유사한 지각 능력을 갖춘 시스템을 구축할 수 있는 새로운 길을 열었습니다.

요약하자면, GEN2SEG는 생성 모델의 내재된 그룹링 메커니즘을 활용하여, 제한된 지도 신호로도 다양한 도메인과 객체에 대해 강력한 제로샷 인스턴스 분할을 가능하게 하는 획기적인 접근법을 제시합니다.