Interactive Interface For Semantic Segmentation Dataset Synthesis

1. 문제 정의 (Problem)

최근 생성형 AI 와 컴퓨터 비전의 급격한 발전으로 인해 고품질의 주석 (annotation) 이 달린 데이터셋, 특히 의미론적 분할 (Semantic Segmentation) 을 위한 데이터에 대한 수요가 급증하고 있습니다. 그러나 이러한 데이터셋을 구축하는 과정에는 다음과 같은 심각한 문제들이 존재합니다.

• 높은 비용과 리소스 소모: 실제 데이터를 수집하고 수동으로 라벨링하는 데는 막대한 시간, 인력, 비용이 소요됩니다.
• 개인정보 보호 우려: 실제 세계 데이터를 사용할 경우 프라이버시 문제가 발생할 수 있습니다.
• 기술적 진입 장벽: 기존 생성형 AI 모델 (Stable Diffusion 등) 은 강력하지만, 이를 활용하여 맞춤형 데이터 파이프라인을 구축하려면 높은 수준의 프로그래밍 지식과 AI 전문성이 필요합니다. 일반 사용자나 비전문가는 이러한 기술을 쉽게 접근하고 활용하기 어렵습니다.

2. 제안된 방법론 (Methodology)

이러한 문제를 해결하기 위해 저자들은 SynthLab이라는 새로운 플랫폼을 제안했습니다. SynthLab 은 모듈형 아키텍처와 직관적인 인터랙티브 인터페이스를 결합한 시스템입니다.

2.1 시스템 아키텍처 및 핵심 설계

• 모듈형 백엔드 (Modular Backend):
  • AI 알고리즘과 모델을 표준화된 '모듈'로 캡슐화합니다.
  • 각 모듈은 입력 (텍스트, 이미지, 마스크 등) 을 받아 처리 후 출력을 반환하는 방식으로 동작하며, 서로 다른 모듈 간의 데이터 타입이 일치하면 연결이 가능합니다.
  • 이미지 생성, 텍스트 - 이미지 (T2I), 이미지 - 이미지 (I2I), 객체 탐지, 분할, 캡션 생성 등 50 개 이상의 다양한 모듈을 포함하고 있습니다.
• 노드 기반 인터랙티브 인터페이스 (Node-based UI):
  • ComfyUI 를 기반으로 한 웹 애플리케이션으로, 드래그 앤 드롭 (Drag-and-Drop) 방식을 사용합니다.
  • 모듈 풀 (Module Pool): 사용 가능한 모든 모듈을 검색 및 필터링하여 보여줍니다.
  • 플레이그라운드 (Playground): 사용자가 모듈을 끌어와 연결하여 커스텀 데이터 파이프라인을 구축하는 공간입니다.
  • 설정 영역 (Settings): 인터페이스 설정 및 노드 간 연결 가중치 조정 등을 제공합니다.
• 확장성 및 호환성:
  • 구축된 파이프라인은 클라이언트 - 서버 환경에서 실행되거나, SDK 를 통해 로컬 환경으로 내보내어 개인 데이터를 처리하는 데 사용할 수 있습니다.

2.2 주요 사용 시나리오

1. 정규 객체 이미지 및 의미론적 마스크 합성: CLIP 기반 캡션 생성, Stable Diffusion 을 통한 이미지 생성, CLIPSeg 를 통한 정밀 분할 마스크 생성 파이프라인을 구성하여 고품질 데이터셋을 자동 생성합니다.
2. 희귀 객체 분할 (Zero-shot Segmentation): 홍수 장면이나 특수한 맥락의 객체와 같이 학습 데이터가 부족한 경우, GEM(Grounding Everything Model) 과 SAM(Segment Anything Model) 을 결합하여 정밀한 분할을 수행합니다.
3. 화학 분야 시각화: 컴퓨터 비전 외에도 분자 속성 예측 및 시각화 등 화학 분야로 확장 적용 가능합니다.

3. 주요 기여 (Key Contributions)

1. SynthLab 플랫폼 출시: 다양한 분야의 모듈을 통합하여 실제 데이터 문제를 체계적으로 해결하는 새로운 데이터 처리 및 생성 플랫폼을 제안했습니다.
2. 모듈형 아키텍처 설계: 각 모듈이 고유한 기능을 수행하지만 통일된 인터페이스를 공유하여 모듈 간 연결성을 보장하고, 새로운 기능의 통합 및 유지보수를 용이하게 했습니다.
3. 비전문가를 위한 접근성: AI 지식이나 프로그래밍 기술 없이도 드래그 앤 드롭 인터페이스를 통해 복잡한 데이터 처리 워크플로우를 빠르게 생성할 수 있게 했습니다.
4. 광범위한 유효성 검증: 다양한 사용자 그룹 (학생, 전문가 등) 을 대상으로 한 사용자 연구와 실제 실험을 통해 시스템의 유용성과 성능을 입증했습니다.

4. 실험 결과 (Results)

4.1 사용자 연구 (User Study)

• 참가자: 컴퓨터 과학 학부생, AI 전문가, 산업계 종사자 등 30 명 이상.
• 결과:
  • 전체 평균 만족도 (MOS) 는 4.2/5로 매우 높게 나타났습니다.
  • 사용 용이성: 88% 의 사용자가 "사용하기 쉽다"고 응답했습니다.
  • 모듈 통합: 85% 의 사용자가 모듈 간의 원활한 연동을 확인했습니다.
  • 학습 곡선: 초보자는 기술 용어에 약간의 학습 곡선이 있었으나, 전문가들은 모듈의 유연성을 높이 평가했습니다.

4.2 성능 평가 (Performance Evaluation)

• 시나리오 1 (정규 객체 분할): PASCAL VOC 데이터셋의 20 개 클래스를 사용하여 생성된 합성 데이터로 DeepLabV3 모델을 학습시켰습니다.
  • 기존 합성 데이터셋 기반 방법들 (Stillger et al., Nguyen et al., Wang et al.) 보다 51.61% 의 mIoU를 기록하여 기존 방법들 (46~47%) 보다 성능이 우수함을 입증했습니다.
• 시나리오 2 (희귀 객체 분할): 홍수 데이터셋 (Flood dataset) 에서의 분할 성능을 평가했습니다.
  • DINO+SAM (3.32%), CLIPSeg (21.25%), GEM 단독 (53.25%) 대비 GEM+SAM 조합 (SynthLab 제안 방식) 은 73.17% 의 mIoU를 기록하여 압도적인 성능 향상을 보였습니다. 이는 SAM 이 GEM 의 초기 예측을 정제 (boosting) 하는 역할을 효과적으로 수행했음을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 민주화된 AI 도구: SynthLab 은 복잡한 생성형 AI 기술을 프로그래밍 지식 없이도 활용할 수 있게 함으로써, 연구자뿐만 아니라 일반 사용자나 조직이 AI 기반 솔루션을 쉽게 구축하고 활용할 수 있는 길을 열었습니다.
• 데이터 부족 문제 해결: 실제 데이터 수집의 어려움과 프라이버시 문제를 해결하기 위해 고품질의 합성 데이터셋을 효율적으로 생성할 수 있는 체계를 제공했습니다.
• 유연한 확장성: 모듈형 설계 덕분에 컴퓨터 비전뿐만 아니라 화학, 음성 처리 등 다양한 도메인으로의 확장이 용이하며, 지속적인 업데이트와 새로운 기능 추가가 가능합니다.

결론적으로, 이 논문은 생성형 AI 의 잠재력을 극대화하면서도 사용자 친화적인 인터페이스를 통해 기술적 진입 장벽을 낮춘 SynthLab을 통해 데이터 중심 AI 개발의 새로운 패러다임을 제시했습니다.