FA-Seg: A Fast and Accurate Diffusion-Based Method for Open-Vocabulary Segmentation

"FA-Seg: 오픈-보카불러리 분할을 위한 빠르고 정확한 확산 기반 방법"에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

**오픈-보카불러리 시맨틱 분할 (OVSS)**은 모든 가능한 클래스에 대한 밀집된 픽셀 단위 주석이 필요하지 않은 상태에서, 임의의 텍스트 카테고리를 기반으로 이미지 내 객체를 분할하는 것을 목표로 합니다.

• 기존 방법의 한계:
  • 비전 - 언어 모델 (예: CLIP): 제로샷 인식에는 효과적이지만, 전역 이미지 - 텍스트 임베딩에 의존하여 픽셀 단위에서 공간적 정밀도가 낮고 경계가 흐릿한 결과를 초래하는 경우가 많습니다.
  • 확산 기반 모델: 어텐션 메커니즘을 통해 세밀한 공간 특징을 자연스럽게 인코딩하지만, 기존 방법들은 종종 높은 계산 비용을 겪습니다. 많은 방법들이 클래스당 여러 번의 추론 단계, 광범위한 최적화, 또는 합성 데이터 생성을 요구하여 분할 품질과 추론 효율성 사이의 트레이드오프를 초래합니다.
• 격차: 고도의 분할 정확도 (세밀한 공간 정밀도) 를 달성하면서도 실제 배포에 적합한 계산 효율성을 유지하는 학습이 불필요한 (training-free) OVSS 방법이 시급히 필요합니다.

2. 방법론: FA-Seg

FA-Seg 는 사전 훈련된 텍스트 - 이미지 확산 모델 (특히 Stable Diffusion) 을 활용하여 단일 추론 실행에서 분할을 수행하는 학습이 불필요한 프레임워크입니다. 파이프라인은 세 가지 주요 단계로 구성됩니다.

A. 이중 프롬프트 구성

신뢰할 수 있는 이미지 재구성과 클래스별 어텐션 추출을 모두 가능하게 하기 위해 FA-Seg 는 두 가지 보완적인 프롬프트를 구성합니다.

1. 캡션 프롬프트 ($\mathcal{P}$): 입력 이미지를 재구성하기 위한 DDIM 역변환을 안내하기 위해 이미지 캡셔닝 모델 (예: BLIP) 에 의해 생성됩니다.
2. 클래스 프롬프트 ($\mathcal{P}'$): 캡션에 추가된 후보 객체 카테고리 목록 (TagCLIP + BLIP 를 통해 생성됨) 입니다.

• 메커니즘: 확산 모델은 재구성을 위해 $\mathcal{P}$를 사용하지만, 후보 클래스에 특화된 크로스 - 어텐션 맵을 생성하기 위해 $\mathcal{P}'$를 활용합니다. 이를 통해 모델은 반복적인 재추론 없이 특정 의미 개념에 집중할 수 있습니다.

B. 효율적인 역변환 및 어텐션 추출

• 빠른 역변환: 표준 다단계 DDIM 역변환 대신 FA-Seg 는 **2-Rectified Flow (2-RF)**를 사용합니다. 이 증류된 모델은 (1+1)-단계 과정 (한 번의 전진, 한 번의 후진 단계) 으로 정확한 이미지 재구성을 가능하게 하여 추론 시간을 획기적으로 단축합니다.
• 어텐션 추출: 노이즈 제거 과정에서 다음을 추출합니다.
  • 크로스 - 어텐션 맵: 클래스 프롬프트의 텍스트 토큰과 이미지 영역을 연결합니다.
  • 셀프 - 어텐션 맵: 이미지의 내부 공간 구조와 쌍별 유사성을 포착합니다.
  • 이러한 맵들은 여러 해상도 ($r \in \{8, 16, 32, 64\}$) 에서 추출됩니다.

C. 계층적 어텐션 정제 방법 (HARD)

고품질의 마스크를 생성하기 위해 FA-Seg 는 서로 다른 해상도의 어텐션 맵을 융합합니다.

1. 크로스 - 어텐션 융합: 서로 다른 해상도의 크로스 - 어텐션 맵을 업샘플링하고 가중 합을 사용하여 집계합니다. 낮은 해상도 (예: 16) 는 의미적 컨텍스트를 위해 더 높은 가중치를 부여받고, 높은 해상도는 노이즈를 줄이기 위해 가중치가 낮아집니다.
2. 셀프 - 어텐션 정제: 융합된 크로스 - 어텐션 맵은 셀프 - 어텐션 친화도 행렬을 사용하여 추가로 정제됩니다. 셀프 - 어텐션 맵은 크로스 - 어텐션이 결여한 구조적 세부 사항 (경계와 형태) 을 제공합니다. 이 방법은 셀프 - 어텐션 텐서를 크로스 - 어텐션 맵의 해상도에 맞게 변환한 후, 객체 경계를 선명하게 하기 위해 곱셈 가중치로 적용합니다.
3. 테스트 시간 플리핑 (TTF): 공간적 일관성을 향상시키기 위해 입력 이미지의 수평 반전 버전에서 이 과정을 반복합니다. 결과적으로 생성된 어텐션 맵은 원래 맵과 다시 정렬되어 평균화되며, 이를 통해 노이즈를 줄이고 견고성을 향상시킵니다.

3. 주요 기여

1. 통합 단일 실행 추론: 이전 방법들이 각 클래스별로 별도의 추론 실행을 요구하는 것과 달리, FA-Seg 는 단일 (1+1)-단계 추론에서 모든 후보 클래스에 대한 분할 마스크를 동시에 생성합니다.
2. 이중 프롬프트 메커니즘: 재구성 프롬프트를 클래스 인식 프롬프트와 분리하는 새로운 전략으로, 확산 모델이 이미지 충실도를 잃지 않으면서 특정 카테고리에 대한 차별적인 어텐션 맵을 추출할 수 있게 합니다.
3. 계층적 어텐션 정제 (HARD): 해상도 전반에 걸쳐 크로스 - 어텐션 (의미적 위치 파악용) 과 셀프 - 어텐션 (구조적 정제용) 을 결합하는 다중 스케일 융합 전략으로, 정밀한 객체 경계를 달성합니다.
4. 학습이 불필요한 효율성: 이 방법은 미세 조정이나 합성 데이터 생성이 필요 없으며 최소한의 계산 자원으로, 1 초 미만의 추론 시간으로 최첨단 성능을 달성합니다.

4. 실험 결과

저자들은 FA-Seg 를 세 가지 표준 벤치마크인 PASCAL VOC, PASCAL Context, COCO Object에서 평가했습니다.

• 성능 (mIoU):
  • FA-Seg 는 세 가지 데이터셋 전체에서 **평균 mIoU 43.8%**를 달성했습니다.
  • 이는 학습이 불필요한 확산 기반 방법으로서 새로운 최첨단 (SOTA) 기록을 세웠으며, InvSeg(42.4%), DiffSegmentor(41.8%), 그리고 다양한 CLIP 기반 접근법들을 능가했습니다.
  • 구체적인 점수: 64.0% (PASCAL VOC), 31.3% (PASCAL Context), 36.2% (COCO).
• 효율성:
  • 추론 시간: RTX 4090 GPU 에서 이미지당 0.36 초입니다. 이는 InvSeg(7.9 초, H100 기준) 및 DiffSegmentor(클래스 수에 비례하여 시간 증가) 보다 훨씬 빠릅니다.
  • 메모리: InvSeg 의 32.4 GB 에 비해 13.4 GB의 VRAM 만 소비합니다.
• 절대 실험 (Ablation Studies):
  • 셀프 - 어텐션 정제를 제거하면 성능이 가장 크게 하락 (-15.1%) 하여 공간적 정밀도에서의 결정적 역할을 입증했습니다.
  • 다중 해상도 맵의 가중 융합은 단순 평균 융합보다 우수한 성능을 보였습니다.
  • 후보 클래스 생성을 위한 TagCLIP+BLIP 조합이 가장 견고한 것으로 입증되었습니다.

5. 중요성 및 영향

• 격차 해소: FA-Seg 는 분할 품질과 추론 효율성 사이의 격차를 성공적으로 해소하여, 고정밀 오픈-보카불러리 분할이 무거운 학습이나 다단계 최적화를 필요로 하지 않음을 입증했습니다.
• 실제 배포: 추론 시간을 1 초 미만으로 줄이고 메모리 사용량을 약 13GB 로 낮춤으로써, 로봇공학, 자율 주행, 대화형 도구 등 실제 응용 분야에서 실시간 오픈-보카불러리 분할을 실현 가능하게 했습니다.
• 미래 작업의 기반: 이 논문은 학습이 불필요한 확산 분할을 위한 강력한 기준선을 제시하며, 향후 개선 사항은 적응형 후보 생성 및 인스턴스 레벨 분할에 초점을 맞출 수 있음을 시사합니다.

결론적으로 FA-Seg 는 고도로 최적화되고 학습이 불필요하며 계산적으로 효율적인 프레임워크를 통해 확산 모델의 고유한 공간 능력을 활용함으로써 오픈-보카불러리 분할 분야에서 중요한 진전을 이루었습니다.