Remote SAMsing: From Segment Anything to Segment Everything

"Segment Anything"에서 "Segment Everything"으로: 원격 SAMsing에 대한 상세 기술 요약

1. 문제 제기

대규모 원격 탐사 (RS) 영상에 Segment Anything Model 2(SAM2) 를 적용하는 과정은 생산 환경에서의 활용을 방해하는 두 가지 치명적인 병목 현상에 직면해 있습니다:

1. 품질 - 커버리지 트레이드오프: SAM2 의 자동 마스크 생성기 (AMG) 는 예측된 교차율 (IoU) 및 안정성 점수를 기반으로 예측을 필터링합니다.
   • 엄격한 임계값은 고품질 마스크를 생성하지만 이미지의 상당 부분을 분할하지 못하게 하여 커버리지가 낮아집니다 (보통 30~68%).
   • 완화된 임계값은 커버리지를 높이지만 저품질의 노이즈가 많은 마스크를 도입합니다.
   • 기존 단일 패스 접근 방식은 수동 튜닝 없이는 높은 커버리지와 높은 정밀도를 동시에 달성할 수 없습니다.
2. 공간적 불일치 (타일링 아티팩트): RS 영상은 수만 픽셀에 달하는 경우가 많아 처리를 위해 타일 (예: 1024×1024) 로 분할해야 합니다.
   • 타일 경계를 가로지르는 객체들은 분열됩니다.
   • 표준 스티칭 (stitching) 방법은 이러한 조각들을 전역적으로 일관된 분할로 통합하는 데 실패하여 "메가 세그먼트 (spurios fusions, 위조된 융합)"나 단절된 객체를 초래합니다.

2. 방법론: 원격 SAMsing

저자들은 SAM2 의 아키텍처를 수정하거나 학습 데이터가 필요 없이 이러한 문제를 해결하는 오픈소스 제로샷 (zero-shot) 파이프라인인 Remote SAMsing을 제안합니다. 이 파이프라인은 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 다중 패스 적응형 분할 (커버리지 해결)

단일 패스 대신 파이프라인은 점진적 장면 단순화 전략을 사용하여 각 타일을 반복적으로 처리합니다:

• 블랙 마스크링: 각 패스 후, 승인된 마스크에 속한 픽셀을 검은색으로 칠합니다. 이는 이미 분할된 객체를 제거하여 다음 반복을 위한 장면을 단순화합니다.
• 밀집 그리드 프롬프팅: 프롬프트는 균일한 $k \times k$ 그리드에 배치되지만, 이미 분할된 (검은색) 픽셀에 떨어지는 점은 폐기됩니다. 이는 프롬프트가 잔여 분할되지 않은 영역에 집중하도록 보장합니다.
• 적응형 임계값 감소: 파이프라인은 엄격한 품질 임계값 ($\tau_{start}$) 으로 시작합니다. 임계값은 커버리지 증가가 정체될 때 (임계값 $\epsilon$ 미만으로 떨어짐) 만 완화됩니다 ($\Delta$만큼 감소). 이는 가장 두드러진 객체를 먼저 높은 정밀도로 포착하고, 이후 패스에서는 낮은 임계값으로 잔여 영역을 포착하도록 보장합니다.

B. 컨텍스트 패딩 및 병합을 통한 공간적 일관성 (분열 해결)

• 컨텍스트 패딩: 타일은 모든 면에서 $p$ 픽셀의 오버랩으로 추출됩니다. 분할은 패딩된 윈도우에서 수행되지만, 중앙 코어만 유지됩니다. 이는 가장자리에 있는 객체가 완전히 분할되도록 하여 병합 알고리즘이 타일 경계를 가로지르는 접촉을 감지할 수 있게 합니다.
• 파라미터 없는 최선 매칭 병합:
  • 모든 접촉 세그먼트를 병합하는 것 (위조된 융합을 유발함) 대신, 알고리즘은 Union-Find 구조를 사용합니다.
  • 타일 경계의 모든 세그먼트에 대해, 가장 넓은 접촉 면적을 가진 이웃 (최선 매칭) 을 식별합니다.
  • 세그먼트는 단일 최선 이웃과만 병합됩니다. 이는 조정 가능한 파라미터 없이 1:1 분할과 N:1 분할 (한쪽에서는 분열된 한 객체, 다른쪽에서는 전체 객체) 을 처리합니다.

C. 암시적 스케일 파라미터로서의 타일 크기

저자들은 타일 크기 ($T$) 가 스케일 파라미터로 작용한다고 규명했습니다. SAM2 가 입력을 1024×1024 로 크기 조정하므로, 타일 크기를 줄이는 것은 특징 공간에서 객체를 효과적으로 확대하여 SAM2 의 내장 다중 스케일 메커니즘 (crop_n_layers) 이 필요 없이 작은 객체 (예: 자동차) 의 검출을 개선합니다.

3. 주요 기여

1. 파이프라인 수준의 솔루션: 기초 모델을 미세 조정하지 않고도 거의 완전한 커버리지 (91~98%) 와 높은 공간적 일관성을 달성하는 새로운 접근법.
2. 반복적 단순화: "블랙 마스크" 전략은 후속 패스를 위해 분할이 어려운 영역을 격리함으로써 커버리지 - 품질 트레이드오프를 효과적으로 깨뜨립니다.
3. 강건한 경계 조정: 타일 분할에서 흔히 발생하는 "메가 세그먼트" 문제를 방지하는 파라미터 없는 병합 전략.
4. 체계적 평가: 일곱 가지 장면, 세 가지 공간 해상도 (5cm~4.78m), 두 가지 스펙트럼 구성 (RGB 및 MNF 가색) 에 걸쳐 대규모 RS 영상에서 SAM2 를 분석한 최초의 종합적 분석.

4. 실험 결과

이 파이프라인은 ISPRS Potsdam(5cm GSD), Brasília(24cm GSD), Agri-BR(4.78m GSD, MNF 가색) 에서 평가되었습니다.

• 커버리지: 모든 장면에서 단일 패스 SAM2 의 30~68% 에서 91~98% 로 증가했습니다.
• 검출 품질 (Det@0.5):
  • 이산 객체: 건물 (95%), 자동차 (8293%), 농경지 (95100%) 에서 탁월한 성능.
  • 작은 객체: 타일 크기를 1,000 픽셀에서 250 픽셀로 줄이면 브라질리아의 자동차 검출률이 56% 에서 85% 로 향상되어 SAM2 의 네이티브 다중 스케일 메커니즘을 능가했습니다.
  • 비정형 클래스: 확산된 경계로 인해 "stuff" 클래스 (저식생, 불투수 표면 등) 의 검출률은 낮았으나, 높은 평균 세그먼트 정확도 (ASA) (76~99%) 를 보여 객체 경계가 완벽하게 재구성되지 않더라도 픽셀이 올바르게 할당됨을 나타냈습니다.
• 베이스라인 비교:
  • 경계 IoU(BIoU) 와 검출률에서 SLIC 및 Felzenszwalb 초픽셀 방법을 크게 능가했습니다.
  • SAM2 기반 세그먼트는 스펙트럼 경계뿐만 아니라 학습된 구조에 따라 객체 윤곽과 정렬됩니다.
• 확장성: 단일 GPU 에서 약 20 시간 동안 처리하여 97% 커버리지와 품질 저하 없이 19.4 억 픽셀 (36,000 × 54,000 픽셀) 규모의 Potsdam 모자이크를 성공적으로 처리했습니다.
• 일반화: SAM2 가 자연 RGB 이미지만으로 학습되었음에도 불구하고, MNF 가색 영상을 사용하여 Agri-BR 에서 99.5% ASA 를 달성했습니다.

5. 중요성 및 함의

• RS 분석의 민주화: Remote SAMsing은 도메인 전문가가 복잡한 SAM2 파라미터 (IoU 임계값, 그리드 밀도 등) 를 수동으로 조정할 필요성을 제거합니다. 이 파이프라인은 대규모 이미지에 대한 "플러그 앤 플레이" 방식입니다.
• OBIA 를 위한 초픽셀 생성: 출력은 객체 기반 이미지 분석 (OBIA) 을 위한 이상적인 과분할 입력으로 작용합니다. 높은 BIoU 는 세그먼트가 클래스 경계를 넘어 누출되지 않도록 보장하여 하류 분류에 적합하게 만듭니다.
• 제로샷 능력: 이 방법은 분할 파이프라인이 스케일과 커버리지 문제를 처리한다면, 기초 모델이 재학습 없이 다양한 RS 모달리티 (가색 및 다양한 해상도 포함) 에 적용될 수 있음을 입증합니다.
• 향후 작업: 저자들은 파이프라인이 커버리지와 일관성을 해결하지만, 향후 개선은 비정형 토지 피복과 매우 고해상도의 작은 객체를 더 잘 처리하기 위한 계층적 다중 스케일 처리에 초점을 맞출 수 있다고 제안합니다.

결론적으로, Remote SAMsing은 SAM2 를 패치 기반 연구 도구에서 대규모 원격 탐사 분산을 위한 생산 준비형 엔진으로 변환하며, 교묘하고 파라미터가 없는 파이프라인 설계를 통해 커버리지, 품질, 공간적 일관성의 고유한 트레이드오프를 해결합니다.