PASTA: Vision Transformer Patch Aggregation for Weakly Supervised Target and Anomaly Segmentation

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 산업 (폐기물 재활용 등) 및 농업 (잡초 제거 등) 분야에서 로봇이 비정형 환경 (unstructured environments) 에서 작동할 때, 보이지 않는 이상치 (anomalies) 를 탐지하고 목표 객체를 분할하는 것이 중요합니다.
• 문제점:
  • 기존 지도 학습 모델 (YOOLO, Mask R-CNN 등) 은 방대한 양의 픽셀 단위 레이블이 필요하여 데이터 수집 및 주석 비용이 매우 높습니다.
  • 산업 환경에서는 사전에 정의되지 않은 새로운 객체 (예: 알려지지 않은 금속 합금, 희귀 식물) 가 등장할 수 있어, 제로샷 (zero-shot) 일반화가 필수적입니다.
  • 기존 비지도 이상 탐지 방법 (PatchCore 등) 은 훈련 데이터에 이상치가 전혀 포함되어 있지 않다는 가정을 전제로 하는데, 실제 혼합된 데이터 (Baseline) 와 정제된 데이터 (Reference) 를 비교해야 하는 상황에서는 이 가정이 무너집니다.
• 목표: 픽셀 단위 또는 명시적인 이미지 레벨 레이블 없이, 약한 지도 학습 (Weakly Supervised) 방식으로 목표 객체 (Target) 와 이상치 (Anomaly) 를 동시에 분할하고 분류하는 파이프라인을 개발하는 것.

2. 제안 방법론: PASTA (Methodology)

PASTA (Patch Aggregation for Segmentation of Targets and Anomalies) 는 자기 지도 학습 Vision Transformer (ViT) 의 특징 공간과 분포 분석을 기반으로 합니다.

핵심 단계:

1. 데이터 구성:
   • Baseline Dataset ($D_{T \cup A}$): 목표 객체 (Target) 와 이상치 (Anomaly) 가 섞여 있는 혼합 데이터.
   • Reference Dataset ($D_T$): 이상치가 제거된 순수한 목표 객체 데이터 (예: 잡초가 제거된 농장, 구리가 제거된 컨베이어 벨트).
2. Phase 1: Baseline Model Creation (약한 지도 특징 학습)
   • 사전 훈련된 ViT (DINOv3, CLIP 등) 를 사용하여 $D_{T \cup A}$ 의 이미지 패치 (patch) 에서 특징 벡터를 추출합니다.
   • Mini-Batch K-Means 클러스터링을 통해 연속적인 특징 공간을 이산적인 의미적 클러스터로 양자화합니다.
   • 각 클러스터의 빈도 분포 ($P_{T \cup A}$) 를 계산하여 기준 모델을 생성합니다.
3. Phase 2: Anomaly Class Definition (분포 분석)
   • 기준 모델을 $D_T$ (Reference) 에 적용하여 목표 객체만의 분포 ($P_T$) 를 추정합니다.
   • 이상치 식별 원리: $D_{T \cup A}$ 에는 존재하지만 $D_T$ 에는 거의 존재하지 않는 (또는 빈도가 급격히 감소한) 클러스터를 이상치로 판별합니다.
   • 비율 $R_i = P_T(k_i) / P_{T \cup A}(k_i)$ 를 계산하여, $R_i \approx 0$ 인 클러스터를 이상치 클러스터로 정의합니다.
4. Phase 3: SAM 3 기반 객체 분류 (마스크 - 특징 융합)
   • 패치 수준의 분류만으로는 정밀한 분할이 어렵기 때문에, Segment Anything Model 3 (SAM 3) 을 활용합니다.
   • 도메인 특화 텍스트 프롬프트 (예: "식물", "컨베이어 벨트 위의 물체") 를 SAM 3 에 입력하여 객체별 마스크를 생성합니다.
   • 생성된 마스크 내부의 패치 클러스터 분포를 분석하여, 이상치 클러스터의 비율이 임계값을 초과하면 해당 객체를 '이상치'로, 그렇지 않으면 '목표 객체'로 분류합니다.

3. 주요 기여 (Key Contributions)

1. 도메인 중립적 (Domain-Agnostic) 접근: 농업 (녹색 지수 등) 이나 산업 (금속 색상 등) 에 의존하는 수동 휴리스틱을 제거하고, SAM 3 의 오픈 보카불러리 (open-vocabulary) 텍스트 프롬프트를 사용하여 다양한 환경에 적용 가능한 범용 파이프라인을 제시했습니다.
2. 완전한 레이블 프리 이상 탐지: 명시적인 이상치 레이블 없이, 혼합 데이터와 정제된 참조 데이터 간의 클러스터 분포 차이를 분석하여 이상치를 자동으로 식별합니다.
3. 효율성과 성능의 균형:
   • 기존 방법 대비 학습 시간 75.8% 단축.
   • 패치 수준의 분할을 객체 수준으로 정제하여 로봇 작업에 필요한 정밀한 분할 마스크를 제공합니다.

4. 실험 결과 (Results)

두 가지 데이터셋 (농업용 PhenoBench, 산업용 SteelDS) 에서 평가되었습니다.

• 성능 (IoU):
  • 목표 객체 (Target): SteelDS Extended 에서 88.3%, PhenoBench 에서 50% 대의 IoU 달성 (도메인 특화 베이스라인과 비교하여 경쟁력 있는 성능).
  • 이상치 (Anomaly): SteelDS Extended 에서 63.5%, PhenoBench 에서 18.1% IoU 달성. 특히 PhenoBench 에서 기존 베이스라인 (WaW) 보다 이상치 탐지 성능이 크게 향상되었습니다.
• 효율성:
  • SAM 3 를 통해 추출된 특징 패치 수가 기존 방법 대비 75.8% 감소하여, 전체 처리 시간을 약 2.8 시간에서 0.7 시간으로 단축했습니다.
  • 추론 시간도 패치 기반 방식보다 느리지만, 분할 정밀도가 크게 향상되어 로봇 작업에 적합합니다.
• 모델 비교:
  • DINOv3 기반 모델이 CLIP 나 BioCLIP 보다 밀집된 특징 표현 (dense feature representation) 을 제공하여 이상치 탐지 성능이 우수했습니다.
  • 산업 환경 (SteelDS) 에서는 CLIP 기반 모델도 좋은 성능을 보였으나, 농업 환경 (PhenoBench) 에서는 DINOv3 가 더 우세했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 레이블이 부족한 산업 및 농업 현장에서, 새로운 객체나 이상치를 실시간으로 탐지하고 분할할 수 있는 강력한 도구를 제공합니다. 이는 폐기물 분류 로봇이나 정밀 농업 로봇의 자동화 수준을 높이는 데 기여합니다.
• 기술적 혁신: 기존 비지도 학습의 한계 (순수 정상 데이터 필요) 를 극복하고, 약한 지도 (혼합 데이터 vs 정제 데이터 비교) 를 통해 분포 기반의 이상 탐지를 성공적으로 구현했습니다.
• 향후 과제: 추론 시간 단축을 위해 픽셀 단위 클러스터링을 도입하거나, SAM 3 단계를 더 효율적으로 대체하는 연구가 필요하다고 제안합니다.

요약하자면, PASTA 는 레이블 없이도 ViT 의 특징 공간 분포 차이와 SAM 3 의 분할 능력을 결합하여, 다양한 산업 및 농업 환경에서 목표 객체와 이상치를 정확하고 빠르게 분할하는 새로운 약한 지도 학습 프레임워크입니다.