CAD-Prompted SAM3: Geometry-Conditioned Instance Segmentation for Industrial Objects

1. 문제 정의 (Problem Statement)

• 배경: 로봇 조작 및 제조 환경 (3D 프린팅, 소량 생산 등) 에서는 새로운 부품에 대한 신뢰할 수 있는 객체 인식과 분리가 필수적입니다.
• 기존 방법의 한계:
  • 자연어 프롬프트 (Text Prompt): 산업용 부품은 종종 명확한 이름이 없거나, 미세한 기하학적 차이로 구분되기 때문에 언어 모델이 이를 정확히 설명하거나 식별하기 어렵습니다.
  • 이미지 예시 프롬프트 (Image Exemplar Prompt): 기존 SAM(Segment Anything Model) 기반 방법들은 색상, 질감 등 외관 (Appearance) 에 의존합니다. 그러나 동일한 부품이라도 재질, 마감 처리, 색상이 달라질 수 있어 (제조 변이), 외관 기반 프롬팅은 신뢰성이 떨어집니다.
• 핵심 문제: 외관 (색상, 질감) 이 아닌 **정확한 기하학적 형태 (CAD 모델)**로 정의되는 산업용 부품을, 언어나 외관 예시 없이도 강건하게 인스턴스 분할 (Instance Segmentation) 하는 방법의 부재.

2. 제안 방법론 (Methodology)

저자들은 SAM3(Segment Anything Model 3) 아키텍처를 기반으로 하여, CAD 모델의 다중 뷰 렌더링을 프롬프트로 사용하는 CAD-Prompted SAM3를 제안합니다.

A. 아키텍처 및 프롬프트 구성

• CAD 기반 프롬프트: 대상 객체의 3D 메쉬 (CAD 모델) 를 미리 정의된 정형화된 시점 (Canonical Multi-view) 에서 렌더링하여 RGB 이미지와 마스크를 생성합니다.
• 메쉬 - 프롬프트 변환 파이프라인:
  1. 다중 뷰 렌더링: CAD 메쉬를 다양한 각도에서 렌더링하여 기하학적 정보를 포착합니다.
  2. 시퀀스 기하학 인코더 (Sequence Geometry Encoder): 각 렌더링된 뷰를 SAM3 의 이미지 인코더로 처리하고, 마스크 내의 점 프롬프트 (Point Prompts) 와 함께 GeometryEncoder를 통과시켜 '기하학적 인식 임베딩 (Geometry-aware Embeddings)'을 생성합니다.
  3. 교차 이미지 프롬프트 퓨전 (Cross-Image Prompt Fusion): 생성된 기하학적 임베딩을 SAM3 의 Fusion Transformer에 주입합니다. 이는 쿼리 이미지 (실제 촬영 이미지) 의 특징과 교차 주의 (Cross-attention) 메커니즘을 통해 정렬되며, 외관과 무관하게 기하학적 구조에 기반한 분할을 가능하게 합니다.
• 단일 스테이지 분할: 융합된 특징을 SAM3 의 검출 헤드 (Detection Head) 와 마스크 디코더를 통해 한 번의 순전파 (Forward Pass) 로 인스턴스 마스크를 예측합니다.

B. 학습 전략 (Synthetic Training)

• 합성 데이터 생성: ABC Dataset 의 9,000 개 CAD 모델을 기반으로 Isaac Sim 을 사용하여 합성 데이터를 생성합니다.
• 외관 무작위화 (Appearance Randomization): PBR 재질, 조명, 카메라 파라미터 등을 무작위화하여 모델이 색상이나 질감에 의존하지 않고 기하학적 구조에만 집중하도록 유도합니다.
• 2 단계 최적화 (Two-Stage Optimization):
  1. Stage 1 (Score-Weighted Mask Supervision): 모든 예측 마스크를 스코어 가중 손실로 학습하여 초기 안정성을 확보합니다.
  2. Stage 2 (One-to-Many Matching): 다중 객체 인식을 위해 IoU 기반의 그리디 매칭을 사용하여, 하나의 정답 객체에 대해 최대 5 개의 예측을 매칭하도록 학습합니다. 이는 객체 누락을 방지하고 NMS(Non-Maximum Suppression) 를 통해 중복을 제거합니다.

3. 주요 기여 (Key Contributions)

1. CAD 프롬프트 기반 분할 프레임워크: 자연어나 이미지 예시가 아닌, 정형화된 다중 뷰 CAD 렌더링을 기하학적 인식 프롬프트 모달리티로 처음 도입했습니다.
2. 기하학과 외관 분리 학습 파이프라인: 합성 메쉬 렌더링을 활용하여 기하학적 구조와 외관 변이 (색상, 재질) 를 분리하여 학습하는 방법을 제시했습니다.
3. 강건한 단일 스테이지 분할: 언어나 외관으로 설명하기 어려운 산업용 부품에 대해, 다양한 재질과 표면 속성 변화에도 불구하고 강건한 밀도 마스크 예측을 가능하게 했습니다.

4. 실험 결과 (Experimental Results)

저자들은 자체 구축한 3D 프린팅 데이터셋과 표준 산업 벤치마크 (T-LESS, ITODD) 에서 성능을 평가했습니다.

• 3D 프린팅 데이터셋 (새로운 기하학):
  • 제안 방법 (CAD-Prompted SAM3) 은 PQ 0.7385, F1 0.7636을 기록하여 가장 높은 성능을 보였습니다.
  • 기존 방법들 (Matcher, PerSAM, SAM3 이미지 예시 프롬프트) 보다 월등히 우수했으며, 특히 외관이 다른 동일한 부품에 대한 식별력이 뛰어났습니다.
• T-LESS 및 ITODD 벤치마크:
  • T-LESS (무질감 강체 부품): PQ 0.2799, F1 0.3329 로 모든 베이스라인을 상회했습니다.
  • ITODD (무질감 금속 부품): PQ 0.4921, F1 0.6090 으로 기존 방법 대비 큰 개선을 보였습니다.
• 결론: 외관 기반 방법들이 실패하는 환경 (색상/질감 변화, 무질감 객체) 에서 CAD 기반 기하학적 프롬프팅이 분할 정확도와 강건성을 크게 향상시킵니다.

5. 의의 및 결론 (Significance)

• 제조 현장과의 정합성: 산업용 부품은 텍스트 라벨이나 시각적 예시보다 정밀한 CAD 모델로 정의되는 경우가 많습니다. 이 연구는 지각 (Perception) 시스템을 이러한 제조 현실에 맞게 재설계했습니다.
• 소량 생산 및 프로토타이핑 지원: 새로운 부품이 자주 등장하고 소량 생산되는 환경에서, 매번 대량의 데이터를 수집하거나 새로운 예시 이미지를 준비할 필요 없이 CAD 파일 하나만으로 즉각적인 객체 분할이 가능해집니다.
• 미래 전망: 현재는 CAD 렌더링 이미지를 프롬프트로 사용하지만, 향후 메쉬나 포인트 클라우드를 직접 프롬프트 공간에 인코딩하는 **직접적인 기하학적 조건부 학습 (Direct Geometric Conditioning)**으로 확장할 수 있는 가능성을 제시했습니다.

이 논문은 기하학적 정보를 프롬프트의 핵심 요소로 활용함으로써, 기존 foundation segmentation 모델의 한계를 극복하고 산업용 로봇 비전의 신뢰성을 획기적으로 높인 중요한 연구로 평가됩니다.