기술 요약: NeMO 찾기

문제 정의

본 논문은 훈련 중 접하지 않은 객체에 대한 소수 샷 객체 인식의 과제를 다룹니다. 모델 기반 접근 방식 (3D CAD 모델 활용) 은 검출, 분할, 6DoF 포즈 추정에서 강력한 성능을 보였으나, 3D 모델이 존재하지 않는 많은 실제 시나리오에서는 비현실적입니다. 반면, 기존 모델 프리 (model-free) 방법들은 템플릿 뷰의 수에 따른 확장성이 낮거나, 결합 추론 없이 쌍별 국소 비교에 의존하거나, 새로운 객체를 수용하기 위해 광범위한 재훈련과 전처리가 필요하다는 한계를 겪습니다. 저자들은 카메라 보정 파라미터, 3D 모델, 또는 핵심 네트워크 가중치의 재훈련 없이 무순서 RGB 이미지 집합만으로 새로운 객체에 빠르게 적응할 수 있는 시스템을 개발하는 것을 목표로 합니다.

방법론: 신경 메모리 객체 (NeMO)

제안된 솔루션은 Neural Memory Object (NeMO) 라는 새로운 객체 중심 표현을 중심으로 한 인코더 - 디코더 아키텍처입니다.

1. NeMO 인코더

인코더는 대상 객체를 묘사하는 $K$ 개의 무순서 RGB 템플릿 이미지 ($I = \{I_i\}$) 집합을 처리합니다.

• 특징 추출: 비전 트랜스포머 (ViT) 가 모든 템플릿 이미지에서 패치별 특징을 추출합니다.
• 다중 뷰 인코딩: 교차 및 자기 어텐션 메커니즘을 활용하는 다중 뷰 인코더가 이러한 특징을 업데이트합니다. 하나의 이미지는 초기 객체 방향을 정의하는 "앵커" ($I_A$) 로 지정되고, 나머지 이미지들은 다중 뷰 정보를 집계하기 위해 앵커와 상호작용합니다.
• 기하학적 매핑: 3D 기하학을 통합하기 위해 시스템은 정규화된 볼륨 내에서 3D 점 집합 ($Q$) 을 샘플링합니다. 멀티 레이어 퍼셉트론 (MLP) 이 이러한 점들을 특징 벡터로 인코딩합니다. 이러한 점 특징은 기하학적 매핑 블록 (트랜스포머 디코더 사용) 을 통해 업데이트된 이미지 특징과 융합되어, 3D 점들이 객체 특유의 2D 시각적 단서에 주의를 기울일 수 있도록 합니다.
• 표면 재구성 및 표현: 네트워크는 추정된 3D 점들에서 추정된 객체 표면까지의 거리를 예측하기 위해 부호 없는 거리장 (Unsigned Distance Field, UDF) 을 학습합니다. 최종 NeMO 표현 ($\chi$) 은 각 점이 추정된 3D 표면 좌표 ($s_i$) 와 해당 특징 벡터 ($\hat{f}^Q_i$) 로 구성된 희소하고 연속적인 점 구름입니다.
• 주요 특성: 객체 특유의 정보는 디코더의 매개변수와 분리됩니다. NeMO 는 네트워크 가중치와 독립적으로 변환 (회전, 이동, 크기 조절) 될 수 있는 "메모리" 역할을 합니다.

2. NeMO 디코더

디코더는 쿼리 이미지 ($I_q$) 와 사전 계산된 NeMO 표현 ($\chi$) 을 입력받아 밀집 예측을 생성합니다.

• 특징 융합: ViT 를 통해 추출된 쿼리 이미지 특징은 교차 및 자기 어텐션을 사용하여 NeMO 특징에 주의를 기울임으로써 업데이트됩니다.
• 밀집 예측 헤드: 여러 출력 헤드를 가진 DPT(Dense Prediction Transformer) 백본을 사용하여 디코더는 다음을 생성합니다:
  • 모달 및 아모달 분할 마스크: 객체의 가시 부분과 가려진 부분을 모두 예측합니다.
  • 2D-3D 대응 (Pointmap): 쿼리 이미지의 2D 픽셀을 NeMO 의 좌표계에서 정의된 3D 표면 점에 연결하는 밀집 맵입니다.
  • 신뢰도 맵: 2D-3D 매핑에 대한 관련 신뢰도 점수입니다.
• 포즈 추정: 6DoF 포즈는 Pointmap 을 신뢰도에 따라 필터링하고 Perspective-n-Point (PnP) 알고리즘을 사용한 RANSAC 을 적용하여 추정합니다.

3. 훈련 전략

인코더와 디코더는 BlenderProc 를 사용하여 생성된 대규모 합성 데이터셋에서 엔드 - 투 - 엔드 방식으로 공동 훈련됩니다.

• 손실 함수: 훈련은 예측된 표면 점과 실제 표면 점 간의 유클리드 거리, 분할 손실 (Dice 및 BCE), 그리고 2D-3D 대응을 위한 신뢰도 가중 L1 손실을 최소화합니다.
• 데이터 증강: 훈련 중 NeMO 점 구름은 디코더에 전달되기 전에 무작위로 회전, 이동, 크기 조절됩니다. 이는 디코더가 앵커 이미지와 무관한 좌표계를 학습하도록 강제하여 NeMO 의 방향에 대한 견고성을 보장합니다.
• 오프라인/온라인 분리: 템플릿 뷰의 계산 집약적인 인코딩은 오프라인으로 수행됩니다. 추론 시간은 쿼리 이미지와 사전 계산된 NeMO 에만 의존하므로 입력 템플릿의 수와 무관합니다.

주요 기여

1. NeMO 표현: 카메라 파라미터나 3D 모델 없이 의미론적 및 기하학적 특징을 모두 포괄하는 템플릿 뷰의 기하학 민감성, 컴팩트하며 연속적인 점 구름 표현.
2. 통합 아키텍처: 모델 프리 (RGB 템플릿만 사용) 및 모델 기반 (CAD 모델 사용 가능) 설정 모두에서 검출, 분할, 6DoF 포즈 추정을 수행할 수 있는 단일 인코더 - 디코더 네트워크.
3. 확장성 및 효율성: 이 방법은 객체 정보를 네트워크 가중치와 분리하여 재훈련 없이 빠른 객체 수용을 가능하게 합니다. NeMO 를 생성하는 데 사용된 템플릿 이미지의 수와 관계없이 추론 런타임 및 메모리 소비는 일정하게 유지됩니다.
4. 새로운 데이터셋: 저자들은 이 분야의 연구를 지원하기 위해 현실적인 혼잡한 장면을 모방한 다양하고 객체 중심의 합성 데이터셋을 기여했습니다.

실험 결과

이 방법은 모델 프리 및 모델 기반 설정을 위해 다양한 데이터셋 (HOPEv2, HANDAL, T-LESS, TUD-L, YCB-V) 에서 BOP 벤치마크에 대해 평가되었습니다.

• 모델 프리 검출: 이 방법은 HOPEv2 및 HANDAL 데이터셋에서 최고 수준 (SOTA) 결과를 달성하여, 평균 정밀도 (AP) 기준으로 이전 최고 방법보다 각각 2.7 및 1.9 퍼센트 포인트를 상회했습니다. 특히, 단일 네트워크를 사용하여 모델 프리 설정에서 아모달 분할을 예측한 최초의 방법입니다.
• 모델 프리 포즈 추정: NeMO 검출을 사용할 때 HANDAL 데이터셋에서 SOTA 결과를 달성했으며, 대체 검출을 사용할 때는 다른 방법들과 동등한 성능을 보였습니다.
• 모델 기반 인식: 훈련 시에는 없으나 추론 시 CAD 모델이 존재하는 모델 기반 설정에서 이 방법은 경쟁력 있는 성능을 보였으며, YCB-V 에서 6 위, TUD-L 에서 검출 분야에서 SOTA 를 달성했습니다. TUD-L 및 YCB-V 에서 정제 없이 포즈 추정에 대해 높은 재현율을 보였으나, T-LESS 의 대칭적이고 질감이 없는 객체에서는 어려움을 겪었습니다.
• 어블레이션 연구: 실험 결과, 성능은 템플릿 이미지 수 (약 32 뷰에서 포화) 와 NeMO 점 수 (약 500 점에서 포화) 에 따라 증가하는 것으로 나타났습니다. 시스템은 NeMO 입력을 회전시키면 예측된 Pointmap 에서 해당 회전이 발생하는 회전 등변성 (rotation-equivariance) 을 입증했습니다.

중요성 및 주장

본 논문은 NeMO 가 모델 프리 소수 샷 인식을 위한 다재다능한 솔루션을 제공하며, 모델 프리 방법의 유연성과 모델 기반 접근법의 기하학적 정밀도 사이의 간극을 효과적으로 좁힌다고 주장합니다. 객체 정보를 NeMO 로 아웃소싱함으로써 시스템은 다음을 가능하게 합니다:

• 빠른 수용: 네트워크 재훈련 없이 새로운 객체를 통합할 수 있습니다.
• 다단계 파이프라인: 혼잡한 장면에서 객체를 검출하고 분할할 수 있어 후속 처리를 위한 관심 영역을 잘라낼 수 있습니다.
• 확장성: 인코딩과 디코딩의 분리는 더 많은 템플릿 뷰를 추가하더라도 추론 지연 시간이 증가하지 않도록 보장합니다.

저자들은 T-LESS 데이터셋에서 볼 수 있듯이 대칭적이고 질감이 매우 없는 객체에 관한 한계를 인정하며, 이는 표현 자체보다는 현재 훈련 절차와 데이터셋 편향에 기인한다고 설명합니다. 그들은 이 작업이 소수 샷 인식을 발전시키기 위해 객체 지식을 모델 가중치와 분리하는 것에 대한 논의를 촉진한다고 결론지었습니다.