기술 요약: ESAM++: 엣지 환경에서의 효율적인 온라인 3D 지각

문제 정의

실시간 온라인 3D 장면 지각은 로봇공학, AR/VR, 자율 시스템에 필수적이며, 특히 컴퓨팅 자원이 제한적이고 데이터 프라이버시가 최우선인 엣지 컴퓨팅 환경에서 중요합니다. EmbodiedSAM (ESAM) 과 같은 최신 최첨단 방법들은 세그먼트 Anything 모델 (SAM) 을 활용하여 세밀한 인스턴스 분할을 가능하게 함으로써 온라인 3D 지각의 잠재력을 입증했으나, 배포 장벽에 직면해 있습니다.

ESAM 에서 확인된 주요 병목 현상은 포인트 클라우드 특징 추출을 위한 3D 희소 UNet에 대한 의존성입니다. 이 구성 요소는 3D 추론 시간과 모델 크기의 대부분을 차지하여 GPU 가속이 없는 자원 제약형 엣지 장치에서는 실용적이지 않습니다. 3D 희소 UNet 은 다음과 같은 특정 비효율성을 겪습니다:

1. 높은 계산 비용: 고해상도 데이터를 처리하는 최후의 레이어에서만 최종 출력을 생성하므로, 입력 해상도나 출력 채널이 클 경우 상당한 비용이 발생합니다.
2. 모델 크기: 인코더가 다운샘플링됨에 따라 채널 수가 증가하여 저해상도 레이어에서 파라미터 수가 매우 많아집니다.
3. 미활용된 특징: 디코더는 계층적 특징을 점진적으로 업샘플링하지만, 예측은 최상위 해상도에서만 수행되므로 중간 다중 스케일 특징이 제대로 활용되지 않습니다.

방법론: ESAM++

저자들은 계산 비용이 많이 드는 3D 희소 UNet 을 3D 희소 특징 피라미드 네트워크 (SFPN) 로 대체하도록 설계된 경량화되고 확장 가능한 프레임워크인 **ESAM++**를 제안합니다. 이 시스템은 ESAM 의 핵심 온라인 처리 파이프라인을 유지하면서 엣지 배포를 위해 백본을 최적화합니다.

핵심 아키텍처: 3D 희소 특징 피라미드 네트워크 (SFPN)

SFPN 은 희소 3D 포인트 클라우드에서 효율적인 다중 스케일 특징 추출을 위해 특별히 설계된 경량화 인코더 - 디코더 아키텍처입니다.

• 인코더: 희소 3D 컨볼루션과 잔차 블록을 통해 입력을 점진적으로 다운샘플링하여 네 가지 공간 해상도에 걸친 계층적 특징을 포착합니다. 특징 채널은 $C_1$에서 $C_4$로 증가합니다.
• 디코더: 희소 전치 컨볼루션 (ConvTr) 과 잔차 블록을 사용하여 인코더를 반영하며, 특징을 점진적으로 업샘플링하고 채널은 $C_4$에서 $C_8$로 감소합니다.
• 다중 스케일 집계: 최상위 레이어에서만 예측하는 표준 UNet 과 달리, SFPN 은 디코더의 다중 스케일 출력을 활용합니다. 모든 디코더 단계의 특징을 원래 해상도로 업샘플링하여 통합된 고해상도 특징 맵으로 연결한 후, 멀티 레이어 퍼셉트론 (MLP) 을 통해 처리하여 최종 포인트별 특징을 생성합니다.
• 최적화: 이 아키텍처는 계산 비용을 줄이기 위해 고해상도 레이어의 출력 채널 수를 제한하고, 모델 크기를 줄이기 위해 과도한 채널 수를 가진 중간 레이어를 제거합니다.

인스턴스 분할과의 통합

ESAM++ 는 3D 인스턴스 분할을 위한 ESAM 의 메커니즘을 유지합니다:

1. 쿼리 리프팅 (Query Lifting): 비전 기반 모델 (VFM, 실험에서는 FastSAM) 이 생성한 2D 마스크는 SFPN 출력에서 특징을 풀링하여 3D 슈퍼포인트로 리프팅됩니다.
2. 정제: 이러한 슈퍼포인트는 3D 인스턴스 쿼리를 초기화하며, 트랜스포머 기반 디코더 레이어를 통해 정제되어 인스턴스 마스크를 예측합니다.
3. 병합: 현재 프레임 마스크는 쌍별 유사도 계산 (행렬 곱셈) 을 사용하여 이전에 누적된 마스크와 병합되어 시간적 일관성을 유지합니다.

주요 기여

1. 병목 분석: 이 논문은 3D 희소 UNet 을 온라인 3D 지각의 주요 효율성 병목으로 식별하는 상세한 계산 분석을 제공하며, 특히 해상도, 채널 수, 지연 시간 간의 트레이드오프를 강조합니다.
2. 새로운 아키텍처 (SFPN): 엣지 장치에 맞게 특별히 설계된 3D 희소 특징 피라미드 네트워크를 도입하여 효율적인 다중 스케일 표현 및 예측을 가능하게 합니다.
3. 성능 향상: UNet 을 SFPN 으로 교체함으로써 모델 크기가 2 배 축소되고 CPU 에서 최대 3 배 빠른 추론 속도를 달성하면서도 경쟁력 있는 정확도를 유지함을 입증했습니다.
4. 견고성과 일반화: 저데이터 환경에서 모델이 잘 작동하며 카메라 포즈 노이즈 (최대 5%) 에 대해 견고함을 보여주어, RGB 만을 사용하는 온라인 재구성 모델과의 통합 가능성을 시사합니다.

실험 결과

저자들은 ESAM++ 를 네 가지 까다로운 벤치마크인 ScanNet, ScanNet200, SceneNN, 3RScan에서 평가했습니다.

• 클래스 무관 분할 (ScanNet200):
  • Ours-Large는 43.7의 AP 를 달성하여 이전 온라인 최첨단 (43.4 인 ESAM-E) 및 오프라인 방법을 능가했습니다.
  • 추론 속도: Intel Xeon Silver 4314 CPU 에서 Ours-Large 모델은 326ms로 프레임을 처리했으며, ESAM 의 934ms에 비해 약 3 배의 속도 향상을 보였습니다.
  • 모델 크기: Ours-Large 모델은 41.2M개의 파라미터를 가지며, ESAM 의 44.6M보다 작습니다. Ours-Small 변형은 14.1M개의 파라미터로 211ms의 지연 시간을 가집니다.
• 클래스 인지 분할 (ScanNet 및 SceneNN):
  • ESAM++ 는 온라인 방법 중 최첨단 성능을 달성했으며, Ours-Large 는 ScanNet 에서 43.7 AP, SceneNN 에서 34.1 AP를 기록했습니다.
• 크로스 데이터셋 일반화:
  • 이 모델은 SceneNN 및 3RScan 으로의 강력한 전이 능력을 보여주었으며, 3RScan 의 노이즈가 많고 빠른 운동 데이터를 처리하는 데 어려움을 겪는 제로샷 방법 및 오프라인 접근법보다 우수한 성능을 발휘했습니다.
• 엣지 장치 평가:
  • **iPhone 15 (A16 Bionic)**에서 테스트한 결과, 소형 모델은 프레임당 190ms의 지연 시간과 4.5W의 전력 소비를 달성하여 모바일 배포의 실현 가능성을 입증했습니다.
• 애블레이션 연구:
  • 업샘플링 퓨전, 피라미드 구조, 또는 스킵 연결을 제거하면 정확도가 크게 떨어졌습니다 (예: 피라미드 제거 시 AP 가 43.7 에서 33.8 로 하락), 이는 다중 스케일 설계의 필요성을 확인시켜 주었습니다.
• 노이즈에 대한 견고성:
  • 이 방법은 최대 5% 의 카메라 포즈 노이즈에서도 견고하게 유지되었습니다 (AP 가 43.7 에서 42.4 로 약간만 하락), 하지만 20% 노이즈에서는 성능이 크게 저하되었습니다.

중요성 및 주장

이 논문은 ESAM++ 가 GPU 가속 없이 엣지 장치에 온라인 3D 장면 지각을 배포하기 위한 실용적인 해결책임을 주장합니다. 3D 희소 UNet 의 계산 비효율성을 해결함으로써, 저자들은 속도, 모델 크기, 정확도 간의 균형을 맞춘 실시간 세밀한 3D 인스턴스 분할을 가능하게 합니다.

저자들은 현재 작업이 포인트 클라우드 백본 최적화에 초점을 맞추고 있지만, 이 프레임워크는 기존 비전 기반 모델과 호환됨을 강조합니다. 그들은 카메라 노이즈에 대한 입증된 견고성이 향후 연구의 유망한 방향임을 겸손하게 제안하며, RGB 입력만을 사용하여 완전한 온라인 3D 지각을 가능하게 하기 위해 ESAM++ 를 CUT3R 과 같은 RGB 만을 사용하는 온라인 재구성 모델과 통합하는 것이 자원 제약 시나리오에서의 적용 범위를 더욱 확장할 수 있음을 시사합니다.