1. 문제 정의 (Problem)

• 배경: 컨텍스트 AI(Contextual AI) 와 embodied AI(로봇, AR 등) 는 물리적 공간에서 객체를 인식하고 상호작용하기 위해 정밀한 3 차원 경계 상자 (3D Bounding Box, 3DBB) 추정이 필수적입니다.
• 현재의 한계:
  • 데이터 부족: 2D 객체 감지는 웹 규모의 데이터로 학습되어 다양한 '오픈 월드 (Open-World)' 객체를 인식하지만, 3D 감지는 라이다 (LiDAR) 나 깊이 센서 등 특수 장비가 필요하고 주석이 비용이 많이 들어 데이터가 2D 에 비해 극히 부족합니다.
  • 폐쇄적 범주 (Closed-Set): 기존 3D 감지 모델들은 미리 정의된 제한된 클래스 (예: 의자, 책상) 에만 작동하며, 새로운 객체 (Open-World) 를 인식하는 데 취약합니다.
  • 입력 모달리티의 비일관성: 기존 방법들은 밀집된 깊이 지도 (Dense Depth) 나 희소 포인트 클라우드 (Sparse Point Cloud) 등 특정 센서 입력에 종속되어 있어, 다양한 카메라 모델이나 센서 환경으로의 전이가 어렵습니다.
• 목표: 기존 2D 오픈-보카불러리 (Open-Vocabulary) 감지기의 강력한 시맨틱 능력을 활용하면서, 깊이 정보 (깊이 센서 또는 SLAM/ SfM 에서의 희소 포인트) 를 활용하여 **어떤 객체든 3D 공간에 정밀하게 매핑 (Lifting)**할 수 있는 범용 알고리즘 개발.

2. 방법론 (Methodology)

제안된 Boxer는 2D 감지와 3D 기하학적 추정을 분리하는 2 단계 파이프라인을 따릅니다.

A. 전체 파이프라인 (Fig. 2)

1. 2D 감지 (2D Detection):
   • 오프더셸 (Off-the-shelf) 오픈-보카불러리 2D 감지기 (예: DETIC, OWLv2, SAM3) 를 사용하여 이미지 내 텍스트 프롬프트에 해당하는 2D 경계 상자 (2DBB) 를 추출합니다.
   • 이 단계에서 모델은 객체 감지 자체보다는 2D 위치 파악에 집중합니다.
2. 3D 리프팅 (3D Lifting - BoxerNet):
   • 추출된 2D 박스와 이미지, 카메라 보정 파라미터, 그리고 선택적 깊이 정보 (밀집 깊이 또는 희소 포인트 클라우드) 를 입력받아 3D 경계 상자로 변환합니다.
3. 멀티뷰 퓨전 (Multi-View Temporal Fusion):
   • 프레임 단위의 3D 예측을 시간과 뷰 (View) 를跨跨하여 통합합니다.
   • 기하학적 일관성 (3D IoU) 과 시맨틱 일관성 (텍스트 임베딩 유사도) 을 기반으로 중복을 제거하고 전역적인 3D 맵을 생성합니다.

B. BoxerNet 아키텍처 (Fig. 3)

• 인코더 (Encoder):
  • 시각 특징: 사전 학습된 DINOv3 백본을 사용하여 이미지 특징 추출.
  • 깊이 인코딩: CuTR 의 고정밀 ViT 방식 대신, **패치 단위 중앙값 깊이 (Median Depth Patch Encoding)**를 사용합니다. 이는 희소 포인트 클라우드와 밀집 깊이 지도 모두를 유연하게 처리할 수 있게 합니다.
  • 레이 특징 (Ray Features): 카메라 보정 및 포즈 정보를 3D 레이 (Ray) 로 인코딩하여 기하학적 맥락을 제공합니다.
  • 이 세 가지 특징 (이미지, 깊이, 레이) 을 결합하여 셀프 어텐션 (Self-Attention) 레이어를 통과시킵니다.
• 디코더 (Decoder):
  • 2D 박스 토큰이 크로스 어텐션 (Cross-Attention) 을 통해 인코더 토큰과 상호작용하여 3D 특징을 학습합니다.
  • 출력:
    1. 7-DoF 3D 박스: 위치 $(x, y, z)$, 크기 $(w, h, d)$, 중력 축 회전 각도 $\theta$.
    2. 알레토릭 불확실성 (Aleatoric Uncertainty): 관측 노이즈와 모호성을 정량화하는 신뢰도 점수.
• 손실 함수 (Loss Function):
  • Chamfer Distance(기하학적 정렬) 와 예측된 불확실성 ($\hat{\sigma}$) 을 결합한 손실 함수를 사용합니다: $L = L_{chamfer} \cdot \exp(-\hat{\sigma}) + \hat{\sigma}$. 이는 모델이 불확실한 영역에서 더 강건하게 학습하도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. Boxer 알고리즘 제안: 포즈가 주어진 비디오 시퀀스와 선택적 깊이 정보를 입력받아, 전역적이고 중복 제거된 (De-duplicated) 오픈-월드 3D 경계 상자를 생성하는 완전한 알고리즘.
2. BoxerNet 모델: CuTR 아키텍처를 개선하여, 알레토릭 불확실성 헤드와 중앙값 깊이 패치 인코딩을 도입했습니다. 이를 통해 4 가지 다른 디바이스 (Project Aria, Quest, iPad, Kinect 등) 에서 수집된 122 만 개 이상의 고유 3D 박스로 대규모 학습이 가능해졌습니다.
3. 성능 향상: 오픈-월드 2D-to-3D 리프팅 태스크에서 기존 SOTA(CuTR 등) 를 압도하는 성능을 기록했습니다. 특히 깊이 정보가 없는 엣지 (Egocentric) 환경에서도 큰 격차를 보였습니다.
4. 코드 및 모델 공개: 다양한 입력 데이터에 대한 추론을 가능하게 하는 코드와 모델을 공개하여 재현성을 보장합니다.

4. 실험 결과 (Results)

• 데이터셋: NymeriaPlus, Aria Digital Twin (ADT), CA-1M, Omni3D (SUN-RGBD) 등 다양한 오픈-월드 및 폐쇄-월드 데이터셋에서 평가.
• 성능 지표 (mAP):
  • NymeriaPlus (RGB only, Sparse Depth): GT 2D 박스 입력 시, BoxerNet 은 0.296 mAP를 기록하여 CuTR(0.010 mAP) 보다 압도적으로 우수했습니다. (약 30 배 이상 향상)
  • CA-1M (RGB+Dense Depth): GT 2D 박스 입력 시, BoxerNet 은 0.412 mAP를 기록하여 CuTR(0.250 mAP) 보다 크게 우세했습니다.
  • 오픈-월드 감지기 (OWLv2, DETIC) 와 결합: OWLv2+BoxerNet 조합은 CuTR 대비 모든 설정에서 높은 성능을 보였습니다.
• 시각화 (Fig. 4, 5): Boxer 는 CuTR 에 비해 3D IoU 가 높고, 프레임 간 예측이 더 일관적이며 (Sharper heatmap), 기하학적 오류가 적음을 보여줍니다.
• Ablation Study:
  • 깊이 정보 제거 시 성능이 급격히 하락함 (NymeriaPlus 에서 0.518 → 0.279).
  • 알레토릭 불확실성 헤드 제거 시 성능 저하.
  • 내부 데이터 (Project Aria 등) 를 제거하고 공개 데이터만 학습할 경우 성능이 감소하여, 대규모 내부 데이터의 중요성을 입증.

5. 의의 및 결론 (Significance)

• 2D 와 3D 의 간극 해소: 웹 규모의 2D 감지 기술의 시맨틱 강점과 3D 기하학적 추정의 정밀함을 결합하여, 3D 감지 분야의 데이터 부족 문제를 해결하는 새로운 패러다임을 제시했습니다.
• 강건성 (Robustness): 밀집 깊이, 희소 포인트 클라우드, 심지어 깊이 정보 없음 (RGB only) 등 다양한 센서 환경과 카메라 모델 (핀홀, 피쉬아이) 에 적응할 수 있는 유연성을 제공합니다.
• 실용성: AR, 로봇 조작, 디지털 트윈 등 실제 응용 분야에서 오픈-월드 객체에 대한 정밀한 3D 공간 이해를 가능하게 하여, 에이전트의 자율적 탐색 및 조작 능력을 획기적으로 향상시킵니다.
• 확장성: BoxerNet 은 기존 2D/3D 감지 파이프라인에 쉽게 통합 (Drop-in replacement) 되어 3D 정확도를 개선할 수 있는 범용 모듈로 활용 가능합니다.

이 논문은 3D 객체 감지 분야에서 "데이터 부족"과 "클래스 제한"이라는 두 가지 주요 장벽을 극복하고, 오픈-월드 환경에서의 강건한 3D 이해를 실현한 중요한 연구로 평가됩니다.