LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight

이 논문은 2D 검출에서 3D 위치 추론으로 이어지는 '시각적 사고 연쇄 (Chain-of-Sight)'를 도입하여 3D 검출을 차기 토큰 예측 문제로 변환함으로써 오픈 보카불러리 3D 감지의 새로운 기준을 제시한 LocateAnything3D 모델을 제안합니다.

핵심

이 논문은 **'LocateAnything3D(무엇이든 3D 로 찾아내기)'**라는 새로운 인공지능 모델을 소개합니다. 쉽게 말해, **"인공지능이 눈앞의 사진을 보고, 사물이 2 차원 평면에서 어디에 있는지 먼저 확인한 뒤, 그 사물이 3 차원 공간에서 얼마나 멀리 있고, 얼마나 크며, 어떤 방향으로 놓여 있는지 자연스럽게 추론하게 만든 기술"**입니다.

이 복잡한 내용을 일상적인 비유로 풀어보겠습니다.

1. 문제 상황: AI 는 '눈'은 좋지만 '깊이감'이 부족해요

지금까지의 AI(시각 - 언어 모델) 는 사진 속 사물을 묘사하거나 이름을 붙이는 데는 천재였습니다. "저기 빨간 차가 있어"라고 말하죠. 하지만 실제 세계에 개입하려면 "그 차가 내게서 정확히 몇 미터 떨어져 있고, 얼마나 큰지"를 알아야 합니다.

기존의 3D 감지 기술은 마치 매우 전문적인 공학자처럼, 특정 목적 (예: 자율주행) 에 맞춰 설계된 별도의 도구와 복잡한 수식을 사용했습니다. 하지만 이 기술들은 범용성이 떨어지고, 새로운 물체가 나오면 당황하곤 했습니다.

2. 해결책: '시각적 사고의 사슬 (Chain-of-Sight)'

이 연구팀은 AI 가 인간이 사물을 인식하는 방식을 따라가게 했습니다. 바로 **'Chain-of-Sight(시각적 사고의 사슬)'**라는 방법입니다.

• 비유: 요리사에게 레시피를 가르치는 것
  • 기존 방식: 요리사 (AI) 에게 "이 요리를 만들어"라고만 하고, 모든 재료를 한 번에 섞으라고 했습니다. (결과가 자주 실패하거나 엉뚱한 요리가 나옴)
  • LocateAnything3D 방식: 요리사에게 **"먼저 재료를 썰어라 (2D 위치 확인), 그다음 양념을 넣고, 마지막으로 불 조절을 해라 (3D 깊이 및 크기 추정)"**라는 순서대로 단계별로 지시합니다.

AI 는 사진을 보고 먼저 **"2D 박스 (사각형)"**를 그립니다. 이는 "저기 물체가 있구나"라고 눈으로 확인하는 단계입니다. 그다음, 그 2D 박스를 발판 삼아 **"3D 박스 (입체 상자)"**를 그립니다. "아, 저 물체는 저기 있고, 저기서 저렇게 멀리 떨어져 있고, 저렇게 기울어져 있구나"라고 자연스럽게 결론을 내리는 것입니다.

3. 핵심 전략: "가까운 것부터, 쉬운 것부터"

AI 가 여러 물체를 한꺼번에 볼 때 혼란을 겪지 않도록 두 가지 규칙을 적용했습니다.

1. 가까운 것부터 먼 것까지 (Near-to-Far):

   • 비유: 어두운 방에 들어갔을 때, 우리는 먼저 발밑에 있는 물건을 보고, 그다음 조금 더 멀리 있는 물건을 봅니다.
   • AI 도 마찬가지입니다. 카메라에 가장 가까운 물체부터 순서대로 인식하게 했습니다. 가까운 물체는 정보가 명확해서 AI 가 "이건 차야"라고 확신하면, 그 정보를 바탕으로 뒤에 있는 물체들의 크기와 거리를 더 정확하게 추정할 수 있습니다.

2. 위치 → 크기 → 방향 (Center → Size → Rotation):

   • 비유: 새로운 사람을 만났을 때, 우리는 먼저 "그 사람이 어디에 서 있나?" (위치) 를 보고, "키가 얼마나 크나?" (크기) 를 보고, "얼굴이 어느 쪽을 보고 있나?" (방향) 를 봅니다.
   • AI 도 이 순서대로 정보를 입력받습니다. 위치를 먼저 잡으면, 그 다음 크기와 방향을 추정하기가 훨씬 쉬워집니다.

4. 놀라운 성과: "공부 없이도 새로운 것을 알아맞힌다"

이 모델은 Omni3D라는 거대한 시험에서 기존 최고 기록을 13.98 포인트나 앞질렀습니다. (기존 기술이 2D 박스를 정답으로 미리 알려줬을 때보다 더 잘했습니다!)

가장 중요한 점은 제로샷 (Zero-shot) 능력입니다.

• 비유: AI 가 훈련할 때 '의자'와 '책상'만 배웠다고 칩시다. 그런데 시험장에 '소파'가 나왔을 때, 기존 AI 는 당황하지만 LocateAnything3D 는 "아, 이건 의자보다 크고 책상보다 부드러운 모양이네"라고 추론해냅니다.
• 이 모델은 훈련하지 않은 새로운 물체들도 텍스트 명령이나 클릭 한 번으로 3D 공간에서 정확히 찾아냅니다.

5. 결론: 로봇에게 '공간 감각'을 심어주다

이 기술은 단순히 사진을 분석하는 것을 넘어, 로봇이나 자율주행차가 실제 세계를 이해하고 행동할 수 있는 기반을 마련했습니다.

• 기존: "저기 차가 있어." (2D 인식)
• LocateAnything3D: "저기 차가 있고, 내 오른쪽 5 미터 앞에 있으며, 4.5 미터 길이로 정면 15 도 기울어져 있어. 그래서 내가 피해야 해." (3D 인식 및 행동 준비)

결국 이 연구는 AI 가 단순한 '사진 보는 기계'에서, 3 차원 세계를 이해하고 그 안에서 행동할 수 있는 '지능적인 파트너'로 성장하는 데 필요한 핵심 열쇠를 찾았다고 볼 수 있습니다.

기술 요약

LocateAnything3D: Chain-of-Sight를 통한 비전 - 언어 3D 감지 기술 요약

이 논문은 LocateAnything3D를 소개하며, 단일 이미지 (모노큘러) 에서 오픈 월드 (open-world) 3D 객체 감지를 Vision-Language Model (VLM) 의 네이티브 기능으로 통합하는 새로운 접근법을 제시합니다. 기존 VLM 이 2D 이미지 설명 및 그라운딩 (grounding) 에 탁월한 성능을 보였음에도 불구하고, 다중 객체 3D 감지 능력은 부재했거나 특수한 헤드가 필요하다는 문제를 해결합니다.

1. 문제 정의 (Problem)

• 현재의 한계: 최신 VLM 은 2D 이미지 내의 임의의 콘텐츠를 설명하고 위치를 특정하는 데 뛰어나지만, 단일 이미지에서 3D 공간의 다중 객체를 감지하고 3D 바운딩 박스 (위치, 크기, 회전) 를 예측하는 능력은 부족합니다.
• 기존 방법의 제약: 기존 모노큘러 3D 감지 모델들은 특정 도메인에 최적화되어 있으며, 폐쇄된 레이블 공간 (closed label space) 에 의존하거나 3D 예측을 위한 특수한 헤드를 필요로 합니다. 이는 VLM 의 유연성, 구성성 (compositionality), 그리고 지시 따르기 (instruction-following) 능력을 3D 영역으로 확장하는 것을 방해합니다.
• 목표: 별도의 특수 헤드 없이, 텍스트 또는 시각적 프롬프트 (박스, 클릭 등) 를 통해 오픈 월드 카테고리를 인식하고 신뢰할 수 있는 다중 객체 3D 박스를 생성하는 VLM 네이티브 프레임워크를 구축하는 것.

2. 방법론 (Methodology)

논문은 3D 감지를 **Chain-of-Sight (CoS, 시야의 연쇄)**라는 새로운 디코딩 및 감독 방식으로 재정의합니다. 이는 인간이 이미지를 보고 추론하는 방식 (2D 에서 3D 로, 가까운 것에서 먼 것으로) 을 모방합니다.

2.1. Chain-of-Sight (CoS) Factorization

• 2D 를 시각적 사고의 사슬 (Visual Chain-of-Thought) 로 활용: 디코더는 먼저 2D 바운딩 박스를 예측한 후, 해당 2D 박스에 대응하는 3D 박스를 예측하는 순서로 토큰 시퀀스를 생성합니다.
  • 이유: 2D 예측은 높은 신뢰도를 가진 시각적 증거로 작용하여, 이후의 3D 추론을 올바른 픽셀 영역으로 집중시키고 할루시네이션 (hallucination) 을 줄입니다.
  • 구조: Sequence = (2D_box_1, 3D_box_1, 2D_box_2, 3D_box_2, ..., <eos>)
• 시각적 프롬프팅 지원: 사용자가 2D 박스나 클릭 포인트를 입력하면, 모델은 해당 인스턴스에 대한 3D 상태를 바로 예측하여 AR(자기회귀) 워크플로우를 유지합니다.

2.2. 커리큘럼 학습 (Curriculum Learning)

• 객체 간 순서 (Inter-Object Curriculum): 객체들을 가까운 것에서 먼 것 (Near-to-Far) 순서로 직렬화합니다.
  • 효과: 가까운 객체는 단안 (monocular) 단서가 명확하여 초기 토큰의 신뢰도를 높이고, 이후 먼 객체의 스케일과 깊이를 제약하는 기하학적 맥락을 제공합니다.
• 객체 내 토큰화 (Intra-Object Tokenization): 각 3D 박스를 중심 (Center) → 크기 (Size) → 회전 (Rotation) 순서로 분해하여 예측합니다.
  • 이유: "어디에 있는가?" (위치) 가 "얼마나 큰가?" (크기) 보다 먼저, 그리고 "어떤 방향인가?" (회전) 가 마지막에 오는 것이 모노큘러 단서의 관측 가능성과 학습 안정성에 부합합니다.

2.3. 데이터 커레이션 (Data Curation)

• 대규모 카메라 중심 코퍼스: ARKitScenes, SUN-RGBD, KITTI, nuScenes 등 6 개의 이질적인 3D 데이터셋을 통합하여 약 174 만 개의 훈련 예제를 구성했습니다.
• 데이터 처리: 모든 데이터를 CoS 순서 (2D → 3D, Near → Far) 에 맞게 정렬하고, VLM 대화 형식으로 변환했습니다.
• 부정 샘플 (Negative Samples): 객체가 존재하지 않는 경우를 학습시키기 위해 'no_object' 토큰을 사용하는 부정 샘플을 포함하여 오탐지 (False Positive) 를 줄였습니다.
• 2D 그라운딩 사전 학습: 3D 학습 전에 강력한 2D 감지 및 그라운딩 능력을 갖추도록 사전 학습 단계를 거쳤습니다.

3. 주요 기여 (Key Contributions)

1. Chain-of-Sight (CoS) 공식화: 오픈 월드 모노큘러 3D 감지를 VLM 의 네이티브 다음 토큰 예측 문제로 전환했습니다. 명시적인 2D 그라운딩과 3D 디코딩을 결합하여 신뢰성을 높이고 단일 인터페이스에서 텍스트/시각 프롬프팅을 지원합니다.
2. 자기회귀 디코딩에 최적화된 커리큘럼: 객체 간 '가까운 것에서 먼 것' 순서와 객체 내 '중심-크기-회전' 토큰화를 통해 일관된 디코딩, 강력한 성능, 그리고 카메라 및 카테고리 변화에 대한 강건성을 확보했습니다.
3. 대규모 통합 데이터셋: 이질적인 소스를 CoS 형식에 맞는 코퍼스로 통합하여, 특수 헤드 없이 확장 가능한 체계적인 실험과 ablation study 를 가능하게 했습니다.

4. 실험 결과 (Results)

Omni3D 벤치마크 (단일 이미지 3D 감지):

• 성능: LocateAnything3D 는 Omni3D 벤치마크에서 38.90 AP3D를 기록하여 기존 최상위 모델 (DetAny3D 등) 을 크게 능가했습니다.
• 비교: 이전 최상위 모델보다 +13.98 포인트의 절대적 개선을 보였습니다. 특히, 기존 모델들이 Ground-Truth 2D 박스를 입력으로 받음에도 불구하고 LocateAnything3D 는 단일 이미지만으로 더 나은 성능을 발휘했습니다.
• Zero-shot 일반화: 학습 중 보지 못한 카테고리 (Novel Categories) 에 대해서도 강력한 Zero-shot 성능을 보이며, 외부 2D 감지기 (Grounding DINO 등) 에 의존하지 않는 자체 2D-3D 예측의 우수성을 입증했습니다.

3D 그라운딩 (Indoor 3D Grounding):

• Objectron, ARKitScenes, SUN-RGBD 데이터셋에서 Cube-LLM 과 비교하여 모든 메트릭에서 우월한 성능을 보였습니다. 특히 공간적 위치 정보 (left/right, close/far) 가 포함된 프롬프트에 대한 이해도가 높았습니다.

Ablation Study:

• CoS 제거: 2D 단계를 생략하고 3D 를 직접 예측하면 성능이 급격히 하락합니다.
• 순서 변경: '가까운 것에서 먼 것' 순서를 '랜덤'이나 '좌우 스캔라인'으로 바꾸면 성능이 크게 저하됩니다.
• 데이터 효율성: CoS 방식은 적은 데이터 (10%) 로도 순수 3D 예측 모델보다 훨씬 높은 성능을 달성하여 데이터 효율성이 뛰어납니다.

5. 의의 및 결론 (Significance & Conclusion)

LocateAnything3D 는 3D 감지를 단순한 검출 문제가 아닌, VLM 이 학습할 수 있는 구조화된 언어 생성 문제로 재정의했습니다.

• 시스템 단순화: 별도의 3D 헤드나 복잡한 기하학적 모듈 없이 VLM 아키텍처만으로 3D 공간 이해가 가능해졌습니다.
• 실용성: 오픈 월드 카테고리 인식, 자유 형식의 텍스트/시각 프롬프팅, 그리고 강력한 Zero-shot 일반화 능력을 통해 로봇 공학 (Embodied AI), 자율 주행, 증강 현실 등 다양한 분야에서 실제 행동 (Action) 을 위한 3D 인식 기반을 제공합니다.
• 미래 전망: 이 연구는 VLM 이 물리적 세계를 3D 로 지각하고 추론하는 새로운 패러다임을 제시하며, 향후 비디오 처리, 다중 뷰 추론, 그리고 복잡한 embodied planning 으로 확장될 수 있는 토대를 마련했습니다.

결론적으로, LocateAnything3D 는 Chain-of-Sight를 통해 2D 인식과 3D 추론을 자연스럽게 연결함으로써, VLM 기반의 범용 3D 지각 시스템의 실현 가능성을 크게 높인 획기적인 작업입니다.