CanoVerse: 3D Object Scalable Canonicalization and Dataset for Generation and Pose

이 논문은 32 만 개의 3D 객체로 구성된 대규모 정규화 (canonicalization) 데이터셋 'CanoVerse'와 이를 자동화하는 프레임워크를 제안하여, 3D 생성의 안정성 향상, 정밀한 3D 형상 검색, 그리고 제로샷 포인트 클라우드 방향 추정 등 다양한 3D 학습 태스크의 성능을 획기적으로 개선합니다.

핵심

이 논문은 **"3D 물체들의 방향을 통일하여, 인공지능이 세상을 더 잘 이해하도록 돕는 거대한 데이터베이스와 방법론"**을 소개합니다.

비유하자면, 이 연구는 **"전 세계의 3D 물체들을 모두 한 가지 표준 자세로 정리해 놓은 거대한 도서관 (CanoVerse)"**을 만든 이야기입니다.

다음은 일상적인 언어와 비유로 풀어낸 설명입니다.

---

1. 문제: "왜 3D 물체들은 제멋대로 돌아다니나요?"

지금까지 3D 데이터를 다룰 때 가장 큰 골칫거리가 있었습니다.
마치 레고 블록을 생각해보세요. 어떤 사람은 레고 기차를 세워두고, 어떤 사람은 눕혀두고, 또 어떤 사람은 거꾸로 세웁니다.

• 현재의 상황: 인터넷에 있는 3D 모델들은 모두 제각기 다른 방향을 보고 있습니다. (어떤 건 앞을 보고 있고, 어떤 건 옆을 보고 있습니다.)
• AI 의 혼란: 인공지능은 이런 데이터를 보면 "이건 같은 물체인가?"라고 헷갈립니다. "앞을 보고 있는 의자"와 "옆을 보고 있는 의자"를 서로 다른 물체로 인식해버리거나, 새로운 물체를 만들 때 엉뚱한 방향으로 만들어버립니다.
• 결과: AI 가 물체의 '앞', '위', '아래' 같은 방향 감각을 제대로 배우지 못해, 엉망진창인 결과를 내놓습니다.

2. 해결책: "CanoVerse (카노버스) - 32 만 개의 표준화된 3D 물체"

연구팀은 이 문제를 해결하기 위해 CanoVerse라는 거대한 데이터셋을 만들었습니다.

• 규모: 32 만 개 이상의 3D 물체를 1,156 가지 종류로 분류했습니다. 기존에 있던 데이터셋보다 10 배나 더 큽니다. (기존 데이터가 작은 마을이라면, 이건 대도시입니다.)
• 핵심: 이 모든 물체들을 **인간이 자연스럽게 생각하는 방향 (예: 자전거는 앞을 보고 서 있어야 함, 컵은 바닥에 놓여 있어야 함)**으로 통일했습니다.
• 효과: 이제 AI 는 "아, 이건 의자구나. 의자는 보통 이렇게 서 있겠지"라고 방향 감각을 확실히 배울 수 있게 되었습니다.

3. 방법: "수작업 대신 '스마트한 선별'을 쓴 비법"

그런데 32 만 개나 되는 물체를 사람이 하나하나 손으로 돌려가며 방향을 맞추려면 얼마나 걸릴까요?

• 과거: 물체 하나를 맞추는 데 수 분이 걸렸습니다. 32 만 개를 맞추려면 인간이 평생 살아도 부족합니다.
• 이 연구의 비법: 연구팀은 **"AI 가 후보를 5 개 정도 만들어주고, 사람이 그중에서 가장 좋은 것 하나만 고른다"**는 방식을 개발했습니다.
  • 비유: 마치 택배 기사가 100 개의 상자를 나르는 대신, 로봇이 5 개의 가장 적합한 상자를 미리 선별해 두고, 사람이 "이거다!" 하고 딱 하나만 찍어주는 것과 같습니다.
  • 결과: 사람이 일하는 시간이 수 분에서 수 초로 줄었습니다. (약 37 배 빨라짐) 덕분에 거대한 데이터셋을 짧은 시간에 만들 수 있었습니다.

4. 성과: "AI 가 뭘 할 수 있게 되었나요?"

이 표준화된 데이터를 쓰니 AI 의 실력이 크게 좋아졌습니다.

1. 3D 생성 (새로운 물체 만들기):
   • AI 가 그림을 보고 3D 물체를 만들 때, 이제 방향이 뒤죽박죽인 엉터리 물체를 만들지 않습니다. 의자는 항상 발이 바닥에 닿고, 컵은 입구가 위로 향하게 만듭니다.
2. 방향 찾기 (포즈 추정):
   • 실세계에서 찍은 3D 스캔 데이터 (예: 거리의 사물) 를 보고도, AI 가 "이건 앞을 보고 있구나"라고 한 번도 본 적 없는 물체도 정확히 방향을 맞출 수 있게 되었습니다. (기존에는 불가능했던 일입니다.)
3. 검색 (3D 검색):
   • "빨간색 의자"라고 검색하면, 옆으로 누워 있는 의자가 아니라 제대로 된 의자가 검색됩니다.

5. 요약

이 연구는 **"AI 가 3D 세상을 이해하려면, 먼저 물체들의 방향을 통일해야 한다"**는 사실을 증명했습니다.

• 기존: AI 가 제멋대로 돌아다니는 3D 물체들을 보며 헷갈려 함.
• 이제: CanoVerse라는 거대한 '방향 통일 도서관'을 통해 AI 가 방향 감각을 확실하게 배움.
• 방법: 사람이 일일이 다 고칠 필요 없이, AI 가 후보를 만들고 사람이 '좋다'고 한 번만 찍으면 되는 초고속 시스템을 개발함.

결론적으로, 이 기술은 앞으로 우리가 만드는 메타버스, 로봇, 자율주행차 등이 물체의 방향을 더 똑똑하게 이해하고, 더 자연스럽게 3D 세상을 만들어내는 데 큰 밑거름이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

3D 학습 시스템은 객체가 일관된 기준 좌표계 (Reference Frame) 에 존재한다고 가정하지만, 실제 웹 자산, 3D 스캔, 생성 모델에서 제공되는 데이터는 임의의 전역 회전 (Arbitrary Global Rotation) 을 가지고 있습니다.

• 방향성 모호성: 크기 (Scale) 와 이동 (Translation) 은 정규화되지만, 회전 (Orientation) 은 종종 무시됩니다. 이로 인해 모델이 방향성 모호성을 스스로 해결해야 하는 부담이 생깁니다.
• 성능 저하: 방향 불일치는 3D 생성 모델의 일관성 저하, 모양 검색 (Shape Retrieval) 의 분열, 그리고 교차 카테고리 평가의 왜곡을 초래합니다.
• 데이터 부족: 'Front(전면)', 'Up(상단)'과 같은 방향성 의미론 (Directional Semantics) 은 기하학만으로는 학습할 수 없으며, 대량의 정규화된 (Canonicalized) 데이터를 통해 통계적으로 학습되어야 합니다. 그러나 기존 데이터셋 (COD, Objaverse-OA 등) 은 규모가 작고 (최대 32K 개), 수동 정렬에 의존하여 확장성이 제한적입니다.

2. 방법론 (Methodology)

저자들은 CanoVerse라는 대규모 정규화 3D 데이터셋을 구축하기 위해, 수동 정렬 시간을 분 단위에서 초 단위로 단축하는 확장 가능한 정규화 프레임워크를 제안했습니다. 이 파이프라인은 두 단계로 구성됩니다.

A. 후보 자세 생성 (Candidate-Pose Generation)

기하학적 단서 (Geometric Cues) 와 의미론적 단서 (Semantic Cues) 를 결합하여 각 객체당 소수의 정답 후보를 자동으로 생성합니다.

• 수직 성분 (Vertical Component):
  • 지지면 기반 (Support Surface): 물체가 정적 평형을 유지할 수 있는 지지면을 찾아 수평면과 평행하도록 정렬합니다.
  • PCA 기반 (Principal Component Analysis): 객체와 카테고리 템플릿의 주성분 축을 정렬하되, PCA 의 부호 모호성 (Sign Ambiguity) 을 의미론적 부분 분포 (Semantic Part Distribution) 를 통해 해결합니다.
• 수평 성분 (Horizontal Component):
  • 기하학적 정렬: 템플릿과의 Chamfer Distance 를 최소화하는 수평 회전 각도를 계산합니다.
  • 의미론적 정렬: 렌즈 방향 (카메라) 과 같은 핵심 의미론적 특징을 기반으로 정렬합니다.
  • 하이브리드 에너지 함수: 기하학적 정렬과 의미론적 정렬을 결합하여 최적의 수평 각도를 도출합니다.
• 생성 전략: 위 기준들을 조합하여 각 객체당 5 개의 후보 자세 (수평/수직 정렬 조합) 를 생성합니다.

B. 상호작용 선택 (Interactive Selection)

• 1 회 클릭 선택: annotator(주석 작성자) 는 생성된 5 개의 후보 렌더링과 기준 템플릿을 비교하여 가장 잘 맞는 하나를 선택합니다.
• 효율성: 3D 공간에서의 연속적인 최적화 (SO(3) Search) 를 2D 선택 작업으로 변환하여, 객체당 정렬 시간을 약 37.5 배 (분 → 초) 단축했습니다.

3. 주요 기여 (Key Contributions)

1. CanoVerse 데이터셋: 1,156 개의 카테고리, 총 **320,000 개 (320K)**의 정규화된 3D 객체를 포함하는 현재까지 가장 대규모의 정규화 3D 데이터셋입니다. 기존 데이터셋들의 합보다도 크며, 기존보다 10 배 이상 확장되었습니다.
2. 확장 가능한 정규화 프레임워크: 기하학적/의미론적 단서를 활용한 후보 생성과 인간 판별을 결합한 하이브리드 파이프라인을 제안하여, 대규모 데이터셋 구축의 병목 현상인 수동 정렬 비용을 획기적으로 줄였습니다.
3. 하위 작업에서의 성능 향상:
   • 3D 생성: 정규화된 데이터로 미세 조정 (Fine-tuning) 시 생성된 객체의 자세 안정성과 구조적 일관성이 크게 향상되었습니다.
   • 자세 추정: 제로샷 (Zero-shot) 포인트 클라우드 자세 추정이 가능해졌으며, 분포 외 (Out-of-Distribution) 데이터에서도 뛰어난 일반화 성능을 보였습니다.
   • 크로스모달 검색: 텍스트/이미지 기반 3D 모양 검색의 정확도가 향상되었습니다.

4. 실험 결과 (Results)

• 자세 추정 (Orientation Estimation):
  • In-Distribution: CanoVerse 로 학습된 VI-Net 모델은 기존 데이터셋 (Objaverse-OA, NOCS) 으로 학습된 모델보다 정확도가 월등히 높았습니다 (Acc@30°: 64.14% vs 25.86%).
  • Out-of-Distribution: 실제 스캔 데이터 (OmniObject3D) 에 대한 테스트에서도 기존 방법론 대비 압도적인 일반화 성능을 보였습니다 (Acc@10°: 20.18% vs 4.77%).
  • 확장성: 학습 데이터 양이 증가함에 따라 성능이 꾸준히 향상되었으며, 동등한 데이터 규모 (32K) 에서도 기존 COD 데이터셋보다 높은 품질을 입증했습니다.
• 3D 생성 (3D Generation):
  • Hunyuan3D 와 Trellis 모델을 CanoVerse 로 미세 조정한 결과, 생성된 3D 객체의 자세 일관성 (Pose Stability) 이 크게 개선되었고, 구조적 모호성과 아티팩트가 감소했습니다.
• 정확도 및 효율성:
  • 수동 정렬 (Blender) 대비 객체당 2.6 초 (고숙련자 기준) 로 정렬 속도가 36 배 빨라졌으며, 각도 오차 (Precision) 도 5.9°로 수동 정렬의 중간 숙련도 수준 (4.5°) 에 근접했습니다.

5. 의의 및 결론 (Significance)

CanoVerse 는 3D 비전 분야에서 대규모 정규화 방향성 데이터의 부재라는 근본적인 병목 현상을 해결했습니다.

• 방향성 의미론의 학습 가능: 대규모 데이터를 통해 '앞', '위'와 같은 방향성 개념을 통계적으로 학습할 수 있는 기반을 마련했습니다.
• 3D 학습의 새로운 표준: 3D 생성 모델의 안정성 향상, 제로샷 자세 추정 가능, 크로스모달 검색 성능 개선 등 다양한 하위 작업에 필수적인 인프라를 제공합니다.
• 데이터 구축 패러다임 전환: 수동 정렬을 통한 소규모 데이터 구축에서, 자동화된 후보 생성과 인간 검증을 통한 대규모 고품질 데이터 파이프라인 구축으로의 전환을 성공적으로 증명했습니다.

이 논문은 CanoVerse 데이터셋을 공개하여 향후 방향성 일관성 (Orientation-Consistent) 을 갖춘 3D 학습, 벤치마킹, 생성 모델링 연구의 새로운 기반이 될 것으로 기대됩니다.