기술 요약: Tango3D

문제 제기

기존의 3D 기반 모델들은 일반적으로 강력한 교차 모달 검색을 달성하기 위해 점 구름을 고정된 비전 - 언어 공간 (예: CLIP) 에 정렬합니다. 그러나 이 패러다임은 순수 의미 공간 내에서 전체 3D 형태를 단일 전역 특징 벡터로 압축하는 데 의존합니다. 인스턴스 수준의 검색에는 효과적이지만, 이러한 전역-only 정렬은 세밀한 작업에 필요한 공간 구조를 배제합니다. 결과적으로 현재 방법들은 3D 부분 분할 및 기하학적 그라운딩과 같은 응용에 필수적인 기능인 밀집된 픽셀 - 점 대응 관계를 수립할 수 없습니다. furthermore, 기존 장면 수준의 밀집 매칭 방법들은 전역 검색 능력을 유지하면서 객체 수준에서 이미지와 점 구름 간의 교차 모달 정렬 문제를 다루지 못합니다.

방법론

Tango3D 는 밀집 대응과 전역 검색을 단일 공유 토큰 공간 내에서 통합하도록 설계된 기반 모델입니다. 이 프레임워크는 기하학적 인식을 갖춘 2D 비전 백본과 사전 훈련된 3D 변분 오토인코더 (VAE) 를 기반으로 구축된 이중 분기 아키텍처를 사용합니다.

1. 토큰화 및 공유 공간

• 2D 모달리티: 프레임워크는 기하학적 인식을 갖춘 특징을 추출하기 위해 고정된 VGGT(Visual Geometry Grounded Transformer) 백본을 활용합니다. 이미지는 중간 특징 맵과 결합된 DPT 특징 맵을 생성하도록 처리됩니다. 이들은 패치 그리드로 크기 조절된 후 특징 벡터로 연결됩니다. 또한 전역 평균화를 통해 뷰별 컨텍스트도 생성됩니다.
• 3D 모달리티: 점 구름은 학습 가능한 3D VAE 인코더(Hunyuan3D 2.1 기반) 에 의해 처리됩니다. 형태를 단일 벡터로 압축하는 대신, 이 인코더는 점 구름을 나타내는 1024 개의 잠재 토큰을 생성하여 병목 잠재보다 풍부한 기하학적 세부 정보를 보존합니다.
• 공유 공간: 2D 패치와 3D 토큰은 모두 잔류 MLP 인코더를 통해 통일된 1024 차원 임베딩 공간으로 매핑됩니다. 2D 인코더는 기하학적 그라운딩을 유지하기 위해 뷰별 컨텍스트를 주입합니다.

2. 이중 분기 최적화

모델은 두 개의 병렬 분기를 통해 최적화됩니다:

• 로컬 분기 (밀집 대응): 이 분기는 공유 토큰을 모달리티별 로컬 설명자로 투영합니다. 기하학적 근접성에 기반하여 2D 쿼리 픽셀을 가장 가까운 3D 토큰과 정렬하기 위해 양방향 InfoNCE 대비 손실을 사용합니다. 다대일 매핑 붕괴를 방지하기 위해 손실은 동일한 3D 토큰에 할당된 모든 2D 쿼리를 집계합니다. 후속 단계에서 판별력을 sharpen 하기 위해 하드 네거티브 마이닝이 도입됩니다.
• 전역 분기 (인스턴스 검색): 이 분기는 공유 토큰을 인스턴스 수준 설명자로 집계합니다.
  • 2D 전역: 뷰 토큰은 풀링되고, 로컬 정렬을 우회하지 않으면서 의미적 풍부함을 주입하기 위해 게이트 퓨전 메커니즘을 통해 DINO 클래스 토큰과 DPT 컨텍스트로 풍부해집니다.
  • 3D 전역: 3D 토큰은 풀링 전에 공간 컨텍스트를 교환하기 위해 자기 주의를 거칩니다.
  • 정렬: 전역 설명자는 대칭 교차 모달 InfoNCE 손실을 사용하여 정렬됩니다. 또한, 의미 증류 손실이 2D 교사 (DINO) 의 관계 구조를 결합 공간으로 전이하며, 부분집합 일관성 손실은 누락된 뷰에 대한 견고성을 보장합니다.

3. 3 단계 점진적 훈련

밀집 및 전역 목표의 공동 최적화를 안정화하기 위해 저자는 점진적 훈련 전략을 도입합니다:

• 1 단계: 전역 분기가 비활성화됩니다. 모델은 견고한 픽셀 - 점 기하학적 정렬을 확립하기 위해 로컬 목표 (L_local) 만으로 훈련합니다.
• 2 단계: 전역 분기가 활성화됩니다. 모델은 로컬, 전역, 부분집합 일관성, 그리고 의미 증류 손실을 사용하여 공동 최적화됩니다. 로컬 손실에 하드 네거티브 마이닝이 도입됩니다.
• 3 단계: 2D 입력 해상도가 확대됩니다 (518×518 에서 1022×1022 로), 그리고 하드 네거티브 마이닝이 강화됩니다. 모든 모듈은 특징 판별력을 sharpen 하기 위해 미세 조정됩니다.

주요 기여

1. 로컬 정렬: Tango3D 는 2D 패치와 3D 토큰을 공유 공간으로 매핑함으로써 객체 수준의 픽셀 - 점 밀집 대응을 달성합니다. 이는 픽셀 - 점 및 점 - 픽셀 양방향 쿼리, 점 수준의 인스턴스 간 의미 매칭, 그리고 2D 입력 없이 3D-to-3D 대응을 가능하게 합니다.
2. 전역 정렬: 이 프레임워크는 밀집 대응과 인스턴스 수준 검색을 통합합니다. 집계된 전역 설명자는 이미지 - 형태 및 형태 - 형태 검색을 지원하며, 선도적인 전역-only 베이스라인과 경쟁력 있는 성능을 달성합니다.
3. 점진적 훈련: 기하학적 및 의미 학습을 분리한 후 통합하여 밀집 및 전역 목표가 서로 충돌하지 않고 상호 강화되도록 보장하는 3 단계 전략이 도입되었습니다.

실험 결과

모델은 Objaverse 의 약 650,000 개 객체로 훈련되었으며, 40 개 ModelNet40 범주에 걸친 3,055 개의 텍스처가 적용된 객체로 구성된 커스텀 벤치마크에서 평가되었습니다.

• 픽셀 - 점 대응: Tango3D 는 네 개의 무작위 뷰를 사용하여 **LocAcc@1 77.37%**를 달성하여 교차 모달 훈련이 없는 VGGT 및 VGGT-OBJ 와 같은 베이스라인을 크게 능가합니다. 모델은 2D-to-3D, 3D-to-2D, 그리고 3D-to-3D 매칭 시나리오에서 다양성을 보여주며, 부분 수준 감독 없이 SAM 을 통해 2D 부분 마스크를 3D 표면으로 성공적으로 전이합니다.
• 전역 검색: 이미지 - 형태 검색에서 Tango3D 는 (다중 뷰, 무작위) **Recall@1 39.12%**와 (단일 뷰) **35.04%**를 달성하여 OpenShape, ULIP-2, Uni3D-g 와 같은 강력한 베이스라인을 능가하거나 일치시킵니다.
• Ablation 연구: 점진적 훈련 분석은 1 단계가 강력한 로컬 정렬을 확립하고, 2 단계가 로컬 성능을 저하시키지 않으면서 전역 검색을 성공적으로 통합하며, 3 단계가 더 높은 해상도와 더 어려운 네거티브를 통해 두 지표를 추가로 향상시킨다는 것을 확인합니다.

중요성

이 논문은 Tango3D 가 세밀한 정렬 특징 공간을 확립함으로써 2D 와 3D 모달리티 간의 격차를 해소한다고 주장합니다. 교차 모달 훈련을 통해 순수 기하학적 3D 토큰에 풍부한 의미를 주입함으로써, 이 모델은 전역-only 기반 모델들이 이전에 접근할 수 없었던 광범위한 밀집 3D 다운스트림 작업을 가능하게 합니다. 저자들은 현재 해상도 압축 (2D 에서는 패치 수준, 3D 에서는 토큰 수준) 이 서브 - 픽셀 정확도에 본질적인 한계를 둔다고 지적하지만, 통일된 프레임워크가 밀집 대응과 전역 검색을 공동 최적화할 수 있음을 성공적으로 입증하여 견고하고 통일된 3D 표현의 길을 열었다고 강조합니다.