기술 요약: Artiverse

문제 정의

기존의 관절형 물체에 대한 3D 데이터셋은 종종 현실적인 시뮬레이션과 구체화된 AI(embodied AI) 에 필요한 기하학적 충실도, 기능적 현실감, 물리적 기반이 부족합니다. 대규모 저장소 (예: ShapeNet, Objaverse) 는 다양한 기하학을 제공하지만, 주로 정적입니다. 특화된 관절형 데이터셋 (예: PartNet-Mobility, AKB-48) 은 운동 주석을 제공하지만, 관절의 복잡성 (대부분 단일 자유도), 시각적 현실감 (단순화된 질감, 내부 공간 누락), 물리적 속성 (질량, 재질, 미터 단위 스케일) 에서 제한적입니다. ArtVIP 와 PhysX-3D 와 같은 최근 노력들은 물리적 속성을 해결하기 시작했으나, 규모와 카테고리 다양성 측면에서 여전히 제한적입니다. 결과적으로 구조적 분해, 운동학적 의존성, 물리적 타당성을 포괄하는 기능적 상호작용의 전체 스펙트럼을 포착하여 기능적 모델링과 시뮬레이션을 발전시키는 데 필요한 고품질의 물리적 기반 자산이 부족합니다.

방법론

저자들은 10 개의 다양한 3D 저장소 (ShapeNet, ABO, 3D-Future, HSSD, Objaverse 등 포함) 에서 집계된 88 개 카테고리의 5,402 개 인간 제작 관절형 물체 데이터셋인 Artiverse를 소개합니다. Artiverse 의 구축은 확장성과 고품질 인간 검증을 균형 있게 맞추도록 설계된 반자동 주석 파이프라인에 의존합니다.

1. 데이터 선택 및 전처리

모델은 자동화된 특징 분석 (DuoDuoCLIP 임베딩) 과 인간의 감독을 결합한 하이브리드 검색 워크플로우를 사용하여 여러 저장소에서 필터링됩니다. 물체들은 일관된 $y$-up 좌표계로 표준화되고, 원점을 중심으로 정렬되며, 미터 단위로 스케일링됩니다. 미터 단위 스케일은 원본 데이터가 누락된 하위 카테고리에 대한 물리적 치수를 추정하기 위해 LLM(GPT-4o) 을 사용하여 추론됩니다.

2. 반자동 주석 파이프라인

파이프라인은 인간 검증을 주요 지점에 통합한 네 가지 연속 단계로 구성됩니다.

• 기능적 부분 분할:

  • 템플릿 기반: 카테고리별 템플릿이 기능적 부분 레이블 (예: 손잡이, 뚜껑, 선반) 과 운동 유형을 정의합니다.
  • 퓨샷 분할 (Few-Shot Segmentation): ASIA 모델 (소수의 이미지 주석을 사용한 적응형 3D 분할) 은 카테고리별 소수의 수동 주석 예시에서 학습되어 다중 뷰 렌더링에 초기 2D 부분 마스크를 생성합니다.
  • 3D 집계: 2D 마스크는 3D 메시 오버분할에 투영됩니다. 레이블이 지정되지 않은 내부 표면은 거리 기반 전파를 통해 레이블이 할당됩니다. 유니온-파인드 (union-find) 알고리즘은 연결된 세그먼트를 불연속적인 부분 인스턴스로 클러스터링합니다.
  • 검증: 인간 주석가는 3D UI 를 통해 분할 오류를 수정한 후 전문가 검증을 거칩니다.

• 내부 공간 완성:

  • 물리적 현실감을 보장하기 위해 파이프라인은 세 가지 시나리오에서 누락된 내부 기하학을 처리합니다.
    1. 부분 관절형 부분: 서랍과 같이 내부 상자가 누락된 부위의 기하학을 확장하여 전체 운동 범위에서 타당성을 보장합니다.
    2. 누락된 관절형 부분: 유사한 물체의 템플릿을 참조하여 식기세척기 바구니, 전자레인지 회전대와 같은 누락된 내부 구성 요소를 절차적으로 삽입합니다.
    3. 누락된 상호작용 affordance: 현실적인 상호작용을 지원하기 위해 빈 가구 (hollow furniture) 에 선반과 랙과 같은 구조적 요소를 추가합니다.

• 운동 주석:

  • 자동 제안: 기하학적 휴리스틱이 운동학적으로 의존적인 부분 간의 접촉 영역 분석과 PCA 정렬 바운딩 박스를 사용하여 관절 파라미터 (유형, 축, 원점, 한계) 를 추론합니다. 운동학 그래프는 공간 연결성과 템플릿 제약 조건을 기반으로 구축됩니다.
  • 검증: 인간 전문가들은 운동의 타당성을 검증하고, 운동 복사 및 즉시 미리 보기를 지원하는 인터랙티브 웹 인터페이스를 사용하여 관절 파라미터를 조정합니다.

• 물리적 속성:

  • 질량 및 재질: 부분별 질량은 부피를 계산 (고체 부분의 경우 사면체 분할, 중공 부분의 경우 쉘 오프셋팅을 통해) 하고 재질 밀도를 곱하여 추정됩니다. 재질 레이블과 밀도 범위는 의미론적 레이블과 LLM 을 통해 추론된 범위를 기반으로 할당됩니다.

3. 효율성

반자동 접근 방식은 완전 수동 프로세스에 비해 분할에 대해 32.0%, 운동 주석에 대해 **33.5%**의 수동 주석 시간을 단축합니다. 약 **50.12%**의 자동 제안은 인간 수정이 필요하지 않습니다.

주요 기여

1. Artiverse 데이터셋: 기능적 부분, 운동학적 의존성, 다중 자유도 관절 (예: 유니버설, 원통형), 물리적 속성 (미터 단위 스케일, 재질, 질량) 을 포함한 풍부한 주석이 있는 5,402 개의 관절형 물체로 구성된 다양한 컬렉션입니다. 이는 88 개의 하위 카테고리를 포괄하여 기존 데이터셋의 다양성과 복잡성을 크게 확장합니다.
2. 반자동 파이프라인: 퓨샷 분할, 기하학적 추론, 다단계 인간 검증을 통합하여 고품질 주석을 효율적으로 생성하는 확장 가능한 워크플로우입니다.
3. 벤치마킹 및 검증: 이 논문은 다음을 통해 데이터셋의 유용성을 입증합니다.
   • 부분 이동성 분석: Artiverse 에서 FPNGroupMot 모델을 학습시키면 PartNet-Mobility 에서 학습하는 것보다 우수한 일반화 성능을 보이지만, 데이터셋의 복잡성은 기존 모델에 새로운 과제를 제시합니다.
   • 관절형 물체 생성: 이미지 기반 생성 (SINGAPO, Articulate-Anything) 을 평가한 결과, Artiverse 에서 학습된 모델은 VLM 사전 지식에만 의존하는 모델보다 구조적, 기하학적으로 일관된 결과를 생성합니다.
   • 시뮬레이션 준비 상태: 자산은 GLB, USD, URDF 형식으로 출시되어 구체화된 AI 작업을 위한 물리 엔진 (예: Genesis) 과의 원활한 통합을 가능하게 합니다.

결과

• 통계: Artiverse 는 24,607 개의 부분과 23,640 개의 관절을 포함하며, 상당 부분이 복잡한 다중 자유도 관절 (480 개의 2-DoF 관절) 입니다. 이는 PartNet-Mobility 의 단일 자유도 중심과 대조됩니다.
• 교차 데이터셋 평가: Artiverse 에서 학습된 모델은 부분 분할 및 운동 예측 지표 (예: F1 점수) 에서 PartNet-Mobility 에서 학습된 모델보다 우수한 성과를 거두어, 데이터셋의 다양성과 품질이 모델 일반화를 향상시킴을 나타냅니다.
• 생성 성능: 이미지에서 관절형 물체로 생성하는 작업에서 Artiverse 에서 학습된 SINGAPO 는 VLM 사전 지식에 의존하는 모델보다 더 높은 gIoU 와 더 낮은 충돌률 (AOR) 을 달성하여, 상세한 관절 합성을 위한 구조화된 데이터 사전 지식의 중요성을 강조합니다.

의의

이 논문은 Artiverse 가 관절형 물체에 대한 기능적 이해를 발전시키는 데 중요한 자원으로 작용한다고 주장합니다. 물리적 기반을 갖춘 다양하고 운동학적으로 복잡한 자산을 제공함으로써 다음과 같은 것을 가능하게 합니다.

• 부분 이동성 분석 및 관절형 물체 생성을 위한 더 견고한 학습 기반 방법의 개발.
• 현실적인 인터랙티브 장면과 몰입형 가상 환경의 창출.
• 물체 조작과 같은 인터랙티브 작업을 위한 물리 기반 시뮬레이터에서 구체화된 에이전트의 학습 및 평가.

저자들은 Artiverse 를 단순한 데이터 수집이 아닌, 복잡한 다중 자유도 관절에 대한 추론에서 현재 방법의 한계를 드러내는 벤치마크로 위치시킴으로써, 관절형 행동에 대한 통합 추론에 대한 향후 연구를 고무시킵니다. 이 데이터셋은 시뮬레이션 및 생성 모델링 작업에서의 즉각적인 채택을 용이하게 하기 위해 표준화된 형식으로 출시됩니다.