기술 요약: INSTRUCT-PARTICULATE

문제 정의

3D 객체의 관절 구조를 재구성하는 것(관절이 있는 부품과 관련 조인트 파라미터로 분해하는 것)은 애니메이션, 게임 및 로봇 시뮬레이션에 있어 매우 중요합니다. 그러나 이 분야의 발전은 고품질의 주석(annotation)이 달린 관절형 3D 데이터의 부족으로 인해 정체되어 왔습니다. 기존 방식들은 소규모의 수동 큐레이션 데이터셋(예: PartNet-Mobility)에 의존하고 있으며, 이는 새로운 객체 카테고리나 다양한 기하학적 구조로 일반화하는 능력을 제한합니다. 또한, 주어진 3D 객체에 대한 부품의 세분화 정도(granularity)와 의미론적 정의의 내재적 모호함으로 인해, 이질적인 데이터로 학습된 모델은 최적이 아닌 "평균화된" 결과를 생성하는 경우가 많습니다.

방법론

저자들은 명시적인 운동학적 지침(kinematic instructions)에 따라 정적인 3D 자산(메쉬)으로부터 관절 구조를 추론하도록 설계된 피드포워드(feed-forward) 모델인 INSTRUCT-PARTICULATE를 제안합니다.

1. 데이터 구축 및 확장

데이터 부족 문제를 극복하기 위해, 저자들은 세 가지 상호 보완적인 전략을 사용하여 150,000개 이상의 이질적인 관절형 3D 객체로 구성된 데이터셋을 구축했습니다:

• VLM 기반 의사 라벨링(Pseudo-Labeling): 시각-언어 모델(VLM)을 활용하여 27,000개의 합성 3D 자산의 다중 뷰 렌더링으로부터 운동학적 구조(부품 이름, 연결성, 조인트 유형)를 추출하는 파이프라인입니다. VLM은 세그멘테이션 마스크를 생성하며, 이를 3D로 역투영(unproject)합니다.
• 부품 분할 모델의 증강: 기존에 부품 분해는 되어 있으나 운동학적 라벨이 없는 120,000개의 자산을 대상으로, 파이프라인은 부품에 대한 텍스트 캡션을 생성합니다. 결정적으로, 모호함(예: 동일한 테이블 다리)을 처리하기 위해 시스템은 정형화된 방향(canonical orientation)이 존재하는 경우에만 공간적 단서를 사용하며, 그렇지 않으면 기하학적 포인트 프롬프트에 의존하여 의미론적으로 동일한 부품에 동일한 캡션을 할당합니다.
• 코딩 에이전트 생성: 전문화된 3D 코딩 에이전트인 Articraft를 사용하여 정밀한 조인트 파라미터를 갖춘 10,000개의 완전 감독된 관절형 객체를 생성했습니다.

2. 모델 아키텍처

모델은 3D 메쉬(포인트 클라우드로 표현됨)와 운동학적 조건 $C$를 처리하는 확장 가능한 인코더-디코더 아키텍처를 채택합니다. 조건 $C$는 다음을 포함합니다:

• 운동학적 트리 구조 $K$ (부품 및 연결성).
• 각 부품을 설명하는 텍스트 프롬프트 ($t_p$).
• 부품의 특정 위치를 나타내는 선택적 3D 포인트 프롬프트 ($x_p$).

인코딩(Encoding):

• 형태 토큰(Shape Tokens): 메쉬에서 샘플링된 포인트들은 표면 법선(surface normals) 및 특징(PartField를 통해)과 함께 인코딩되며, 크로스 어텐션(cross-attention)을 통해 잠재 형태 토큰으로 압축됩니다.
• 쿼리 토큰(Query Tokens): 부품 연관성을 예측하기 위해 표면에서 추가로 샘플링된 포인트들입니다.
• 부품 토큰(Part Tokens): 텍스트 프롬프트는 CLIP을 통해 인코딩되며 포인트 프롬프트 임베딩과 결합됩니다.

프로세싱(Processing):
토큰들은 $B$개의 트랜스포머 블록을 통해 처리됩니다. 부품 토큰은 형태 토큰에 대한 셀프 어텐션(self-attention) 및 크로스 어텐션을 통해 업데이트되어 관절 파라미터를 추론합니다. 쿼리 토큰은 형태 토큰과 업데이트된 부품 토큰 모두에 크로스 어텐션을 수행하여 부품 멤버십을 결정합니다. 특히, 속도를 보장하고 쿼리 포인트 수로부터 독립성을 유지하기 위해 쿼리 토큰 간의 셀프 어텐션은 생략됩니다.

디코딩(Decoding):

• 부품 세그멘테이션(Part Segmentation): MLP가 쿼리-부품 쌍의 점수를 매겨 표면 포인트를 특정 부품에 할당합니다.
• 조인트 운동 파라미터(Joint Motion Parameters): 움직이는 각 조인트에 대해, 모델은 과잉 매개변수화(over-parameterized) 방식으로 운동 파라미터(축 방향, 피벗 포인트, 운동 범위)를 예측합니다. 모델은 각 쿼리 포인트에 대해 조인트 축의 가장 가까운 점과 조인트의 하한 및 상한 위치에서의 점을 예측합니다. 이러한 per-query 예측들은 기하학적으로 집계되어 각 조인트에 대한 단일 공유 운동 축과 범위를 복구합니다.

주요 기여

1. INSTRUCT-PARTICULATE 모델: 정적 3D 객체와 운동학적 지침을 입력받아 부품 세그멘테이션 및 조인트 운동 파라미터를 포함한 완전한 관절형 3D 객체를 출력하는 최첨단 피드포워드 모델입니다.
2. 확장 가능한 데이터 엔진: VLM과 코딩 에이전트를 활용하여 150,000개 이상의 대규모 다양성을 가진 관절형 3D 객체 데이터셋을 의사 라벨링하고 생성하는 파이프라인을 구축했습니다.
3. 운동학적 컨디셔닝(Kinematics Conditioning): 명시적인 운동학적 지침(구조, 텍스트, 포인트)이 타겟 관절 구조를 모호함을 해소하도록 하는 새로운 정식화로, 모델이 최적이 아닌 평균값으로 수렴하지 않고 다양한 주석으로부터 학습할 수 있게 합니다.
4. 이미지-투-3D 관절화(Image-to-3D Articulation): 본 모델이 기존의 3D 생성기와 결려 실제 세계의 이미지로부터 다양하고 사실적인 관절형 3D 자산을 직접 생성할 수 있음을 보여주는 실용적인 파이프라인을 제시합니다.

실험 결과

모델은 14개 카테го리에 걸쳐 고품질 관절형 객체를 포함하고 있는 Lightwheel 데이터셋에서 평가되었습니다.

• 정량적 성능: INSTRUCT-PARTICULATE는 모든 입력 모드(이미지만, 메쉬, 메쉬+운동학)에서 8개의 기존 베이스라인(SINGAPO, PAct, PhysX-Anything, URDF-Anything+ 포함)을 일관되게 능가했습니다.
  • "Mesh + Kinematic" 설정에서, 모델은 **97.3%**의 부품 일치 정밀도(precision)와 **95.9%**의 재현율(recall)을 달립했으며, 휴지 상태 포즈(rest-pose) 세그멘테이션에서 0.821 gIoU, 관절 기하학에서 0.757 gIoU를 달성했습니다.
  • 베이스라인 대비 조인트 축 오차(각도 오차: 9.5°, 위치 오차: 0.015)를 크게 줄였습니다.
• 어블레이션 연구(Ablation Studies):
  • 데이터: 기존 데이터셋(PartNet-Mobility, GRScenes)만으로 학습된 모델은 심각하게 과적합되어 일반화에 실패했습니다. 의사 라벨링 및 코딩 에이전트 생성 데이터의 포함은 세그멘테이션과 조인트 추정 모두에서 상호 보완적인 이득을 제공했습니다.
  • 컨디셔닝: 운동학적 컨디셔닝을 제거하면 성능이 급격히 저하되었으며, 이는 명시적인 지침이 부품의 세분화 및 의미론적 모호성을 해결하는 데 필수적임을 확인시켜 줍니다. 포인트 프롬프트는 프롬프트 유형 중 가장 큰 성능 향상을 제공했습니다.
• 정성적 결과: 모델은 베이스라인이 실패했던 작은 관절 부품(버튼, 노브) 및 복잡한 구조(스탠드 믹서, 커피 머신)를 성공적으로 복구했습니다. 또한 텍스트를 통해 왼쪽/오른쪽 서랍을 구분하거나 24개의 개별 버튼 조인트를 처리하는 등 특정 운동학적 프롬프를 따르는 능력을 입증했습니다.

의의 및 주장

본 논문은 VLM 기반의 확장 가능한 데이터 엔지니어링을 통해 데이터 부족 병목 현상을 해결함으로써 INSTRUCT-PARTICULATE가 관절형 객체 이해의 중요한 진전을 이루었다고 주장합니다. 운동학적 제어를 도입함으로써 모델은 특정 주석 세분화도를 목표로 할 수 있으며, 이를 통해 이전에는 사용할 수 없었던 이질적인 훈련 데이터를 활용할 수 있게 되었습니다.

저자들은 이 접근 방식이 실제 세계의 이미지로부터 다양하고 물리 법칙이 적용 가능한 관절형 자산을 생성할 수 있게 하여, 정적 3D 생성과 동적 시뮬레이션 사이의 간극을 메운다고 주장합니다. 이 연구는 소규모의 수동 주석 데이터셋의 한계를 넘어, 대규모의 카테고리 불가지론적(category-agnostic) 학습 체제로 이동하여 Embodied AI를 위한 시뮬레이션 자산을 만들기 위한 실용적인 솔루션으로 제시됩니다.