기술 요약: Artic-O: 잠재 기하학 학습을 통한 엔드투엔드 관절형 객체 재구성

1. 문제 정의

희소한 다중 상태(multi-state) 이미지로부터 관절형 객체(예: 캐비닛, 서랍)를 재구성하는 것은 완전한 3D 기하 구조, 가동 부위(active parts)의 세그멘테이션, 그리고 운동 메커니즘을 정의하는 파라미터라는 세 가지의 서로 다르면서도 상호 의존적인 구성 요소를 복구해야 하는 도전적인 과제입니다.

기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 기하 기반 방식(Geometry-based methods): 깨끗하고 완전한 3D 입력(포인트 클라우드 또는 메쉬)을 필요로 하며, 이는 실제 환경에서는 확보하기 어려운 경우가 많습니다.
• 이미지 기반 방식(Image-based methods): 인스턴스별 최적화(느리고 시간이 많이 소요됨)에 의존하거나 기하 라이브러리에서 검색하는 방식(정밀도가 제한됨)을 사용합니다.
• 최신 기술(SoTA)의 한계: LARM [Yuan et al. 2025]과 같은 최근 방법들은 피드포워드 신규 뷰 합성(novel-view synthesis)을 사용하여 효율성을 개선했지만, 기하 재구성과 관절 추정을 분리하여 수행합니다. 이러한 디커플링은 재구성 오류가 운동 추정으로 전파되게 만들며, 형상(shape), 가동 부위, 운동 파라미터 간의 일관성을 강제하지 못합니다. 또한, LARM은 별도의 후처리 단계를 통해 관절을 추정해야 하므로 엔드투엔드 파이프라인이 결여되어 있습니다.

2. 방법론: Artic-O

Artic-O는 희소한 다중 상태 이미지(일반적으로 두 개의 엔드포인트 상태와 여러 뷰)로부터 완전한 객체 기하 구조, 가동 부위 세그멘테이션, 관절 파라미터를 동시에 예측하는 엔드투엔드 피드포워드 프레임워크입니다. 핵심 혁신은 정적 객체 재구성을 위해 사용되던 **잠재 기하학 학습(latent geometry learning)**을 관절형 객체 재구성으로 확장한 것입니다.

2.1 아키텍처 개요

본 프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

1. 상태 인식 이미지 인코더 (State-Aware Image Encoder):

   • NOVA3R/VGGT 아키텍처를 기반으로 하며, 두 가지 관절 상태($I_0, I_1$)에서 얻은 희소 이미지를 입력으로 받습니다.
   • 상태 인식 토큰 임베딩(state-aware token embedding) 메커니즘을 채택하여, 관찰된 두 상태를 구별하기 위해 이미지 패치 토큰에 학습 가능한 임베딩을 추가합니다.
   • **기하 잠재 변수(geometry latents, $z_{geo}$)**와 **이미지 토큰($f_{img}$)**을 출력합니다. 기하 잠재 변수는 이미지 증거를 조건으로 하지만 사전 학습된 잠재 공간 내에 존재합니다.

2. 동결된 플로 매칭 형상 디코더 (Frozen Flow-Matching Shape Decoder):

   • 완전한 객체 포인트 클라우드에 대해 학습된 사전 학습된, 동결된 플로 매칭(flow-matching, FM) 디코더를 사용합니다.
   • 이미지 공간에서 직접 기하 구조를 예측하는 대신, 모델은 희소한 관측치를 이 디코더의 잠재 공간으로 매핑합니다.
   • 디코더는 샘플링된 노이즈로부터 예측된 속도장을 통합하여 **완전한 포인트 클라우드($\hat{P}$)**를 재구성합니다. 결정적으로, 이 디코더는 훈련 중에 **동결(frozen)**된 상태를 유지하며, 가려진 부분과 내부 기하 구조를 복구하기 위한 강력한 사전 지식(prior) 역할을 합니다.

3. 이미지 기반 부위 추론 및 관절 헤드 (Image-Grounded Part Reasoning & Articulation Heads):

   • 부위 메모리(Part Memory): 시각적 증거와 기하학적 정보를 효율적으로 연결하기 위해, 모델은 크로스 어텐션을 통해 이미지 토큰과 기하 잠재 변수를 압축된 "부위 메모리" 토큰으로 증류(distill)합니다.
   • 세그멘테이션 헤드(Segmentation Head): 부위 메모리, 포인트 단위 기하 특징($f_{pcd}$), 그리고 이미지 토큰을 사용하여, **가동되는 부위(active moving part)**와 정적 컨텍스트를 구분하는 이진 마스크($\hat{S}$)를 예측합니다.
   • 관절 헤드(Articulation Head): 슬롯 기반 메커니즘을 사용하여 가동 슬롯의 표현과 포인트 단위 특징을 활용해 관절 파라미터를 예측합니다. 이는 프리즘(prismatic, 선형 이동) 및 회전(revolute, 회전) 운동을 모두 지원하며, 축, 원점 및 운동 범위를 예측합니다. 회전 관절의 경우, 축의 위치를 찾기 위해 밀집 투표(dense voting) 메커즘을 사용합니다.

2.2 훈련 전략

생성적 기하 재구성과 판별적 부위 수준 추론이라는 상충하는 목표 사이의 균형을 맞추기 위해, Artic-O는 두 가지 특정 훈련 전략을 사용합니다:

• 기하-관절 커리큘럼 (Geometry-to-Articulation Curriculum):

  • 1단계: 모델은 오직 플로 매칭 손실($L_{fm}$)에 대해서만 훈련되어, 이미지 인코더가 관절형 2-상태 설정에 적응하도록 하여, 부위 수준의 감독(supervision)이 도입되기 전에 잠재 공간이 유효한 기하 구조를 포착하도록 보장합니다.
  • 2단계: 세그멘테이션 및 관절 헤드가 도입됩니다. 이미지 인코더는 낮은 학습률로 업데이트되는 반면, 헤드들은 기하 사전 지식을 불안정하게 만들지 않으면서 빠르게 학습할 수 있도록 높은 학습률로 훈련됩니다.

• 분리된 2-패스 훈련 (Decoupled Two-Pass Training):

  • 단일 훈련 단계 내에서 인코더는 한 번 실행되지만, 동결된 디코더는 서로 다른 노이즈 스케줄에 따라 두 번 실행됩니다.
  • 패스 1 (FM 패스): 표준 노이즈 궤적 샘플을 사용하여 기하 재구성($L_{fm}$)을 최적화합니다.
  • 패스 2 (Seg/Art 패스): 노이즈가 섞인 샘플과 "깨끗한" 샘플(즉, $t=1$, 즉 실제 기하 구조인 샘플)의 혼합을 사용하여 세그멘테이션과 관절을 훈련합니다. 이는 헤드가 모호하지 않은 부위 정체성(깨끗한 상태)으로부터 학습하는 동시에, 추론 시 마주하게 될 불완전한 재구성(노이즈가 있는 상태)에 대해서도 강건함을 유지하도록 보장합니다.

3. 주요 기여

• 엔드투엔드 피드포워드 파이프라인: Artic-O는 완전한 기하 재구성, 가동 부위 세그멘테이션, 관절 파라미터 예측을 단일 피드포워드 패스 내에서 통합한 최초의 방법으로, 인스턴스별 최적화나 별도의 후처리 단계가 필요하지 않습니다.
• 관절을 위한 잠재 기하 사전 지식: 동결된 플로 매칭 디코더를 활용함으로써, 뷰 조건부 방식들이 놓치기 쉬운 완전한 내부 기하 구조와 가려진 구조를 복구하여 관절 추론을 위한 안정적인 구조적 컨텍스트를 제공합니다.
• 이미지 기반 부위 메모리: 다중 뷰, 다중 상태의 시각적 증거를 압축된 표현으로 증류하는 새로운 모듈을 통해, 가동 부위와 정적 컨텍스트를 효과적으로 분리합니다.
• 커리큘럼 및 2-패스 훈련: 생성적 기하 재구성과 판별적 부위 세그멘테이션 및 운동 추정의 요구 사항 사이의 균형을 맞추기 위해 맞춤화된 훈련 체계를 제공합니다.

4. 실험 결과

실험은 LARM의 평가 프로토콜을 따라 PartNet-Mobility 데이터셋에서 수행되었습니다.

• 기하 재구성: Artic-O는 LARM보다 우수한 성능을 보였으며, Chamfer Distance(CD)를 0.019에서 0.017로 줄이고 F-score를 93.8%에서 **95.4%**로 향상시켰습니다. 정성적 결과는 더 완전한 내부 부피와 가려진 영역에 대한 더 나은 처리 능력을 보여줍니다.
• 관절 정확도: 이 방법은 관절 지표 전반에서 대등하거나 더 우수한 정확도를 달성했습니다. 특히, 운동 범위 정확도($M_r$)는 87.0%에서 **93.5%**로, 축-각도 성공률은 96.7%에서 **97.1%**로 향상되었습니다.
• 효율성: 가장 주목할 만한 개선은 추론 속도입니다. Artic-O는 객체를 0.32초 만에 처리하며, 이는 LARM(약 9분)과 비교했을 때 약 1680배 빠른 속도입니다. 이는 반복적인 최적화와 신규 뷰 합성 루프를 피했기 때문입니다.
• 어블레이션 연구 (Ablation Studies):
  • 동결된 기하 사전 지식을 제거하면 기하 및 관절 성능이 모두 저하됩니다.
  • 이미지 기반 부위 메모리를 제거하면 축-각도 성공률이 크게 감소합니다(약 19.8 포인트).
  • 커리큘럼이나 2-패스 훈련을 제거하면 기하 품질과 관절 정확도 모두에서 상당한 하락이 발생합니다.
• 실제 환경 및 다중 부위: 모델은 테스트 시 최적화 없이 실제 아이폰 캡처 데이터에 일반화되며, 독립적인 부위별 추론을 통해 다중 부위 객체로 확장 가능하며, 이러한 시나리오에서도 LARM보다 뛰어난 성능을 보입니다.

5. 의의 및 주장

본 논문은 Artic-O가 상호작용 가능한 3D 에셋의 확장 가능하고 효율적인 재구성을 향한 중요한 진전이라고 주장합니다. 분해된 파이프라인과 최적화 기반 접근 방식에서 벗어남으로써, Artic-O는 다음을 입증합니다:

1. 일관성: 기하와 관절을 엔드투엔드 방식으로 공동 학습하는 것은 분리된 단계보다 형상과 운동 사이의 더 나은 일관성을 제공합니다.
2. 실현 가능성: 깨끗한 3D 입력이나 비용이 많이 드는 인스턴스별 튜닝 없이도 고품질의 관절형 재구성이 실시간(1초 미만) 내에 가능하다는 것을 보여줍니다.
3. 일반화: 잠재 기하학 접근 방식은 모델이 희소하고 불완전한 시각적 증거로부터 그럴듯한 완전한 형상과 운동 메커니즘을 추론할 수 있게 하여, 빠른 에셋 생성이 중요한 디지털 트윈, AR/VR, 로보틱스(embodied intelligence) 등의 다운스트림 애플리케이션에 적합하게 만듭니다.

저자들은 본 방법이 독립적으로 움직이는 부위는 효과적으로 다루지만, 현재 복잡한 키네마틱 체인(kinematic chains)까지는 다루지 못한다는 점을 언급하며 신중한 입장을 유지하고 있습니다. 다만, 일상적인 많은 관절형 객체들은 충분히 커버합니다.