🤖 AI

FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations

FAMOS는 멀티 스테이트 아티큘레이션 트랜스포머(Multi-state Articulation Transformer)를 통해 여러 관측치를 공동으로 추론하고 데이터셋의 한계를 극복하기 위해 절차적 데이터 생성기를 활용함으로써, 희소하고 순서가 없는 부분 포인트 클라우드로부터 3D 관절 파라미터와 가동 부품 세그멘테이션을 예측하는 피드포워드 모델이다.

원저자: Kevin Qu, Tao Sun, Massimiliano Viola, Liyuan Zhu, Zhizhuo Zhou, Sayan Deb Sarkar, Konrad Schindler, Iro Armeni

게시일 2026-09-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kevin Qu, Tao Sun, Massimiliano Viola, Liyuan Zhu, Zhizhuo Zhou, Sayan Deb Sarkar, Konrad Schindler, Iro Armeni

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 공학과 가상 현실의 세계에서, 일상적인 물체가 어떻게 움직이는지 기계에게 가르치는 것은 오랫동안 지속된 난제였습니다. 우리는 문을 열거나, 서랍을 밀거나, 스위치를 올리는 등의 동작을 통해 물리적 세계와 상호작용하며, 이러한 동작들은 고정된 베이스에 대해 물체의 일부가 상대적으로 움직이는 방식에 의존합니다. 컴퓨터가 이러한 물체의 디지털 트윈(시뮬레이션에서 조작하거나 로봇 팔이 사용할 수 있는 형태)을 생성하려면, 어떤 부분이 움직일 수 있는지, 그리고 그 부분이 정확히 어떻게 회전하거나 미끄러지는지를 먼저 파악해야 합니다. 이는 어렵습니다. 왜냐하면 물체의 단일 스냅샷은 그 퍼즐을 풀기 위해 필요한 핵심 단서들을 종종 숨겨버리기 때문입니다. 닫힌 캐비닛 사진은 그 문이 어떻게 휘둘러지는지에 대해 아무것도 알려주지 않으며, 비디오의 단일 프레임 역시 문의 전체 가동 범위를 보여줄 수 없는 것과 같습니다. 이를 해결하기 위한 이전의 시도들은 모든 각도에서 촬영된 정교하고 고품질인 스캔 데이터를 요구하거나, 컴퓨터가 이전에 보았던 것을 바탕으로 물체의 동작을 추측하는 방식에 의존했는데, 이러한 전략은 낯선 모양이나 불완전한 시야를 마주했을 때 자주 실패하곤 했습니다.

스탠퍼드 대학교와 ETH 취리히의 연구진은 여러 개의 불완전한 각도에서 동시에 물체를 바라봄으로써 이러한 한계를 극복하도록 설계된 FAMOS라는 새로운 접근 방식을 선보였습니다. 완벽하고 완전한 3D 스캔을 요구하는 대신, 이 시스템은 마치 사람이 휴대폰으로 찍은 일상적인 사진처럼 희소한 부분적 뷰(partial views)의 집합으로 작동합니다. 핵심적인 혁신은 모델이 각 뷰를 개별적으로 다루지 않는다는 점입니다. 대신, 시스템은 관찰된 전체 집합을 함께 살펴봄으로써 '움직임'이라는 공통된 실마리를 찾아냅니다. 가시적인 표면이 하나의 뷰에서 다른 뷰로 어떻게 변하는지를 비교함으로써, 시스템은 어떤 부분이 움직이는지 추론하고, 그것이 회전하는 정확한 축이나 미끄러지는 방향을 계산할 수 있습니다. 이를 통해 모델은 데이터가 파편화되어 있고 본 적 없는 물체라 할지라도 물체의 역학 구조를 정확하게 구축할 수 있습니다.

연구진은 입력값의 개수가 가변적인 상황을 처리할 수 있도록 시스템을 구축했습니다. 즉, 필요하다면 단 하나의 뷰만으로도 작동할 수 있지만, 여러 개의 뷰가 주어졌을 때 성능이 훨씬 더 뛰어납니다. 모델은 단일 이미지 내의 세부 사항에 집중하는 단계와 모든 이미지를 한꺼번에 비교하기 위해 한 걸음 물러나는 단계를 번갈아 수행하는 특화된 아키텍처를 통해 부분적인 뷰들을 처리합니다. 이러한 이중 초점 덕분에 모델은 물체의 움직임에 대한 전체 이야기를 구성할 수 있습니다. 이 시스템을 훈련시키기 위해 연구진은 실제 세계의 데이터 부족 문제에 직면했습니다. 수천 개의 물체에 대해 움직이는 부품과 관절 유형을 수동으로 라벨링하는 작업은 매우 느리고 비용이 많이 드는 과정이기 때문입니다. 이를 해결하기 위해 연구진은 훈련 중에 수천 개의 합성 물체를 즉석에서 생성하는 절차적 생성기(procedural generator)를 만들었습니다. 이 디지털 자산들은 상자나 원기둥 같은 기본 기하학적 형상들로 조립되며, 컴퓨터에 의해 만들어졌기 때문에 시스템은 인간의 라벨링 없이도 모든 부품이 어떻게 움직이는지 정확히 알 수 있습니다. 이는 모델에게 사실상 무한한 연습 데이터를 제공하여, 단순히 특정 모양을 암기하는 것이 아니라 움직임의 패턴을 인식하도록 가르쳤습니다.

기존 방식들과 비교했을 때, 이 새로운 시스템은 명확한 우위를 입증했습니다. 관절이 있는 물체에 대한 표준 벤치마크를 사용한 실험에서, 이 모델은 기존의 피드포워드(feed-forward) 방식과 많은 계산량을 요구하는 복잡한 최적화 기반 기술들을 모두 능가했습니다. 기존 방식들은 새로운 미지의 물체에 일반화하는 데 어려움을 겪거나 입력 데이터가 불완전할 때 실패하는 경우가 많았던 반면, 새 시스템은 높은 정확도를 유지했습니다. 특히 움직이는 부품을 식별하고 힌지의 각도나 슬라이드의 방향과 같은 움직임 매개변수를 예측하는 데 매우 효과적이었습니다. 한 테스트 세트에서, 이 시스템은 다음으로 우수한 방법과 비교했을 때 움직임 추정 정확도를 상당한 차이로 개선하면서도, 최적화 기반의 대안들보다 거의 3,000배 빠르게 실행되었습니다. 무엇보다 놀라운 점은, 이 시스템이 전적으로 합성된 컴퓨터 생성 데이터로 훈련되었음에도 불구하고, 실제 물체의 사진과 포인트 클라우드에 성공적으로 일반화되어 훈련 중에 실제 물체를 본 적이 없음에도 불구하고 실제 물체가 어떻게 움직이는지를 정확하게 예측했다는 것입니다.

이러한 결과는 물체의 역학을 이해하는 열쇠가 완벽한 데이터에 있는 것이 아니라, 여러 관찰을 가로질러 추론하는 능력에 있다는 것을 시사합니다. 모델이 일련의 부분적인 뷰들 사이의 차이점을 설명하도록 강제함으로써, 시스템은 정적인 기하학적 구조를 무시하고 움직임의 동적인 증거에 집중하는 법을 배웁니다. 이러한 접근 방식은 컴퓨터가 의자나 캐비닛이 "어떠해야 한다"는 사전 학습된 가정에 의존할 필요를 없애주며, 이를 통해 새로운 디자인과 불규칙한 모양에도 적응할 수 있게 합니다. 이 연구는 적절한 훈련 전략과 뷰 사이의 관계를 가치 있게 여기는 방법이 있다면, 기계가 물리적 세계의 숨겨진 역학을 보는 법을 배울 수 있음을 보여줍니다. 이는 더 유능한 로봇과 인간처럼 자연스럽게 물체와 상호작용하는 더욱 몰입감 있는 가상 환경을 위한 길을 열어줍니다.

기술 요약: FAMOS

문제 정의
희소한 단안 관측(monocular observations)으로부터 관절이 있는 객체(articulated objects)를 모델링하는 것은 개별 뷰가 부분적인 기하학적 구조와 운동 증거만을 보여주기 때문에 본질적으로 매우 어렵습니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

**최적화 기반 방법(Optimization-based methods)**은 모든 관절 상태에 대해 조밀한 다중 뷰 관측을 필요로 하며, 종종 사전 지식(예: 움직이는 부품의 수)을 가정하므로 확장성과 실용성이 제한됩니다.
**비디오 기반 방법(Video-based methods)**은 상호작용 시퀀스에 대한 포인트 트래킹에 의존하며, 이로 인해 폐쇄(occlusion) 또는 다중 부품 운동 상황에서 오차 전파에 취약합니다.
**단일 상태 피드포워드 방법(Single-state feed-forward methods)**은 학습된 범주 수준의 형상 사전 지식(shape priors)으로부터 관절 구조를 추론합니다. 단일 정적 관측에는 운동 증거가 포함되어 있지 않으므로, 이러한 방식은 모호함에 취약하며 미학습된 기하학적 구조나 부분적인 입력에 대해 일반화하는 데 어려움을 겪습니다. 또한, 서로 다른 상태에 있는 객체의 여러 관측치가 가용하더라도, 기존의 피드포워드 방식은 대개 이들을 독립적으로 처리하여 근본적인 운동 단서(motion cues)를 활용하지 못합니다.

방법론
저자들은 FAMOS(Feed-Forward 3D Articulation Modeling from Sparse Observations)를 제안합니다. 이 모델은 단일 피드포워드 패스를 통해 희소하고 순서가 정해지지 않은 부분 점구름(partial point clouds) 집합으로부터 움직이는 부품의 세그멘테이션과 관절 파라미터를 예측합니다.

입력 표현(Input Representation): 모델은 공유 좌표계 내의 부분 점구름( $X_s$ )으로 표현된 가변적인 수의 관측치( $S$ )를 수용합니다. 움직이는 부품의 수나 입력 상태의 수를 미리 알 필요가 없습니다.
아키텍처 (다중 상태 관절 트랜스포머 - Multi-state Articulation Transformer):
- 포인트 인코딩(Point Encoding): 각 관측치는 고정된 PartField 백본과 기하학적 임베딩(좌표 및 법선)을 사용하여 독립적으로 인코딩됩니다. 결정적으로, 포인트 토큰에 상태 인덱스 임베딩을 추가하지 않음으로써 모델이 가변적인 수의 입력을 유연하게 처리할 수 있도록 합니다.
- 어텐션 메커니즘(Attention Mechanism): 핵심 혁신은 두 가지 어텐션 단계가 교차되는 $L$ $L$ 개의 레이어로 구성된 트랜스포머 아키텍처입니다:
  1. 상태별 어텐션(State-wise Attention): 각 관측의 포인트 토큰 내에서 셀프 어텐션이 적용되어 국소적인 기하학적 문맥을 집계합니다. 파트 쿼리(part queries) 또한 표현을 조정하기 위해 셀프 어텐션을 수행합니다.
  2. 글로벌 어텐션(Global Attention): 업데이트된 쿼리와 모든 관측으로부터의 포인트 토큰들이 하나의 시퀀스로 결합됩니다. 이를 통해 쿼리는 모든 상태에 걸친 모든 포인트로부터 증거를 수집할 수 있으며, 서로 다른 관측 간의 직접적인 포인트 간 상호작용을 가능하게 합니다. 이러한 직접적인 교차 관측 대응(cross-observation correspondence)은 순서가 정해지지 않고 부분적으로 중첩된 입력을 처리하는 데 필수적입니다.
- 예측 헤드(Prediction Heads): 경량 MLP가 정제된 토큰을 디코딩하여 다음을 출력합니다: (i) 파트 세그멘테이션(모든 상태에 걸쳐 포인트를 부품에 할당), (ii) 관절 유형(고정, 회전 또는 프리즘), (iii) 관절 파라미터(축, 원점 또는 방향).
관측된 관절 범위 목적 함수(Observed Articulation Span Objective): 모델이 단일 관측이나 학습된 사전 지식에 의존하는 것(학습 지름길/learning shortcut)을 방지하기 위해, 저자들은 보조 손실 항을 도입합니다. 이 목적 함수는 가시적인 입력 관측들 전반에 걸쳐 부품이 보여주는 관절 값(각도 또는 변위)의 범위인 관측된 관절 범위( $\Delta_p$ )를 감독합니다. 이 범위를 예측하도록 강제함으로써, 모델이 단일 뷰에서 정적 특성을 추론하는 대신 모든 상태에서 동일한 물리적 부품을 일관되게 국지화하고 전체 집합으로부터 운동 단서를 집계하도록 만듭니다.
절차적 데이터 생성(Procedural Data Generation): 기존의 관절 객체 데이터셋의 부족함과 낮은 다양성을 해결하기 위해, 저자들은 절차적 에셋 생성기를 도입합니다. 이 파이프라인은 기하학적 프리미티브(박스, 실린더 등)를 다양한 제품군(예: 캐비닛, 문)으로 조합하고 무작위 차원 및 관절 배치를 적용하여 객체를 구성합니다. 이는 훈련 중에 스스로 주석이 달린 에셋을 즉석에서 합성하여, 수동 주석 없이도 사실상 무제한의 훈련 데이터 스트림을 제공합니다.

주요 기여

FAMOS 모델: 희소한 관측 집합에 대해 공동으로 추론하여 관절 구조를 예측하는 피드포워드 방식으로, 가변적인 수의 입력을 지원하며 형상 사전 지식만이 아닌 관측된 운동에 기반하여 예측을 수행합니다.
다중 상태 관절 트랜스포머: 순서가 정해지지 않은 부분 점구름으로부터 관절 단서를 집계하기 위해 상태별 및 글로벌 어텐션을 교차 사용하는 아키텍처를 활용합니다.
관측된 관절 범위 손실(Observed Articulation Span Loss): 부품의 관측 가능한 운동 범위를 감독함으로써 모델이 전체 관측 집합을 활용하도록 장려하는 새로운 훈련 목적 함수입니다.
절차적 에셋 생성기: 계산 비용을 최소화하면서 훈련 데이터를 확장하고 다양화하기 위해 생성된 에셋을 합성하는 파이프라인입니다.

실험 결과
FAMOS는 세 가지 벤치마크인 PartNet-Mobility(인-디스트리뷰션), ACD(교차 데이터셋, 높은 기하학적 다양성), ArtiCraft-10K(절차적으로 생성됨, 뚜렷한 특성)에서 평가되었습니다.

성능: FAMOS는 최적화 기반 베이스라인(ReArt, ArtGS)과 피드포워드 베이스라인(Particulate) 모두를 일관되게 능가했습니다.
- PartNet-Mobility에서, FAMOS는 가장 강력한 피드포워드 베이스라인의 세그멘테이션 F1 93.6%, 운동 추정 F1(MAO) 90.3%에 비해 세그멘테이션 F1 98.4%, 운동 추정 F1 98.4%를 달성했습니다.
- ACD에서, FAMOS는 다중 상태 Particulate 베이스라인보다 세그멘테이션 F1을 28.2포인트, 운동 추정 F1을 27.8포인트 향상시켰습니다.
- ArtiCraft-10K에서, FAMOS는 세그멘테이션 F1 92.5%, 운동 추정 F1 90.0%를 달성했습니다.
효율성: FAMOS는 최적화 기반 방법보다 거의 3,000배 더 빠릅니다.
일반화: 합성 데이터(절차적 에셋 포함)로만 훈련되었음에도 불구하고, FAMOS는 실제 환경의 캐주얼 캡처 데이터에 대해 강력한 일반화 성능을 보여주었습니다.
절제 연구(Ablations): 글로벌 어텐션이나 관측된 관절 범위 손실을 제거하면 성능이 크게 저하되었으며, 이는 교차 관측 상호작용과 운동 범위 감독의 필요성을 확인시켜 줍니다. 절차적 사전 훈련을 수행하고 생성된 에셋을 큐레이션된 데이터와 혼합했을 때, 특히 외적 분포(out-of-distribution) 벤치마크에서 상당한 이득을 얻었습니다.

의의
본 논문은 FAMOS가 정적 형상 사전 지식으로부터 관절 구조를 추론하는 것에서 벗어나, 희소한 입력 전반의 관측된 운동을 추론하는 방식으로 패러다임을 전환함으로써 중요한 진전을 이루었다고 주장합니다. 순서가 정해지지 않은 부분적 관측으로부터 단서를 효과적으로 집계하고 확장 가능한 절차적 데이터 생성 파이프라인을 활용함으로써, FAMOS는 높은 추론 속도를 유지하면서도 미학습된 기하학 및 실제 시나리오에 대한 견고한 일반화를 달성합니다. 이는 기존의 관절 객체 모델링 접근 방식의 발목을 잡았던 확장성 및 데이터 다양성 문제를 해결합니다.

기술 요약: FAMOS

유사한 논문