Articulated 3D Scene Graphs for Open-World Mobile Manipulation

이 논문은 모바일 매니퓰레이션 로봇이 실제 환경에서 작동하는 물체의 운동학적 특성을 이해하고 예측할 수 있도록, RGB-D 시퀀스를 기반으로 객체 상호작용을 분할하고 관절 모델을 추정하며 계층적 의미 정보를 통합한 새로운 프레임워크인 MoMa-SG 와 Arti4D-Semantic 데이터셋을 제안합니다.

핵심

1. 문제: 로봇은 "상자"만 보고 "문"은 못 봅니다

기존의 로봇은 주변 환경을 지도로 만들 때, 물체를 **'고정된 상자'**로만 인식했습니다. 예를 들어, 로봇은 냉장고 문을 보더라도 그것이 '열리고 닫히는 문'이라는 사실을 모릅니다. 그저 벽에 붙어 있는 평평한 사각형으로만 봅니다.

그래서 로봇이 냉장고를 열려고 하면, 문을 밀어붙이다가 멈추거나, 문을 어떻게 여야 할지 몰라 헤매게 됩니다. 마치 자물쇠가 달린 상자를 열려고 열쇠 구멍을 찾지 않고 그냥 밀어붙이는 사람과 같습니다.

2. 해결책: MoMa-SG (로봇의 '직관력'과 '기억')

이 연구팀이 개발한 MoMa-SG는 로봇에게 두 가지 능력을 부여합니다.

• 능동적인 관찰 (눈): 로봇이 사람이 냉장고를 열거나 서랍을 끄는 모습을 한 번만 보면, 그 물체가 어떻게 움직이는지 (회전하는지, 미끄러지는지) 를 파악합니다.
• 상상력 (기억): 단순히 "문이 열렸다"는 사실만 기억하는 게 아니라, **"이 문이 열리면 안에 있는 우유도 같이 움직인다"**는 관계까지 이해합니다.

이를 위해 로봇은 3D 장면 그래프라는 것을 만듭니다. 이는 마치 레고 블록으로 만든 지도와 같습니다.

• 일반적인 지도: "냉장고가 여기 있고, 우유가 저기에 있다"라고만 적습니다.
• MoMa-SG 지도: "냉장고 문 (A) 은 회전해서 열리고, 문이 열리면 문에 붙어 있는 우유 (B) 도 같이 움직인다"라고 관계와 움직임까지 적어둡니다.

3. 작동 원리: "점"으로 추적하는 마법

로봇이 어떻게 움직임을 파악할까요?

1. 점 추적 (Point Tracking): 로봇은 사람의 손이나 물체의 움직임을 추적할 때, 물체 전체를 다 보지 못해도 됩니다. 물체 표면의 작은 점들 (dots) 몇 개만 따라가도 됩니다. 마치 연에 달린 실을 따라가면 연의 움직임을 알 수 있는 것과 같습니다.
2. 가상 시뮬레이션: 로봇은 이 점들의 움직임을 보고 "아, 이 물체는 회전하는 문이구나" 혹은 "이것은 미끄러지는 서랍이구나"라고 추측합니다.
3. 관계 파악: 문을 열었을 때, 문 뒤에 숨겨진 물건이 드러나면 로봇은 "아! 이 물건은 문과 함께 움직이는구나 (또는 문 뒤에 숨겨져 있구나)"라고 판단하여 부모 (문) 와 자녀 (물건) 의 관계를 그래프에 기록합니다.

4. 실제 실험: 로봇이 스스로 냉장고를 엽니다

연구팀은 이 기술을 실제 로봇 (네 발 달린 스팟 로봇과 손이 달린 이동 로봇) 에 적용했습니다.

• 상황: 로봇에게 "냉장고에서 우유를 꺼내오라"고 명령했습니다.
• 과거의 로봇: 냉장고를 보자마자 멈칫하거나, 문을 부수는 시도를 합니다.
• MoMa-SG 로봇:
  1. 냉장고를 인식하고 "이건 회전하는 문이야"라고 판단합니다.
  2. 문을 여는 궤적을 계산합니다.
  3. 문을 열고, 안에 있는 우유를 찾아 집어 올립니다.
  4. 만약 문을 열다가 손이 미끄러져 실패하면, "아, 다시 시도해야겠다"라고 생각하고 다시 문을 엽니다.

요약: 왜 이것이 중요한가요?

이 기술은 로봇이 미리 프로그래밍된 명령만 따르는 기계가 아니라, 주변 환경을 보고 스스로 추론하는 지능적인 도우미가 되게 합니다.

• 창의적인 비유: 마치 유아기 아이가 장난감을 만지며 "이건 열리고, 저건 미끄러진다"는 것을 스스로 배우는 것처럼, 로봇도 한 번의 경험을 통해 세상 모든 문과 서랍을 이해할 수 있게 된 것입니다.

이제 로봇은 우리 집의 복잡한 문과 서랍을 두려워하지 않고, 자연스럽게 "열고, 닫고, 꺼내고" 할 수 있게 되었습니다. 이는 로봇이 우리 일상생활에 진짜로 들어오기 위한 중요한 첫걸음입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 로봇 매핑 및 3D 씬 그래프 연구는 정적 (quasi-static) 인 환경에 초점을 맞추거나, 의미론적 (semantic) 이해와 공간적 관계에 중점을 두었습니다. 그러나 실제 인간 생활 환경 (가정, 사무실 등) 에서는 서랍, 문, 캐비닛 등 관절형 (articulated) 객체가 매우 흔하며, 로봇이 이를 조작하려면 단순히 물체의 위치를 아는 것을 넘어 운동학적 (kinematic) 행동을 예측할 수 있어야 합니다.

기존 방법론들의 한계는 다음과 같습니다:

• 운동학적 이해 부재: 로봇이 물체가 어떻게 움직이는지 (회전, 병진 운동 등) 를 사전에 알지 못하면, 정합 제어 (compliant control) 를 통한 매니퓰레이션이 어렵습니다.
• 데이터 및 환경 제한: 기존 관절형 객체 추정 연구는 주로 합성 데이터, 마커, 또는 제한된 시점에만 의존하거나, 완전한 가시성을 가정하여 실제 '인-더-윌드 (in-the-wild)' 환경에서 적용하기 어렵습니다.
• 장기적 작업 (Long-horizon) 의 어려움: 여러 개의 관절형 객체가 있는 복잡한 환경에서 로봇이 자율적으로 탐색하고 조작하기 위해서는 의미론적 정보와 운동학적 모델이 통합된 표현이 필요합니다.

2. 제안 방법론: MoMa-SG

저자들은 MoMa-SG라는 새로운 프레임워크를 제안합니다. 이는 인간이 다양한 관절형 객체와 상호작용하는 RGB-D 시퀀스를 한 번의 관찰 (one-shot) 로 분석하여, 의미론적 - 운동학적 3D 씬 그래프를 구축하는 것을 목표로 합니다.

주요 구성 요소:

1. 상호작용 발견 (Interaction Discovery):

   • YOLOv9 기반의 상호작용 마스크 (손 등) 와 깊이 차분 (Depth Disparity) 을 결합하여 동적인 객체 운동이 발생하는 시간 구간을 탐지합니다.
   • 가려짐 (occlusion) 이나 낮은 동적 특성을 가진 상호작용도 robust 하게 탐지할 수 있도록 확률적 세그멘테이션을 수행합니다.

2. 관절형 추정 (Articulation Estimation):

   • 점 추적 (Point Tracking): CoTracker3 를 사용하여 가려짐에 강인한 점 궤적을 추출합니다.
   • 정규화된 트위스트 추정 (Regularized Twist Estimation): 기존 트위스트 (Twist) 기반 추정 방식이 노이즈에 취약한 점을 보완하기 위해, 새로운 정규화 목적 함수를 제안합니다. 이는 회전 (revolute) 과 병진 (prismatic) 관절을 구분하기 위해 벡터 간 점곱 (dot product) 사전 지식을 활용하여, 관측된 궤적의 기하학적 특성을 기반으로 회전축과 병진축을 한 번의 최적화 과정으로 robust 하게 추정합니다.
   • 모드 이해: 추정된 운동 파라미터와 VLM(Vision-Language Model, GPT-5-mini) 을 결합하여 상호작용이 '열기 (Opening)'인지 '닫기 (Closing)'인지 식별합니다.

3. 관절형 3D 씬 그래프 구축 (Scene Graph Construction):

   • 3D 부분 매핑: CLIP 특징을 활용한 오픈-보카불러리 (open-vocabulary) 3D 부분 매핑을 수행하여 객체를 분할하고 의미론적 레이블을 부여합니다.
   • 객체 - 관절 매칭: 추정된 관절 모델과 매핑된 3D 객체를 매칭하기 위해 **이진 정수 계획법 (Binary Integer Program, BIP)**을 사용하여, 하나의 객체가 여러 관절에 중복 매칭되는 것을 방지하고 3D 중첩을 최소화하는 최적 할당을 찾습니다.
   • 포함된 객체 발견 (Contained Objects Discovery): 관절형 부모 객체 (예: 냉장고 문) 가 최대 개방된 상태와 폐쇄된 상태를 비교하여, 내부에 있는 객체 (자식 노드) 가 부모와 함께 움직이는지 (ARTICULATED) 아니면 정적인지 (STATIC) 를 추론하여 계층적 관계를 구성합니다.

3. 주요 기여 (Key Contributions)

1. MoMa-SG 프레임워크: 자전 (ego-centric), 타전 (exo-centric), 로봇 중심 (robot-centric) 관찰 모두에서 작동하며, 한 번의 관찰로 오픈 월드 환경의 모바일 매니퓰레이션을 가능하게 하는 통합 프레임워크입니다.
2. Arti4D-Semantic 데이터셋: 관절형 객체 추정과 의미론적 씬 이해를 연결하는 최초의 계층적 인터랙티브 3D 씬 그래프 데이터셋입니다. 62 개의 RGB-D 시퀀스, 600 개의 상호작용, 부모 - 자식 관계 레이블, 운동 축 주석 등을 포함합니다.
3. 정규화된 트위스트 최적화: 실제 환경의 드리프트와 가려짐이 있는 점 궤적에서도 회전 및 병진 관절을 일반성 (generality) 을 잃지 않고 robust 하게 추정하는 새로운 목적 함수를 제안했습니다.
4. 실제 로봇 실험: 2 가지 다른 로봇 embodiment(Toyota HSR, Boston Dynamics Spot) 와 환경에서 실제 모바일 매니퓰레이션 성공을 입증했습니다.

4. 실험 결과 (Results)

• 상호작용 세그멘테이션: Pandora, HMM, ArtiPoint 등 기존 방법 대비 1D-IoU(0.649) 및 세그먼트 IoU 에서 우수한 성능을 보였습니다.
• 관절형 추정:
  • Arti4D 데이터셋: 회전축 오차 (22.98°), 병진축 오차 (0.091m), 타입 예측 정확도 (88.4%) 에서 기존 최상위 방법 (ArtiPoint, Pandora 등) 을 모두 능가했습니다.
  • DROID 데이터셋: 로봇 조작 데이터셋에서도 타입 정확도 (89.5%) 와 축 오차에서 큰 개선을 보였습니다.
• 객체 이해: 포함된 객체 (Contained Objects) 발견 및 부모 - 자식 관계 추론에서 Pandora 대비 Relation Accuracy(0.592 vs 0.197) 가 크게 향상되었습니다.
• 실제 로봇 적용:
  • HSR 및 Spot 로봇: 다양한 관절형 객체 (서랍, 문 등) 를 열고 닫는 작업에서 80% 이상의 성공률을 달성했습니다.
  • 자연어 기반 작업: "냉장고에서 우유를 꺼내오라"와 같은 고수준 명령을 받아, 냉장고 열기 → 내용물 확인 → 우유 추출의 일련의 작업을 자율적으로 수행했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇이 인간 중심의 동적 환경에서 장기적 작업을 수행하기 위해 필수적인 의미론적 (Semantic) 정보와 운동학적 (Kinematic) 정보의 통합을 성공적으로 달성했습니다.

• 실용성: 마커나 사전 정의된 카테고리 없이도, 실제 가정 환경에서 다양한 로봇이 관절형 객체를 이해하고 조작할 수 있는 기반을 마련했습니다.
• 데이터셋 기여: Arti4D-Semantic 데이터셋은 향후 관절형 객체 이해와 3D 씬 그래프 연구의 벤치마크로 활용될 것입니다.
• 확장성: 제안된 방법은 다양한 로봇 embodiment 에 적용 가능하며, 자연어 기반의 복잡한 작업 계획 (Long-horizon planning) 을 위한 강력한 백본 (backbone) 으로 작용합니다.

결론적으로, MoMa-SG 는 로봇이 "무엇을 (What)"과 "어떻게 움직이는지 (How)"를 동시에 이해하여, 오픈 월드 환경에서의 자율적인 모바일 매니퓰레이션의 장벽을 낮춘 획기적인 연구입니다.