💻 computer science

MomaGraph: State-Aware Unified Scene Graphs with Vision-Language Model for Embodied Task Planning

이 논문은 모바일 매니퓰레이터의 효율적인 작업 계획을 위해 공간적·기능적 관계와 객체 상태를 통합한 새로운 장면 그래프 표현 방식인 **MomaGraph**를 제안하고, 이를 위한 대규모 데이터셋, 평가 벤치마크, 그리고 강화 학습 기반의 시각-언어 모델인 **MomaGraph-R1**을 통해 뛰어난 작업 계획 성능을 입증했습니다.

원저자: Yuanchen Ju, Yongyuan Liang, Yen-Jen Wang, Nandiraju Gireesh, Yuanliang Ju, Seungjae Lee, Qiao Gu, Elvis Hsieh, Furong Huang, Koushil Sreenath

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuanchen Ju, Yongyuan Liang, Yen-Jen Wang, Nandiraju Gireesh, Yuanliang Ju, Seungjae Lee, Qiao Gu, Elvis Hsieh, Furong Huang, Koushil Sreenath

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 제목: "눈치 백단 로봇 만들기: 모마그래프(MomaGraph)"

1. 기존 로봇의 문제점: "눈치는 있지만 센스가 없어요"

기존의 로봇들은 집안일을 시키면 두 가지 큰 문제에 부딪혔습니다.

첫째, "공간만 보고 기능은 몰라요": 로봇에게 "TV를 켜줘"라고 하면, TV가 어디 있는지는 잘 찾습니다. 하지만 TV를 켜려면 '리모컨'이 필요하고, 리모컨의 '버튼'을 눌러야 한다는 **'기능적 연결고리'**를 놓칠 때가 많습니다. 마치 지도(공간)는 잘 보는데, 정작 그 건물 안에 어떤 스위치가 있는지 모르는 것과 같습니다.
둘째, "한 번 보면 끝이에요": 로봇은 눈앞의 장면을 사진 찍듯 한 번 보고 판단합니다. 하지만 현실은 다릅니다. 내가 스위치를 눌러서 불이 켜지면 방의 상태가 변하죠? 로봇은 이런 **'변화하는 상황'**을 실시간으로 머릿속 지도에 업데이트하는 능력이 부족했습니다.

2. 해결책: "모마그래프(MomaGraph) - 로봇 전용 '똑똑한 관계도'"

연구팀은 로봇에게 단순한 지도가 아니라, **'관계도(Scene Graph)'**를 그려주는 방법을 제안했습니다. 이 관계도는 두 가지 정보를 동시에 담고 있습니다.

"어디에 있는가?" (공간 정보): "리모컨은 TV 앞에 있다."
"무엇을 하는가?" (기능 정보): "리모컨 버튼을 누르면 TV가 켜진다."

여기에 더해, 로봇은 물건의 전체 모습뿐만 아니라 **'손잡이', '버튼' 같은 아주 세밀한 부분(Part-level)**까지 인식합니다. 마치 우리가 요리할 때 "냄비"만 보는 게 아니라 "냄비 뚜껑"과 "손잡이"를 따로 인지하는 것과 같습니다.

3. 핵심 기술: "스스로 깨우치는 로봇 (MomaGraph-R1)"

연구팀은 로봇에게 이 관계도를 그리는 법을 가르치기 위해 **'강화학습(Reinforcement Learning)'**이라는 방식을 썼습니다.

이것은 마치 아이에게 물건을 정리하는 법을 가르칠 때, "잘했어!"라고 칭찬(보상)을 주며 스스로 깨닫게 하는 것과 같습니다. 로봇이 관계도를 잘못 그리면 점수를 깎고, 정확하게 그리면 점수를 주는 방식으로 훈련시켰더니, 로봇은 점점 더 **'임무에 꼭 필요한 정보'**만 골라내는 눈치 빠른 존재가 되었습니다.

4. 결과: "진짜 사람처럼 행동해요"

이 기술을 실제 로봇에 적용해 보니 놀라운 결과가 나왔습니다.

복잡한 명령도 척척: "조명을 밝게 하고 TV를 켜줘" 같은 복잡한 명령을 받으면, 로봇은 스스로 **[스위치 찾기 $\rightarrow$ 불 켜기 $\rightarrow$ 리모컨 찾기 $\rightarrow$ TV 켜기]**라는 단계별 계획을 세웁니다.
상황 변화에 유연하게: 만약 로봇이 스위치를 눌렀는데 불이 안 들어온다면? "아, 이 스위치는 다른 전등꺼나 다른 상태구나!"라고 판단하며 계획을 수정합니다.

💡 요약하자면!

이 논문은 로봇에게 **"단순히 사물의 위치만 아는 '눈먼 지도' 대신, 사물들이 서로 어떻게 연결되어 있고 어떻게 작동하는지 아는 '똑똑한 관계도'를 그려주는 법"**을 알려준 것입니다.

덕분에 미래의 로봇은 우리 집 거실에서 "리모컨 좀 가져다줘"라고 했을 때, 리모컨의 위치뿐만 아니라 리모컨의 어떤 버튼을 눌러야 하는지까지 이해하는 **'센스 만점 집사'**가 될 수 있습니다! 🏠🤖✨

[기술 요약] MomaGraph: 임바디드 태스크 플래닝을 위한 시각-언어 모델 기반 상태 인식 통합 장면 그래프

1. 문제 정의 (Problem Statement)

가정용 모바일 매니퓰레이터(Mobile Manipulator)가 복잡한 환경에서 임무를 수행하기 위해서는 단순히 공간을 탐색하는 것을 넘어, 물체의 위치, 기능, 그리고 조작 가능한 부품(part)에 대한 풍부한 의미론적 이해가 필요합니다. 기존의 장면 그래프(Scene Graph) 연구들은 다음과 같은 한계점을 가집니다:

관계의 단일성: 공간적 관계(Spatial) 또는 기능적 관계(Functional) 중 하나에만 치중하여, 물체의 기하학적 구조와 조작 가능성(Affordance)을 동시에 파악하지 못함.
정적 표현의 한계: 환경의 변화나 물체의 상태 변화(State change)를 반영하지 못하는 정적인 스냅샷에 의존함.
태스크 관련성 부족: 모든 정보를 처리하려다 보니, 현재 수행해야 할 특정 작업(Task)과 직접적으로 관련된 핵심 정보에 집중하지 못함.

2. 핵심 방법론 (Methodology)

본 논문은 이러한 문제를 해결하기 위해 "Graph-then-Plan" 프레임워크를 제안하며, 이를 뒷받침하는 세 가지 핵심 요소를 도입합니다.

① MomaGraph: 통합 장면 표현 (Unified Scene Representation)

공간적 관계와 기능적 관계를 동시에 모델링하며, 물체의 세부 부품(예: 손잡이, 버튼, 노브)을 노드(Node)로 포함하는 통합된 그래프 구조를 제안합니다. 이는 그래프를 더욱 압축적이면서도 작업 지향적(Task-oriented)으로 만듭니다.

② MomaGraph-R1: 강화 학습 기반 VLM

7B 파라미터 규모의 시각-언어 모델(VLM)인 Qwen2.5-VL-7B를 기반으로, DAPO(Reinforcement Learning) 알고리즘을 적용하여 학습시켰습니다.

그래프 정렬 보상(Graph-alignment Reward): 모델이 예측한 그래프가 정답 그래프와 얼마나 유사한지(액션 타입, 에지(Edge)의 공간/기능적 유사성, 노드의 완전성)를 평가하여 보상을 줍니다.
이를 통해 모델은 단순히 이미지를 설명하는 것을 넘어, 태스크 수행에 필요한 구조화된 지식을 스스로 추론하도록 학습됩니다.

③ 상태 인식 동적 업데이트 (State-Aware Dynamic Update)

물체를 조작했을 때 발생하는 환경의 변화를 관찰하여 그래프를 실시간으로 업데이트합니다. 예를 들어, 여러 개의 노브 중 특정 노브를 돌렸을 때만 가스레인지 불이 켜진다면, 모델은 이를 통해 해당 노브와 가스레인지 사이의 기능적 연결(Functional edge)을 확정하고 나머지 불확실한 연결을 제거합니다.

3. 주요 기여 (Key Contributions)

MomaGraph-Scenes 데이터셋: 공간 및 기능적 관계와 부품 단위의 주석이 포함된 최초의 대규모 태스크 지향적 장면 그래프 데이터셋 구축.
MomaGraph-Bench 벤치마크: 행동 순서 추론, 공간 추론, 어포던스(Affordance) 추론 등 6가지 핵심 능력을 평가할 수 있는 체계적인 평가 도구 개발.
MomaGraph-R1 모델: 강화 학습을 통해 최적화된 7B VLM을 개발하여, 그래프 생성과 태스크 플래닝을 하나의 모델 내에서 수행하는 Zero-shot 플래너 구현.

4. 실험 결과 (Results)

벤치마크 성능: MomaGraph-R1은 71.6%의 정확도를 기록하며, 기존 오픈소스 모델들보다 월등한 성능을 보였고, GPT-5나 Claude-4.5-Sonnet과 같은 강력한 폐쇄형(Closed-source) 모델들과 대등한 수준의 성능을 달িং했습니다.
복잡도 대응 능력: 작업의 난이도가 높아질수록(Tier 1 $\rightarrow$ Tier 4) 기존 모델들의 성능은 급격히 하락하지만, MomaGraph-R1은 상대적으로 안정적인 성능을 유지하며 장기적 계획(Long-horizon planning) 능력을 입증했습니다.
시각적 대응(Visual Correspondence): 멀티뷰 관찰을 통해 동일한 객체를 서로 다른 시점에서 일관되게 인식하는 능력이 크게 향상되었습니다.
실제 로봇 실험: RobotEra Q5 모바일 매니퓰레이터를 이용한 실물 실험에서, 학습되지 않은 새로운 환경임에도 불구하고 복잡한 가전제품 조작 태스크를 성공적으로 수행했습니다.

5. 의의 (Significance)

본 연구는 로봇이 환경을 이해하는 방식에 있어 **"구조화된 중간 표현(Structured Intermediate Representation)"**의 중요성을 증명했습니다. 단순히 시각 정보에서 바로 행동을 도출하는 것이 아니라, **[시각 $\rightarrow$ 구조화된 그래프 $\rightarrow$ 계획]**의 단계를 거침으로써 로봇의 추론 과정에 **해석 가능성(Interpretability)**과 **강건성(Robustness)**을 부여했습니다. 이는 향후 더욱 지능적이고 적응력 있는 가정용 서비스 로봇 개발을 위한 중요한 토대가 될 것입니다.