💻 computer science

GSR: Learning Structured Reasoning for Embodied Manipulation

이 논문은 의미론적으로 접지된 장면 그래프(scene graph)를 통해 세계 상태의 진화를 모델링하는 구조적 추론 패러다임인 Grounded Scene-graph Reasoning (GSR)을 소개하며, 이는 대규모 Manip-Cognition-1.6M 데이터셋으로 학습되어 Embodied Manipulation 분야에서 제로샷 일반화 및 장기 과제 수행 능력을 크게 향상시킨다.

원저자: Kewei Hu, Michael Zhang, Wei Ying, Tianhao Liu, Guoqiang Hao, Zimeng Li, Wanchan Yu, Jiajian Jing, Fangwen Chen, Hanwen Kang

게시일 2026-02-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kewei Hu, Michael Zhang, Wei Ying, Tianhao Liu, Guoqiang Hao, Zimeng Li, Wanchan Yu, Jiajian Jing, Fangwen Chen, Hanwen Kang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 샌드위치 만드는 법을 가르친다고 상상해 보세요.

과거의 방식: "추측 게임"
현재 대부분의 로봇은 누군가 샌드위치를 만드는 영상을 보고 그 동작을 똑같이 따라 하려고 노력하며 학습합니다. 이는 마치 학생에게 수학적 원리를 이해하는 대신 종이에 적힌 숫자의 모양을 통째로 외우라고 요구하는 것과 같습니다. 만약 로봇이 파란 컵 대신 빨간 컵을 보거나 테이블이 약간 어질러져 있다면, 로봇은 혼란에 빠집니다. 로봇은 작업의 '외형'을 암기했을 뿐, 그 '논리'를 이해하지 못했기 때문입니다. 단순히 이전에 봤던 것을 바탕으로 다음 동작을 추측하기 때문에, 작업이 길어지거나 복잡해지면 제대로 수행하지 못합니다.

새로운 방식: GSR (더 "프로젝트 매니저" 같은 방식)
이 논문은 GSR(Grounded Scene-graph Reasoning)이라는 새로운 시스템을 소개합니다. GSR은 단순히 그림을 보는 대신, 작업을 시작하기 전에 지도를 그리는 프로젝트 매니저처럼 행동합니다.

작동 원리는 다음과 같은 쉬운 비유를 통해 설명할 수 있습니다.

지도 (장면 그래프/Scene Graph): 로봇이 근육을 움직이기도 전에, GSR은 방 안을 살피고 간단한 "지도"나 사실 목록을 작성합니다. 로봇은 단순히 "흐릿한 빨간 덩어리"를 보는 것이 아니라, *"컵이 있다. 그것은 테이블 위에 있다. 테이블은 냉장고 옆에 있다."*라고 기록합니다. 이 지도를 **장면 그래프(Scene Graph)**라고 부릅니다. 이는 조명이나 색상 같은 혼란스러운 시각적 세부 사항을 제거하고, 객체 간의 중요한 관계에만 집중합니다.
논리 (추론/Reasoning): 지도가 그려지면 로봇은 더 이상 추측하지 않습니다. 로봇은 논리적인 질문을 던집니다. "컵을 냉장고에 넣으려면, 먼저 문을 열어야 한다. 문을 열려면 손잡이를 잡아야 한다." 로봇은 한 단계씩 계획을 세우며, 자신의 지도를 확인하여 계획이 타당한지 점검합니다.
학습 (The "Manip-Cognition" Dataset): 이 로봇이 유능한 프로젝트 매니저가 되도록 가르치기 위해, 연구진은 160만 개의 연습 시나리오로 구성된 거대한 라이브러리(Manip-Cognition-1.6M)를 만들었습니다. 연구진은 단순히 로봇에게 영상을 보여준 것이 아니라, "전"과 "후"의 지도를 보여주고 그 사이의 단계를 파악하도록 했습니다. 이를 통해 로봇은 목표를 이해하고, 동작을 계획하며, 물체를 움직였을 때 어떤 일이 일어날지 예측하는 법을 배웠습니다.

왜 이것이 더 나은가요?
연구진은 이 새로운 로봇을 두 가지 주요 방식으로 테스트했습니다.

시뮬레이션 테스트: 로봇에게 블록 쌓기, 물건 분류하기, 용기 열기 같은 복잡한 과제를 주었습니다. 단순히 사진을 보고 추측하는 기존의 로봇들은 작업이 길어지거나 물체가 바뀌면 매우 혼란스러워했습니다. 반면, GSR은 논리적인 지도를 따르고 있었기에 침착함을 유지했습니다. 특히, 추가 훈련 없이도 새로운 작업을 처리할 수 있는 "제로샷(zero-shot)" 학습 능력에서 훨씬 뛰어난 모습을 보였습니다.
실제 환경 테스트: 로봇을 실제 물리적인 팔에 장착했습니다. 조명이 바뀌거나 물체가 약간 다른 위치에 있어도, GSR은 여전히 계획을 세우고 실행할 수 있었습니다.

핵심 요약
이 논문은 로봇이 단순히 보이는 것에 반응하는 대신, 구조화된 방식(객체 관계 지도를 사용하는 방식)으로 "생각"하게 함으로써, 로봇이 훨씬 더 길고 복잡한 작업을 수행할 수 있게 된다고 주장합니다. 이는 단순히 춤 동작을 맹목적으로 따라 하는 로봇과, 안무를 이해하고 음악이 바뀌어도 즉흥적으로 대처할 수 있는 로봇의 차이와 같습니다.

이 논문이 언급하지 않은 점:
저자들은 이 로봇이 여전히 실제로 일을 수행하기 위해서는 "잡기"나 "밀기"와 같이 미리 정의된 기본 동작 목록이 필요하다는 점을 주의 깊게 명시하고 있습니다. 로봇은 즉석에서 완전히 새로운 물리적 동작을 만들어낼 수는 없으며, 카메라 시야가 너무 지저분하거나 물체가 가려져 있는 경우 어려움을 겪기도 합니다. 하지만 계획과 추론 측면에서, 이러한 "지도 기반" 접근 방식은 중요한 진전입니다.

기술 요약: 체화된 조작을 위한 접지된 장면 그래프 추론 (Grounded Scene-graph Reasoning, GSR)

문제 정의

급격한 체화된 학습(embodied learning)의 발전에도 불구하고, 로봇 에이전트는 공간적 일관성, 인과 관계, 그리고 목표 제약을 유지해야 하는 장기적 관점(long-horizon)의 조작 작업에서 여전히 어려움을 겪고 있다. 특히 현재의 엔드 투 엔드 시각-언어-행동(Vision-Language-Action, VLA) 모델들은 작업 논리를 고차원 잠재 표현(latent representations) 내에 암묵적으로 포함시키는 경향이 있다. 이러한 설계는 작업 논리를 지각적 가변성(예: 객체의 외형)과 결합시켜, 모델이 환경 변화에 과도하게 민감해지게 만들고 새로운 작업이나 도메인 외(out-of-domain) 설정으로의 일반화 능력을 제한한다. 고전적인 작업 및 모션 계획(Task and Motion Planning, TAMP) 프레임워크는 구조화된 솔루션을 제공하지만, 대개 사전에 정의된 기호적 표현에 의존하므로 개방형의 가변성이 높은 환경으로 확장하기 어렵다. 본 연구가 다루는 핵심 과제는 규모의 경제를 해치지 않으면서도 일반적인 조작 작업을 위한 추론 능력을 향상시키기 위해, 어떻게 체화된 에이전트가 구조화된 중간 표현을 활용할 수 있게 할 것인가이다.

방법론

1. 접지된 장면 그래프 추론 (GSR) 프레임워크

GSR은 직접적인 지각-행동 매핑에서 벗어나, 의미론적으로 접지된 장면 그래프(scene graphs) 상에서의 명시적 추론으로의 패러다임 전환을 제안한다.

세계 표현 (World Representation): raw RGB-D 입력 대신, 시스템은 $M_{sg} = (O_t, E_t)$ 형태의 3D 장면 그래프를 구축한다. 여기서 $O_t$ 는 객체(기능적 키포인트와 관절 구성 요소로 모델링됨)를 나타내며, $E_t$ 는 공간적 관계(예: on, inside, adjacent)를 인코딩한다.
아키텍처: GSR은 미세 조정된 대규모 언어 모델(Qwen3-8B)을 추론 엔진으로 활용한다. 이는 장면 그래프를 생성하는 지각 프런트엔드(Vision Foundation Model) 및 저수준 제어를 실행하는 액션 전문가 백엔드(geometric fabrics 기반의 meta-skill library)와 통합된다.
추론 과정: 모델은 물리적으로 접지된 공간 내에서 행동의 전제 조건, 결과, 그리고 목표 충족 여부를 추론하기 위해 객체 상태와 공간적 관계에 대해 단계별로 추론한다. 이는 암묵적인 잠재 임베딩에 의 Rely하는 것이 아니라 명시적인 과정을 거친다.

2. Manip-Cognition-1.6M 데이터셋

이러한 구조적 추론 학습을 지원하기 위해, 저자들은 세계 이해, 행동 계획, 그리고 목표 해석을 공동으로 감독하는 160만 개의 샘플로 구성된 대규모 데이터셋을 구축하였다. 데이터 엔진은 raw 시각 데모를 구조화된 작업 궤적으로 처리하며, 다음 세 가지 핵심 구성 요소를 포함한다:

세계 이해 (15k 샘플): 모델이 시각적 관찰을 의미론적으로 접지된 장면 그래프(Text $\to$ SG 쌍)로 추상화하도록 학습시켜, 지각과 기호적 추론 사이의 간극을 메운다.
행동 계획 (1.3M 샘로): 추론을 세 가지 작업으로 분해한다:
- 순방향 행동 추론 (Forward Action Reasoning): 상태 전이를 연결하기 위한 다단계 행동 시퀀스 추론.
- 세계 모델링 (World Modeling): 특정 행동의 환경적 결과( $\Delta SG_{edge}$ ) 예측.
- 목표 조건부 계획 (Goal-conditioned Planning): 현재 상태와 텍스트 목표가 주어졌을 때 다음 기호적 행동 예측.
목표 해석 (288k 샘플): "장기적 관점의 목표 꿈꾸기(long-horizon goal dreaming)"에 집중하며, 현재 상태와 자연어 지시문이 주어졌을 때 최종 환경 구성( $SG_{goal}$ )을 예측한다.

3. 학습 전략

GSR 모델은 두 단계로 학습된다:

1단계 (지도 미세 조정 - SFT): Qwen3-8B 아키텍처에 LoRA(Low-Rank Adaptation)를 적용하여 구조적 추론과 행동 명령을 학습한다.
2단계 (강화 미세 조정 - RFT): GRPO(Group Relative Policy Optimization)를 사용하여 모델을 물리적 실행 제약 조건에 정렬시킨다. 보상 함수는 세 가지 실패 모드를 타겟팅한다:
- 단계별 제약 보상 (Step-wise Constraint Reward): 단일 출력 내에 여러 행동을 생성하는 것을 방지하여 엄격한 단계별 생성을 강제한다.
- 장면 그래프 접지 보상 (Scene-Graph Grounding Reward): 예측된 객체 식별자가 현재 장면 그래프에 존재하는지 확인하여 객체 환각(hallucination)을 방지한다.
- 종료 보상 (Termination Reward): 올바른 작업 완료와 조기 종료 또는 무한 루프를 구분한다.

주요 기여

GSR 프레임워크: 고수준의 개념적 추론을 저수준 실행으로부터 분리하여, 세계 상태의 진화를 의미론적으로 접지된 장면 그래프 상의 전이로 명시적으로 모델링하는 구조적 추론 패러다임을 도입하였다.
Manip-Cognition-1.6M: 다양한 조작 기술 전반에 걸쳐 세계 이해, 의도 해석, 행동 계획에 대한 공동 감독을 제공하는 대규모 데이터셋을 제공하였다.
명시적 귀납 편향 (Explicit Inductive Bias): 명시적인 세계 상태 표현이 확장이 가능한 체화된 추론을 위한 핵심적인 귀납 편향 역할을 수행하며, 이를 통해 제로샷 일반화와 장기적 작업 완료 능력을 향상시킨다는 점을 입증하였다.

실험 결과

RLBench, LIBERO, 커스텀 GSR 벤치마크 및 실제 로봇 작업에 대해 광범적인 평가가 수행되었다.

제로샷 일반화: RLBench 및 LIBERO 벤치마크에서 GSR(8B)은 다양한 카테고리(주방 작업, Pick and Place, Stacking 등)에서 프롬프트 기반 베이스라인(GPT-5, Gemini-2.5-Pro, DeepSeek-V3 포함)을 크게 상회하는 성능을 보였다. 예를 들어, RLBench Stacking 및 Assembly에서 GSR은 41.2%의 성공률을 기록하여 GPT-5의 15.0%를 앞질렀다.
장기적 추론: GSR 벤치마크(180개 작업, 평균 호라이즌 >10 단계)에서 GSR은 의미론적 객체 모호성 해소, 공간 인지 시퀀싱, 목표 조건부 일반화 분야에서 SOTA(State-of-the-Art) 성능을 달성하였다.
강건성: GSR은 지각 노이즈에 대한 강건성을 입증하였다. 장면 그래프에 5%의 노이즈를 주입했을 때, 작업 진행도(Task Progress)는 약간 감소했으나, 목표 조건부 작업은 높은 민감도를 보이면서도 베이스라인 대비 안정적인 상태를 유지했다.
실제 환경 배포: 본 프레임드워크는 Tianji Marvin-6 7-DoF 듀얼 암 로봇에 성공적으로 배포되어, pick-and-place, 분류, 일상생활 작업 등의 능력을 입증하였다.

의의 및 주장

본 논문은 명시적인 세계 상태 표현이 확장이 가능한 체화된 추서(embodied reasoning)를 위한 핵심적인 귀납 편향이라고 주장한다. 작업 구조와 지각적 가변성을 혼재시키는 암묵적 잠재 표현에서 벗어남으로써, GSR은 에이전트가 행동의 전제 조건과 결과에 대해 합리적이고 단계적인 추론을 수행할 수 있게 한다. 저자들은 이 접근 방식이 순차적 행동의 유연한 구성을 가능하게 하고, 다양한 작업에 걸쳐 견고한 적응을 지원한다고 상정한다. 이는 엔드 투 엔드 VLA 모델(구조적 사전 지식이 부족함)과 고전적 TAMP 프레임워크(개방형 환경으로의 확장성이 부족함) 모두의 한계를 해결한다. 본 연구는 의사결정을 명시적이고 구조화된 표현에 접지하는 것이 오픈 월드 체화 환경에서 보다 체계적인 일반화와 지속적인 추론을 지원한다는 점을 강조한다.

한계점

저자들은 다음과 같은 현재의 한계를 인정한다:

본 프레임워크는 사전에 정의된 행동 프리미티브(action primitives)에 의존하며, 이는 장기적 관점의 작업에서 연속적인 단계 사이의 유연한 행동 생성 및 적응을 제한할 수 있다.
장면 그래프를 구축하는 데 사용되는 시각적 표현은 미세한 기하학적 구조, 미묘한 객체 상태, 그리고 세밀한 물리적 특성을 포착하는 능력이 제한적이며, 이는 시각적으로 복잡하거나 혼란스러운 환경에서 정확도에 영향을 미칠 수 있다.