🤖 AI

Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds

이 논문은 인간-로봇 상호작용에서의 체화된 인지(embodied cognition)를 향한 기초적인 단계로서, 공간 추론 및 시각적 관점 취득(Visual Perspective Taking)에 관한 시각-언어 모델을 학습시키기 위해 NVIDIA Omniverse에서 생성된 공개 가능한 합성 데이터셋을 소개한다.

원저자: Joel Currie, Gioele Migno, Enrico Piacenti, Maria Elena Giannaccini, Patric Bach, Davide De Tommaso, Agnieszka Wykowska

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joel Currie, Gioele Migno, Enrico Piacenti, Maria Elena Giannaccini, Patric Bach, Davide De Tommaso, Agnieszka Wykowska

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 잡동사니가 가득한 거실에서 친구와 숨바꼭질을 하고 있다고 상상해 보세요. 당신은 소파 뒤에 숨어 있고, 친구는 문 옆에 서 있습니다. 만약 당신이 "내 왼쪽에 있는 빨간 공이 보여!"라고 외친다면, 친구는 아주 까다로운 일을 수행해야 합니다. 친구는 단순히 자신의 위치에서 왼쪽을 보는 것이 아니라, 정신적으로 당신의 입장이 되어 당신의 각도에서 방을 보기 위해 몸을 돌려야 하며, 그 후 그 빨간 공이 자신에게는 어디에 있는지 파악해야 합니다. 이 정신적 체조를 "시각적 관점 수용(Visual Perspective Taking)"이라고 부릅니다. 이것은 인간이 타인이 무엇을 보고, 생각하고, 느끼는지 이해할 수 있게 해주는 초능력입니다. 로봇이 우리와 함께 어울리고, 놀고, 혹은 집에서 우리를 돕기 위해서는 이와 동일한 초능력이 필요합니다. 현재 로봇들은 종로히 자신의 눈으로만 세상을 보는 사람들과 같아서, "왼쪽"이 당신에게는 "오른쪽"일 수 있다는 사실을 이해하는 데 어려움을 겪습니다. 이 논문은 인공지능(AI)의 세계로 들어가, 우리가 로봇에게 이 정신적 회전 동작을 가르칠 수 있는지, 특히 비디오 게임 시뮬레이터와 같은 특별한 종류의 학습 데이터를 사용하여 가능한지 살펴봅니다.

이 논문의 연구진인 조엘 커리(Joel Currie)와 그의 팀은 특정 문제를 다루고 있습니다. 로봇과 이를 구동하는 AI 두뇌는 사물을 인식하는 데는 뛰어나지만, 서로 다른 각도에서 사물을 바라볼 때 그 사물이 3D 공간의 정확히 어디에 위치하는지 이해하는 데는 매우 서툽니다. 일부 기존의 로봇 방식들은 공간을 파악하기 위해 경직된 수학 규칙을 사용하지만, 연구팀은 현대적인 "시각-언어 모델(Vision-Language Models, 사진을 보고 텍스트를 읽을 수 있는 AI)"이 미래가 될 수 있지만, 단지 더 잘 가르쳐야 한다는 조건하에 그렇다고 제안합니다. 이 논문은 이러한 스마트한 모델들이 공간 추론에 실패하는 이유가 그들이 "멍청해서"가 아니라, 사물의 외형을 그것이 정확히 어디에 있는지와 완벽하게 연결해 주는 데이터로 충분히 학습되지 않았기 때문이라고 주장합니다.

이를 해결하기 위해, 팀은 로봇을 위한 완전히 새로운 "훈련 체육관"을 만들었습니다. 하지만 실제 방 대신, 강력한 비디오 게임 엔진인 NVIDIA Omniverse 내부에 디지털 방을 구축했습니다. 이것을 약간 찌그러진 정육면체 하나를 떨어뜨리고, 무작위 높이의 카메라로 사진을 찍은 뒤, 그것을 설명하는 문장을 쓰는 디지털 모래 놀이터라고 생각하세요. 마법 같은 부분은, 컴퓨터 안에 이 세계를 구축했기 때문에 그들은 정육면체가 어디에 있는지 밀리미터 단위까지 정확한 수학적 위치를 알고 있다는 점입니다. 그들은 이미지, 언어 프롬프트, 그리고 물체가 어떻게 위치해 있는지를 정확히 알려주는 "4×4 변환 행렬(4×4 transformation matrix, 화려한 수학 격자)"을 쌍으로 묶은 장면들로 가득 찬 데이터셋을 생성했습니다.

이 첫 번째 실험에서, 팀은 AI에게 3D 공간의 전체 퍼즐을 한꺼번에 풀라고 요구하지 않았습니다. 대신, 그들은 더 단순하고 기초적인 기술, 즉 다른 모든 것은 그대로 둔 채 물체가 Z축(카메라에 대한 깊이선)을 따라 얼마나 멀리 떨어져 있는지 추측하는 것에 집중했습니다. 그들은 AI가 사진과 설명을 보고 그 거리를 정확히 맞출 수 있는지 확인하고자 합니다. 만약 AI가 이 완벽한 합성 세계에서 이를 배울 수 있다면, 결과적으로 실제 방의 복잡하고 무질서한 복잡성을 다룰 수 있게 될 것이라는 희망을 품고 있습니다. 논문은 이것을 "개념 증명(proof-of-concept)"으로 제시하는데, 이는 아이디어가 작동하는지 확인하기 위한 초기 단계의 테스트임을 의미합니다. 그들이 오늘 당장 로봇 지능을 해결했다고 주장하는 것이 아니라, 오히려 기초의 첫 번째 벽돌을 놓는 과정이라는 뜻입니다. 그들은 다른 과학자들이 자신의 로봇을 훈련시키는 데 사용할 수 있도록 이 데이터셋을 공개했으며, 로봇이 진정으로 "타인이 보는 것"을 이해하고 우리가 당연하게 여기는 공간 인식을 가지고 우리의 세계를 항해하는 미래를 목표로 하고 있습니다.

기술 요약: 공간적으로 접지된 합성 세계를 통한 로봇의 체화된 인지 구현을 향하여

문제 정의
효과적인 인간-로봇 상호작용(HRI)을 위해서는 사회적 인지 능력이 필요하며, 그중에서도 특히 시각적 관점 수용(Visual Perspective Taking, VPT)—즉, 다른 에이전트가 자신의 특정 관점에서 무엇을 보는지 추론하는 능력—이 매우 중요하다. VPT는 공동 행동, 사회적 내비게이션, 정신 상태 추론의 기초가 되지만, 현재의 로봇 솔루션은 명시적인 기하학적 모델링과 수작업으로 설계된 규칙 기반의 관점 변환에 의존하는 경우가 많다. 이러한 전통적인 방식은 실제 환경의 HRI에 필요한 유연성, 일반화 가능성 및 확장성이 부족하다. 반대로, 시각-언어 모델(VLM)은 장면 이해 측면에서 놀라운 유연성을 보여주지만, 정밀한 공간 추론, 특히 객체의 포즈, 상대적 방향 또는 관점별 관계를 추론하는 데에는 어려움을 겪는다. 저자들은 이러한 결함이 구조적 한계가 아니라, 공간적 관계를 접지된(grounded) 시각적 장면과 명시적으로 연결하지 못한 학습 데이터의 결과라고 주장한다.

방법론
공간적으로 접지된 학습 데이터의 부족 문제를 해결하기 위해, 저자들은 NVIDIA Omniverse 내에서 생성된 합성 데이터셋을 사용하여 VLM을 학습시키기 위한 개념적 파이프라인을 제안한다. 이 접근 방식은 회전과 X/Y 평면 이동은 고정한 채, 객체의 Z축(깊이) 방향 이동을 추론하는 단순화된 개념 증명 과제에 집중한다.

방법론은 세 가지 핵심 구성 요소로 이루어진다:

합성 데이터 생성: NVIDIA Omniverse Replicator를 사용하여 최소 단위의 3D 장면을 절차적으로 생성한다. 각 인스턴스는 무작위의 치수와 재질 속성을 가진 단일 큐브, 고정된 객체 위치, 그리고 무작위 높이(Z축 이동)를 가진 가상 카메라로 구성된다.
데이터 구조: 각 데이터셋 인스턴스는 다음을 포함한다:
- RGB 이미지.
- 객체를 설명하는 자연어 프롬프트.
- 카메라 기준 좌표계( $RF_{CAM}$ )에 대한 객체의 포즈를 나타내는 정답(ground-truth) $4 \times 4$ 변환 행렬($CAMTOOBJ$).
개념적 파이프라인: 제안된 학습 프레임워크는 최종적으로 3단계 과정을 통해 완전한 6자유도(6 DOF) 추론을 지원하는 것을 목표로 한다:
- (i) 이미지-텍스트 입력을 통해 객체의 포즈를 추정하여 $CAMTOOBJ$ 산출.
- (ii) 에이전트와 카메라 사이의 상대적 관점 변환($CAMTOAGT$) 추론.
- (iii) 변환 합성(transformation composition)을 통한 관점 매핑을 수행하여, 에이전트의 관점에서 본 객체의 포즈인 $AGTTOBJ$ 생성.

주요 기여

합성 데이터셋: 본 연구의 주요 기여는 정밀한 정답 변환 행렬을 포함하는 최소 3D 장면이 담긴 공개 데이터셋(Hugging Face에 호스팅됨)을 배포하는 것이다. 이 데이터셋은 구조화된 공간 관계가 본질적으로 정확하고 추출하기 쉬운 공간 추론 과제를 위한 지도 학습을 가능하게 하도록 설계되었다.
개념적 프레임워크: 본 논문은 공간 추론을 합성 데이터에 접지함으로써 VLM이 체화된 인지 과제, 특히 VPT를 수행할 수 있도록 학습시키는 프레임워크를 개설한다.
Z축 추론에 초점: 기초 단계로서, 현재의 연구는 Z축 거리 추론을 분리하여, 시각 및 언어적 입력을 구조화된 공간 표현으로 매핑하는 VLM의 능력을 평가하기 위한 통제된 평가 지표로 활용한다.

결과 및 주장
본 논문은 특정 모델의 성능을 비교하거나 벤치마크 점수를 제시하는 실험적 결과는 제시하지 않는다. 대신, 데이터셋과 개념적 프레임워크를 "개념 증명"으로서 제시한다. 저자들은 이 작업이 공간적 이해를 갖춘 체화된 AI 시스템을 개발하기 위한 기초적인 단계 역할을 한다고 주장한다. 공간적 관계가 수학적으로 정밀한 데이터를 제공함으로써, 추론된 표현과 실제 사이의 오차를 줄일 수 있으며, 이것이 체화(embodiment)의 대리 지표 역할을 할 수 있다고 주장한다.

의의
본 연구의 의의는 VLM의 유연성과 체화된 인지에 필요한 정밀도 사이의 간극을 메우려는 시도에 있다. 저자들은 시뮬레이션 환경이 VLM의 공간 추론 한계를 극복하는 데 필요한 대규모의 구조화된 데이터셋을 생성하기 위한 확장 가능한 솔루션을 제공한다고 주장한다. 이 연구는 단순히 세상을 인지하고 설명하는 것을 넘어, 다양한 체화된 관점에서 세상을 추론할 수 있는 미래의 에이전트, 즉 "타인이 무엇을/어떻게 보는지"와 "나/타인에 대해 객체가 어디에 있는지"를 이해할 수 있는 로봇 개발을 위한 토대를 마련한다. 향arian의 연구는 추가적인 자유도(DOF) 포함, 더 복적인 장면 구성, 그리고 물리적 로봇 플랫폼과의 통합을 목표로 한다.

유사한 논문