💻 computer science

Beyond Placement and Articulation: Usage-Driven Code Scenes for Embodied Interaction

이 논문은 단순한 시각적 배치를 넘어 사용 중심의 객체 추론과 규칙 기반 상호작용 모델링으로 초점을 전환함으로써, 체화된 AI를 위한 실행 가능한 코드 기반의 3D 실내 장면을 생성하는 에이전트 프레임워크인 RoomWright를 소개한다.

원저자: Zijian Xiao, Zipeng Ye, Jinkun Hao, Xiong Yang, Yuchen Xie, Ran Yi

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zijian Xiao, Zipeng Ye, Jinkun Hao, Xiong Yang, Yuchen Xie, Ran Yi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 방에 걸어 들어와 주전자를 집어 올려 가스레인지 위에 놓거나, 가상 에이전트가 스위치를 올려 램프를 켜는 세상을 상상해 보십시오. 이러한 기계들이 학습하고 행동하기 위해서는 단순히 방의 사진이 아닌, 실제로 작동하는 공간이 필요합니다. 그들은 물체가 움직이는 부품을 가지고 있고, 문 손잡이를 돌리면 잠금장치가 풀리며, 버튼을 누르면 조명의 상태가 변하는 공간이 필요합니다. 최근까지 로봇을 위해 구축된 디지털 방들은 대부분 정적이었습니다. 그것들은 실제처럼 보였지만, 실제처럼 작동하지는 않았습니다. 로봇은 의자에 부딪힐 수는 있었지만, 서랍을 열거나 다이얼을 돌릴 때 팬의 속도가 변한다는 것을 이해할 수는 없었습니다. 과제는 실내 공간을 단순히 가구의 시각적 집합체가 아니라, 물리적 세계에서와 똑같이 원인과 결과가 펼쳐지는 기능적인 무대로 만드는 것이었습니다.

한 연구팀이 이러한 상호작면적인 세계를 구축하는 새로운 방법을 소개했습니다. 이는 단순히 장면에 물체를 배치하는 것을 넘어, 그 물체들이 실제로 어떻게 사용되는지를 이해하는 단계로 나아가는 것입니다. 그들은 이 시스템을 '룸라이트(RoomWright)'라고 부릅니다. 룸라이트는 3D 모델을 보드 위의 말처럼 배치하여 방을 만드는 대신, 컴퓨터가 실행할 수 있는 일련의 지침, 즉 코드로서 방 전체를 작성합니다. 이 접근 방식은 디지털 환경을 완전히 편집 가능하고 시뮬레이션 준비가 된 상태로 만듭니다. 핵심적인 통찰은 방이 그 안에서 일어나는 활동에 의해 정의된다는 점입니다. 커피를 만들고 있다면, 카운터, 주전자, 전원 공급 장치, 그리고 그것을 켤 방법이 필요합니다. 연구진은 활동에서 시작하여 역으로 물체와 그 연결 구조를 찾아냄으로써, 시각적으로 정확할 뿐만 아니라 기능적으로도 논리적인 장면을 생성할 수 있다는 것을 발견했습니다.

기존의 방법들은 종ium 종종 방의 이미지를 보고 물건이 어디에 있어야 할지 추측하는 데 의존했습니다. 이는 사물을 예쁘게 만드는 데는 효과적이지만, 사물들이 서로 어떻게 작동하는지에 대한 숨겨진 논리를 포착하는 데는 자주 실패했습니다. 로봇은 주전자와 가스레인지를 볼 수는 있겠지만, 기능을 이해하지 못하면 주전자를 공중에 띄워 놓거나 잘못된 방향을 향하게 배치할 수도 있습니다. 새로운 시스템은 모든 주요 가구를 특정 작업의 중심점으로 취급함으로써 이 문제를 해결합니다. 시스템은 "사람이 여기서 무엇을 해야 하는가?"라고 묻고, 그 작업에 필요한 물체들만을 가져옵니다. 만약 작업이 요리라면, 시스템은 가스레인지, 카운터, 주전자를 추가하고, 사람이 실제로 손을 닿을 수 있는 곳에 그것들을 배치합니다. 연구진이 '사용 주도적 추론(usage-driven reasoning)'이라고 부르는 이 과정은, 방이 단순히 시각적 매력보다는 인간의 필요를 중심으로 구축되도록 보장합니다.

이 시스템은 한 걸음 더 나아가 물체들이 서로 어떻게 상호작용하는지를 가르칩니다. 실제 주방에서는 팬의 노브를 돌리면 날개의 속도가 변하고, 전자레인지의 버튼을 누르면 디스플레이에 불이 들어옵니다. 이것들은 단순히 하나의 부품이 움직이는 것이 아니라, 하나의 동작이 다른 동작을 유발하는 일련의 사건들입니다. 연구진은 이러한 상호작용을 위한 규칙을 작성하도록 시스템을 프로그래밍했습니다. 각 규칙은 작은 스크립트처럼 작동합니다: 만약 사용자가 스위치를 누르면, 램프가 켜집니다. 만약 사용자가 다이얼을 돌리면, 팬의 속도가 변합니다. 이러한 규칙들을 코드로 작성함으로써, 시스템은 사용자가 주전자를 올바르게 놓았을 때 조명이 켜지는 것과 같이 여러 물체가 함께 작동하는 복잡한 동작을 생성할 수 있습니다. 이를 통해 디지털 방은 로봇의 행동에 자연스럽고 일관되게 반응할 수 있습니다.

이러한 방들을 구축할 때 가장 까다로운 부분 중 하나는 물체가 어느 방향을 향해야 하는지를 결정하는 것입니다. 토스터기는 앞면, 뒷면, 윗면이 있지만, 사진을 보는 컴퓨터는 사람이 사용하는 모습을 보지 않는 한 어느 쪽이 앞면인지 알지 못할 수 있습니다. 연구진은 물체를 구축할 때 이미 가지고 있는 정보를 활용하여 이 문제를 해결했습니다. 시스템은 코드를 통해 방을 구성하기 때문에, 손잡이나 버튼의 위치와 같은 모든 부품의 세부 사항을 알고 있습니다. 시스템은 이 지식을 사용하여 인간이 어떻게 사용할지를 바탕으로 물체의 최적의 방향을 결정합니다. 이는 키보드가 사용자를 향하도록 배치되고 마우스가 오른손잡이용 그립에 맞춰 위치하도록 보장하며, 이는 시각적 추측에만 의 relied 했던 기존 방식들이 자주 틀렸던 부분입니다.

연구팀은 식사 공간부터 사무실에 이르기까지 28개의 다양한 방을 만들어 시스템을 테스트했으며, 그 결과를 기존의 다른 방법들과 비교했습니다. 테스트 결과, 그들의 접근 방식이 훨씬 더 완전하고 현실적인 방을 만들어낸다는 것이 입증되었습니다. 시뮬레이션에서 생성된 방들은 물체가 공중에 떠 있는 경우가 적었고, 가구가 지지되는 형태가 더 나았으며, 실제로 손이 닿고 사용 가능한 물체가 더 많았습니다. 가장 중요한 것은, 새로운 시스템이 생성한 장면에는 조작 가능한 물체가 훨씬 더 많은 상호작용 요소들을 포함하고 있었다는 점입니다. 다른 방법들이 움직이는 부품이 몇 개 있는 방을 만들 때, 새 시스템은 열리는 문, 켜지는 조명, 속도를 조절하는 다이얼 등 조작할 수 있는 많은 물체가 있는 장면을 생성했습니다. 연구진은 로봇이 이 디지털 방에 들어가서 문 손잡이를 잡아 문을 닫거나 디스플레이의 버튼을 눌러 불을 밝히는 등의 작업을 성공적으로 수행할 수 있음을 보여주었습니다.

이 연구는 로봇과 인공지능을 위한 디지털 환경을 구축하는 방식의 중대한 변화를 나타냅니다. 외형보다는 방의 목적에 집중함으로써, 연구진은 실제 세계에서의 테스트를 위한 준비가 된 공간을 생성하는 방법을 만들어냈습니다. 결과물인 장면들은 단순한 정적 이미지가 아니라, 모든 물체가 역할을 가지고 모든 행동에 결과가 따르는 역동적인 환경입니다. 이를 통해 로봇은 우리가 사는 세상과 똑같이 작동하는 환경에서 자신의 기술을 배우고 연습할 수 있으며, 이는 디지털 시뮬레이션과 물리적 현실 사이의 간극을 메워줍니다. 이 시스템은 우리가 우리 자신의 집에서 사용하는 것과 동일한 논리로 디지털 세계를 구축할 때, 언젠가 우리 곁에서 살아가고 함께 일할 기계들을 위한 훨씬 더 나은 토대를 만들 수 있음을 증명합니다.

기술 요약: RoomWright

문제 정의

실내 장면 합성(Indoor scene synthesis)은 체화된 AI(embodied AI), 로봇 조작, 그리고 시뮬레이션 기반 정책 학습에 있어 매우 중요합니다. 최근의 코드 기반 방법론들(예: SceneCode, Code-as-Room)은 편집 가능하고 확장 가능한 3D 환경을 생성하는 데 진전이 있었으나, 이들은 주로 **시각적 구축(visual construction)**과 객체 수준의 관절 구조(object-level articulation)(예: 문이 열리거나 서랍이 미끄러지는 동작)에 집중되어 있습니다. 이러한 접근 방식은 장면의 **기능적 사용성(functional usage)**을 모델링하는 데 실패하는 경우가 많습니다. 결과적으로, 생성된 장면은 현실적인 체화된 과업(예: 스위치를 눌러 램프를 켜거나, 베이스 위에 주전자를 놓아 인디케이터를 활성화하는 것)에 필요한 인과적 의존성과 다중 객체 상호작용을 결여하게 됩니다. 또한, 시각적 픽셀만으로는 조작 가능한 객체의 올바른 방향을 결정하는 것이 모호하여, 상호작용을 저해하는 비현실적인 배치가 발생합니다.

방법론: RoomWright

RoomWright는 체화된 상호작용을 위해 특별히 설계된, 완전히 실행 가능한 코드로 표현되는 3D 장면을 생성하는 에이전트 프레임워크입니다. 이 시스템은 세 가지 주요 단계로 작동합니다.

1. 장면 계획 (사용성 기반 객체 추론)

자연어 방 설명이 주어지면, 시스템은 기호적 장면 상태 $S = (O, F, G_x)$ 를 구축합니다:

객체 집합 ( $O$ ): 순차적 열거 대신, 시스템은 **사용성 기반 객체 추론(usage-driven object reasoning)**을 수행합니다. 시스템은 주요 바닥 거치형 앵커(floor-standing anchors)를 "태스크 센터(task centers)"로 취급합니다. 각 앵커에 대해, 시스템은 해당 앵커가 지원하는 인간의 활동을 식별하고, 그 태스크를 위해 필요한 동반 객체들만을 방사형으로 수용합니다. 이는 장면 구성이 시각적 그럴듯함뿐만 아니라 의도된 사용성에 근거하도록 보장합니다.
지지 포레스트 (Support Forest, $F$ ): 기하학적 안정성을 보장하기 위해 물리적 지지 관계(예: 무엇이 무엇 위에 놓여 있는지)를 기록합니다.
상호작용 그래프 (Interaction Graph, $G_x$ ): 모든 객체에 대해 상호작용 엣지 $e = (s, t, m, \phi)$ 를 철저히 유도하여, 컨트롤러(소스)를 특정 메서드를 통해 타겟에 연결함으로써 사용자가 작동시킬 수 있는 어포던스(affordance)를 포착합니다.

2. 시뮬레이션 준비가 된 에셋 생성

시스템은 물리적으로 실행 가능한 에셋을 생성합니다:

관절 구조 코드 (Articulated Code): 백엔드(Articraft)를 사용하여, 객체는 의미론적 부품, 충돌 기하 구조, 동적 특성(질량, 관성, 마찰력)을 갖춘 시뮬레이션 준비 완료된 에셋으로 컴파일됩니다. 경첩(hinged) 및 슬라이딩 부품은 회전(revolute) 및 프리즘(prismatic) 조인트로 변환됩니다.
코드 기반 다중 부품 상호작용: 코드 에이전트는 상호작용 엣지를 구조화된 객체 상태에 대한 **트리거-조건-효과 규칙(trigger–condition–effect rules)**으로 컴파일합니다. 고립된 관절 파라미터와 달리, 이 규칙들은 여러 객체와 부품 간의 인과적 의존성(예: 스위치가 램프의 상태 변화를 트리거하는 것)을 포착합니다. 런타임은 추상적인 부품 이름을 시뮬레이션 내의 구체적이고 주소 지정 가능한 링크에 바인딩합니다.
재질 생성: 텍 textures와 PBR 재질은 FLUX.2를 사용하여 생성되며, 명시적인 UV 언래핑 없이도 일관된 외관을 보장하기 위해 폐쇄형(closed-form) UV 투영을 통해 적용됩니다.

3. 레이아웃 생성

기하학적 해결 (Geometric Solving): 사용자 중심 참조 프레임으로 표현된 기호적 레이아웃 프로그램은 기하학적 솔버에 의해 충돌 없는 메트릭 포즈(metric poses)로 구체화됩니다.
사용 가이드 방향 설정 (Usage-Guided Orientation): 조작 가능한 객체의 방향 모호성을 해결하기 위해, 시스템은 주석 정보 기반의 사용 가이드 방향 설정을 활용합니다. 시스템은 모델링 단계에서 기록된 의미론적 주석과 렌더링된 뷰를 융합합니다. 시각-언어 모델(VLM)은 추론된 손과 팔의 앵커를 바탕으로 "사용을 향한(use-facing)" 방향을 예측하여, 키보드나 마우스와 같은 객체가 상호작용에 적합하도록 올바르게 배치되도록 합니다.
반복적 정교화: 비전-인-더-루프(vision-in-the-loop) 비평가가 시각적 사실성, 기능적 일관성, 물리적 타당성을 평가하며, 반복적인 장면 편집과 물리 시뮬레이션 검증을 통해 레이아웃을 정교화합니다.

주요 기여

RoomWright 프레임워크: 정적인 기하 구조를 넘어, 체화된 상호작용을 위한 편집 가능하고 시뮬레이션 준비가 된 환경을 생성하는 코드 장면 생성 에이전트 프레임워크입니다.
사용성 기반 객체 추론: 시각적 판단이 아닌, 의도된 활동과 기능적 관계로부터 객체 선택 및 공간 조직을 도출하는 새로운 장면 구성 방식입니다.
코드를 통한 다중 부품 상호작용: 상호작용을 트리거-조건-효과 규칙으로 표현하여, 여러 객체와 부품 간의 협응된 움직임과 인과적 의존성을 가능하게 하는 코드 에이전트를 도입했습니다.
주석 정보 기반 방향 설정: 모델링 단계의 의미론적 주석을 사용하여 사용을 향한 방향 할당을 가이드함으로써, 조작 가능한 객체의 방향 모호성을 완화하는 방법론입니다.

결과

28개의 다양한 룸 레벨 프롬프트를 대상으로 SceneCode, Code-as-Room, SceneSmith와 비교하는 광범위한 실험이 수행되었습니다.

정량적 성능: RoomWright는 Access(기능적 측면의 도달 가능성, SceneSmith의 39.8% 대비 65.6%)와 ObjAttr(객체 속성 만족도, 42.5% 대비 64.6%)에서 가장 높은 점수를 기록했습니다. 또한 충돌 없는 배치(95.9%)와 탐색 가능성(97.3%)에서도 높은 점수를 유지했습니다.
상호작용 콘텐츠: RoomWright는 상호작용 객체 생성 능력(SceneCode의 4.4 대비 16.4)과 복잡한 비경첩 상호작용(CHI: 타 모델 0 대비 6.4)에서 다른 베이스라인 모델들을 크게 압도했습니다. 또한 다중 부품 협응(MPC)을 지원하는 유일한 방법이었습니다.
정성적 분석 및 절제 연구: 시각적 비교를 통해 RoomWright가 더 높은 개연성과 현실적인 시각적 품질을 가진 레이아웃을 생성함을 보여주었습니다. 절제 연구(Ablation studies) 결과, 사용성 기반 추론을 제거하면 맥락상 필요한 객체가 누락되고, 사용 가이드 방향 설정을 제거하면 조작 가능한 아이템(예: 키보드와 마우스)의 배치가 잘못됨을 확인했습니다.
로봇 통합: 생성된 장면은 NVIDIA Isaac Sim(OmniGibson을 통해)으로 성공적으로 임포트되었으며, 로봇은 핸들을 잡거나 버튼을 누르고 상태 변화(예: 불이 켜짐)를 관찰하는 등의 과업을 성공적으로 수행할 수 있었습니다.

의의 및 주장

본 논문은 RoomWright가 시각적 구축에서 기능적 모델링으로의 전환을 나타낸다고 주장합니다. 장면을 단순한 기하 구조가 아니라 사용 로직, 인과적 의존성, 상호작용 상태를 인코딩하는 실행 가능한 코드로 취급함으로써, RoomWright는 "실행 가능하고, 편집 가능하며, 시뮬레이션 준비가 된" 환경을 제공합니다. 저자들은 이 접근 방식이 체화된 AI에 필수적이라고 주장하는데, 이는 에이전트가 단순히 현실적으로 보이는 것이 아니라 물리 법칙과 기능적 의도에 따라 작동하는 환경과 상호작용할 수 있게 하기 때문입니다. 이 연구는 코드 기반 표현이 "장면이 실제로 어떻게 사용되는가"를 효과적으로 포착할 수 있음을 입증하며, 절차적 생성과 상호작용 가능한 시뮬레이션 사이의 간극을 메웁니다.