MANSION: Multi-floor lANguage-to-3D Scene generatIOn for loNg-horizon tasks

이 논문은 실제 세계의 복잡한 다층 환경과 장기 작업을 평가하기 위해 언어 기반의 전체 건물 규모 3D 장면 생성 프레임워크인 'MANSION'과 이를 활용한 대규모 데이터셋 'MansionWorld'를 제안합니다.

핵심

이 논문은 **"MANSION(맨션)"**이라는 이름의 새로운 AI 시스템을 소개합니다. 쉽게 말해, **"로봇이 일할 수 있는 거대한 3D 건물을 말로만 지어주는 마법 같은 설계사"**라고 생각하시면 됩니다.

기존의 로봇 연구들은 대부분 '작은 아파트 한 층'이나 '단순한 방'에서만 테스트했습니다. 하지만 현실의 로봇은 우편물을 배달하거나 병원 물건을 나르려면 건물 전체를 돌아다니며 여러 층을 오가야 합니다. 문제는 이런 복잡한 건물을 직접 만들거나 스캔하는 데는 너무 돈이 많이 들고, 로봇이 연습할 환경을 쉽게 고칠 수 없다는 점입니다.

이 논문은 이 문제를 해결하기 위해 세 가지 핵심 아이디어를 제시합니다.

1. MANSION: 말로만 지어지는 마법의 건축가

기존의 AI들은 그림을 그리듯 방을 하나씩 쌓아 올리다가, 층이 높아지면 계단이나 엘리베이터가 연결되지 않아 엉망이 되는 경우가 많았습니다.

• 비유: 마치 레고 블록을 쌓을 때, 1 층은 잘 쌓아도 2 층으로 넘어가면 기둥이 맞지 않아 무너지는 것과 같습니다.
• 해결책: MANSION 은 **"수직 구조 (Vertical Structure)"**를 가장 중요한 규칙으로 삼습니다. 사용자가 "3 층짜리 병원 만들어줘"라고 말하면, AI 는 먼저 건물의 뼈대 (기둥, 계단, 엘리베이터) 를 1 층부터 3 층까지 완벽하게 연결된 상태로 설계합니다. 그 다음에 방들을 채워 넣습니다.
• 결과: 말로만 명령하면, 로봇이 실제로 걸어 다니고 엘리베이터를 타고 이동할 수 있는 완벽한 3D 건물이 자동으로 생성됩니다.

2. MansionWorld: 로봇을 위한 거대한 놀이터 (데이터셋)

이 시스템으로 만든 건물을 모아 **MansionWorld(맨션월드)**라는 거대한 데이터셋을 공개했습니다.

• 규모: 병원, 학교, 쇼핑몰, 사무실 등 1,000 개 이상의 다양한 건물이 포함되어 있습니다.
• 특징: 단순히 방만 있는 게 아니라, 로봇이 계단을 오르고 엘리베이터를 타고 1 층에서 4 층까지 이동하며 임무를 수행할 수 있도록 설계되었습니다.
• 의미: 이전까지 로봇 연구자들은 '작은 방'에서만 연습했지만, 이제 실제 도시의 건물 크기만큼 복잡한 환경에서 로봇의 두뇌 (계획 능력) 를 테스트할 수 있게 되었습니다.

3. 장면 편집 에이전트: "이건 좀 바꿔줘"라고 말하는 마법 지팡이

건물을 다 지었는데, 로봇이 "냉장고에 콜라가 없으면 안 돼!"라고 요구할 때, 건물을 다시 다 짓는 건 비효율적입니다.

• 비유: 마치 레고로 만든 성에, "여기 식탁 위에 사과를 좀 더 추가해 줘"라고 말하면, AI 가 알아서 사과를 가져와서 식탁 위에 올려주는 것과 같습니다.
• 기능: 사용자가 "2 층 테이블에 간식을 두고, 냉장고에 음료를 넣어줘"라고 말하면, AI 는 건물의 구조를 해치지 않으면서 필요한 물건을 찾아와서 적절한 곳에 배치합니다.
• 장점: 하나의 건물을 가지고도 수천 가지의 다른 임무 (예: 물건 찾기, 배달하기) 를 쉽게 만들어낼 수 있어, 로봇 훈련 비용을 획기적으로 줄여줍니다.

실험 결과: 로봇들은 아직 이 정도는 못 합니다

이 논문은 최신 로봇 AI 들을 이 새로운 '맨션월드'에서 테스트해 보았습니다.

• 결과: 기존에 잘하던 로봇들도 2 층 이상 넘어가거나, 엘리베이터를 타는 상황에서는 거의 실패했습니다.
• 의미: 로봇들이 '한 층'을 잘 돌아다닌다고 해서 '건물 전체'를 잘 돌아다니는 건 아닙니다. 앞으로 로봇이 현실 세계 (병원, 쇼핑몰 등) 에서 일하려면, 공간을 이해하고 장기적인 계획을 세우는 능력이 훨씬 더 필요하다는 것을 증명했습니다.

요약

이 논문은 **"로봇이 현실 세계의 복잡한 건물에서 일할 수 있도록, 말로만 지을 수 있는 거대한 3D 놀이터를 만들었다"**는 것입니다. 이제 연구자들은 더 이상 작은 방에서 로봇을 훈련시키지 않고, 실제와 똑같은 고층 빌딩에서 로봇의 두뇌를 시험해 볼 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

로봇 공학 및 Embodied AI(구체적 인공지능) 의 궁극적인 목표는 복잡한 실제 세계에서 자율적으로 장기적 (long-horizon) 인 과제를 수행하는 것입니다. 그러나 기존 연구는 다음과 같은 한계에 직면해 있습니다.

• 단층 (Single-floor) 제한: 대부분의 기존 벤치마크 (예: AI2-THOR 의 기존 환경, ProcTHOR 등) 는 아파트나 단일 층의 방에 국한되어 있습니다.
• 수직 구조의 부재: 실제 세계의 과제는 사무실, 병원, 쇼핑몰 등 여러 층을 오가는 이동 (Cross-floor mobility) 을 요구합니다. 하지만 기존 생성 모델들은 계단, 엘리베이터, 층간 연결 구조를 명시적으로 모델링하지 못하거나, 수직적 정렬 (Vertical alignment) 을 고려하지 않아 물리적으로 이동 불가능한 3D 장면을 생성합니다.
• 데이터의 비효율성: 실제 스캔된 데이터는 수정이 어렵고, 기존 합성 데이터는 재구성 (Reconfiguration) 이 제한적입니다.
• 평가의 부재: 장기적 계획, 기억, 공간 추론이 필요한 다층 건물 규모의 과제를 평가할 수 있는 표준화된 벤치마크가 부족합니다.

2. 방법론 (Methodology)

저자들은 자연어 명령을 기반으로 다층 건물을 생성하고, 이를 통해 장기적 과제를 평가할 수 있는 MANSION 프레임워크와 MansionWorld 데이터셋을 제안합니다.

A. MANSION 프레임워크 (Language-driven Generation)

자연어 지시를 3D 다층 건물로 변환하는 계층적 멀티 에이전트 파이프라인입니다.

1. 하이브리드 MLLM-기하학 파이프라인:

   • 고수준 계획 (Whole Building Planning): LLM 이 건물의 전역 스타일, 층수, 기능적 구역 (Functional zones), 수직 핵심 구조 (계단/엘리베이터) 를 결정합니다.
   • 층별 계획 (Per-Floor Planning): 각 층별로 '버블 다이어그램 (Bubble diagram)'을 생성하여 방의 배치와 연결 관계를 정의합니다.
   • 기하학적 솔버 (Geometric Solver): MLLM 이 직접 복잡한 다각형을 생성하는 대신, 중간 단계의 시드 (Seed) 와 제약 조건을 제공합니다. 이를 기반으로 제약 기반 성장 (Constrained Growth) 알고리즘이 실제 방의 다각형 분할을 수행합니다.
   • 수직 정렬 제약 (Vertical Alignment): 각 층의 외곽선과 계단/엘리베이터 샤프트가 층간에서 완벽하게 정렬되도록 '하드 제약 (Hard constraint)'을 적용하여 물리적으로 이동 가능한 구조를 보장합니다.

2. 장면 인스턴스화 (Scene Instantiation):

   • 생성된 평면도를 AI2-THOR 시뮬레이터로 변환합니다.
   • 품질 우선 배치: 로봇이 도달 가능한지 (Reachability) 를 최우선으로 고려하여 물체를 배치합니다.
   • 구조적 배치 원리: 매트릭스 (Matrix) 또는 페어 (Paired) 원리를 사용하여 책상, 의자 등을 규칙적으로 배치하며, 충돌을 방지하고 공간 활용도를 극대화합니다.

B. MansionWorld 데이터셋 및 생태계

• 규모: 1,000 개 이상의 다양한 건물 (주거, 사무실, 병원, 학교, 쇼핑몰 등) 과 10,000 개 이상의 방을 포함합니다.
• 기능: 2 층에서 10 층까지 다양한 높이를 가지며, AI2-THOR 에 통합된 재사용 가능한 터널링 자산 (계단, 엘리베이터) 과 크로스-플로어 (Cross-floor) 기술 API 를 제공합니다.
• 작업 - 시맨틱 장면 편집 에이전트 (Task-Semantic Scene Editing Agent):
  • 정적 건물을 다양한 과제를 수행할 수 있는 놀이터로 변환합니다.
  • 사용자의 고수준 지시 (예: "냉장고에 콜라를 넣어줘") 를 받아, 장면의 전제 조건 (Precondition) 을 확인하고 (Check-and-Provision 워크플로우), 필요한 물체를 추가하거나 제거하여 과제를 실행 가능하게 만듭니다.

3. 주요 기여 (Key Contributions)

1. MANSION 프레임워크: 자연어 지시를 3D 다층 건물로 변환하는 최초의 언어 기반 프레임워크로, 수직적 구조적 제약과 개방형 어휘 (Open-vocabulary) 를 지원합니다.
2. MansionWorld 데이터셋: 1,000 개 이상의 다층 건물을 포함한 대규모 데이터셋으로, 주거 환경을 넘어 병원, 사무실 등 다양한 공공 시설을 포함합니다.
3. 크로스-플로어 이동성: AI2-THOR 에 계단과 엘리베이터를 통한 원활한 층간 이동 API 를 도입하여, 실제 건물 규모의 장기적 과제를 평가할 수 있는 기반을 마련했습니다.
4. 시맨틱 편집 에이전트: 동일한 건물 구조를 유지하면서 다양한 과제를 위해 장면을 동적으로 수정할 수 있는 에이전트를 설계하여 데이터 재사용성을 극대화했습니다.

4. 실험 결과 (Results)

• 평면도 생성 성능: T2D 및 ResPlan 데이터셋에서 기존 방법 (ChatHouseDiffusion 등) 과 비교했을 때, 특히 복잡한 다층 구조와 다양한 방 개수에서 높은 IoU (Intersection over Union) 점수를 기록했습니다. 계층적 분할 전략이 일괄 예측보다 정확도가 높음을 입증했습니다.
• 물체 배치 평가: 다양한 방 유형 (침실, 교실, 도서관 등) 에서 기존 방법 (LayoutGPT, Holodeck) 대비 **충돌률 0%**와 **도달 가능성 (Reachability) 100%**를 달성했습니다. 사용자 연구에서도 현실성과 레이아웃 품질에서 우위를 보였습니다.
• Embodied Agent 벤치마크: BUMBLE, COME-robot 등 최첨단 에이전트를 MansionWorld 에서 평가한 결과, 단일 층에서는 어느 정도 성과를 보였으나, 4 층 이상의 다층 환경에서는 성공률이 급격히 떨어졌습니다 (0%). 이는 장기적 계획, 기억, 공간 추론 능력의 한계를 보여주며, 새로운 알고리즘 개발의 필요성을 강조합니다.

5. 의의 및 결론 (Significance)

• 새로운 벤치마크의 확립: MANSION 은 단순한 시뮬레이션 환경을 넘어, 실제 세계의 복잡성 (수직 이동, 장기적 계획, 구조적 상호작용) 을 반영하는 필수적인 테스트베드를 제공합니다.
• 연구 방향 전환: 기존에 단일 층에 국한되었던 Embodied AI 연구가 건물 규모의 장기적 과제로 확장되어야 함을 시사합니다.
• 실용성: 생성된 환경은 물리적으로 실행 가능하며, 다양한 로봇 과제를 위한 재사용 가능한 플랫폼을 제공하여 실제 로봇 개발과 연구의 효율성을 높입니다.

요약하자면, MANSION은 자연어로부터 물리적으로 실행 가능한 다층 3D 환경을 생성하고, 이를 통해 차세대 Embodied AI 의 공간 추론 및 장기 계획 능력을 평가할 수 있는 혁신적인 프레임워크이자 데이터셋입니다.