How Far Are Vision-Language Models from Constructing the Real World? A Benchmark for Physical Generative Reasoning

1. 문제 제기 (Problem)

기존의 비전 - 언어 모델 (VLM) 평가는 주로 지각적 사실성 (Perceptual Realism) 에 치중해 왔습니다. 즉, 모델이 생성한 3D 레이아웃이나 형태가 시각적으로 얼마나 그럴듯한지에만 초점을 맞추었습니다. 그러나 실제 물리적 세계는 엄격한 구조적, 절차적 제약 (하중 지지, 재료의 허용 스팬, 힘의 전달 경로 등) 으로 이루어져 있습니다.

현재의 벤치마크는 모델이 이러한 물리적 법칙을 이해하여 실제로 건축 가능한 (Constructable) 구조물을 단계별로 설계하고 구축할 수 있는지 여부를 평가하지 못합니다. 단순히 시각적으로 올바른 것처럼 보이는 3D 객체를 생성하는 것과, 공학 표준 (IRC 등) 을 준수하며 물리적으로 건립 가능한 구조물을 만드는 능력 사이에는 큰 격차가 존재합니다.

2. 방법론 (Methodology)

저자들은 이 격차를 해소하기 위해 DreamHouse라는 새로운 벤치마크를 제안했습니다. 이는 주거용 목조 프레임 (Timber-frame) 건설을 기반으로 한 물리적 생성 추론 (Physical Generative Reasoning) 평가 체계입니다.

A. 데이터셋 구성

• 규모: 13 가지 건축 양식 (A-Frame, Barn, Colonial 등) 에 걸쳐 26,000 개 이상의 구조적으로 검증된 목조 주택 모델.
• 세부 수준: LOD 350 (Fabrication-grade) 수준으로, 기초, 바닥, 벽, 지붕 등 각 부재의 정확한 치수, 연결부, 재질 규격이 포함됨.
• 검증: 모든 구조물은 국제주거규정 (IRC) 및 공학 표준을 준수하도록 프로그래밍적으로 생성되었으며, 인간이 개입하여 검증됨.

B. 작업 형식화 (Task Formalization)

모델은 타겟 구조물의 다중 뷰 렌더링 이미지를 입력으로 받아, Blender Python 코드를 생성하여 구조물을 구축해야 합니다.

• 피드백 루프: 생성된 코드는 실행되고, 구조적 유효성 검증기 (Validator) 가 10 가지 물리 기반 테스트를 수행하여 실패 시 구체적인 피드백 (예: "보 - 기둥 간격이 3.0m 를 초과함") 을 제공합니다. 모델은 이 피드백을 받아 코드를 수정합니다.
• 평가 프로토콜:
  1. Planner-Atomic: 한 번에 전체 구축 스크립트를 생성 (홀리스틱 접근).
  2. Planner-Reactive: 단계별 순서를 스스로 결정하며 생성 (반응형).
  3. Planner-Managed: 외부에서 단계 (기초→바닥→벽→지붕) 를 관리하며 각 단계별로 생성 (단계별).
  4. Iterative Refinement: 구조적 유효성을 유지하면서 시각적 유사도를 높이기 위한 반복적 수정 작업.

C. 검증 및 평가 지표

• 구조적 유효성 (Structural Validity): 10 가지 결정론적 테스트 (하중 경로, 스팬 제한, 변형률, 연결부 등) 를 모두 통과해야 함. (이진 평가: 통과/불통과)
• 시각적 충실도 (Visual Fidelity): 생성된 렌더링과 타겟 이미지의 픽셀 단위 일치도 (Alpha-weighted MSE).
• 위상적 충실도 (Topological Fidelity): 부재 수, 공간적 배치, 볼륨 중첩 등을 기반으로 한 구조적 대응성.
• 주요 지표: 구조적 유효성과 시각적 충실도를 동시에 만족하는 비율 (Joint Pass Rate).

3. 주요 기여 (Key Contributions)

1. 새로운 평가 축: 지각, 이해, 시뮬레이션과 구별되는 '물리적 생성 추론' 을 VLM 평가의 새로운 핵심 축으로 제시.
2. DreamHouse 벤치마크: 26,000 개 이상의 검증된 목조 구조물 데이터셋과 10 가지 결정론적 물리 검증 테스트 스위트 제공.
3. 에이전트 평가 프레임워크: 외부 지원 (Scaffolding) 의 정도를 달리하는 3 가지 프로토콜을 통해 모델의 계획 능력, 구조적 추론 능력, 자기 수정 능력을 세밀하게 분석.
4. 시각적 사실성과 물리적 유효성의 비동기성 증명: 시각적으로 완벽한 구조물이 물리적으로 붕괴될 수 있음을 실증.

4. 실험 결과 (Results)

최첨단 VLM (GPT-5, Gemini 3, Claude 4.5) 을 대상으로 한 실험에서 다음과 같은 결과가 도출되었습니다.

• 극심한 성능 격차: 모든 모델이 Joint Pass Rate(구조적 + 시각적 동시 통과) 에서 매우 낮은 성능을 보임. 가장 우수한 모델도 **7.1%**에 불과함.
• 직교성 (Orthogonality): 구조적 유효성과 시각적 충실도는 서로 무관함.
  • GPT-5 는 구조적 생성 (Planner-Atomic) 에 강점이 있으나 시각적 충실도는 낮음.
  • Claude 는 시각적 충실도는 높으나 구조적 오류가 빈번함.
  • 시각적으로 완벽해 보이는 구조물이 하중 경로 오류나 스팬 초과로 인해 물리적으로 붕괴되는 경우가 다수 발생.
• 프로토콜의 중요성: 모델 자체의 성능보다 작업 구조 (Scaffolding) 가 결과에 더 큰 영향을 미침.
  • 예를 들어, Gemini 는 한 번에 생성하는 방식 (Atomic) 에서는 GPT-5 보다 뒤처졌으나, 단계별로 관리하는 방식 (Managed) 에서는 GPT-5 를 역전하며 78.5% 의 통과율을 기록함.
• 피드백의 한계: 시각적 피드백을 제공하더라도 모델이 구조적 오류를 인식하고 수정하는 능력은 제한적임. 일부 모델은 시각적 유사도는 높여도 구조적 무결성을 해치는 경우가 많음.
• 오픈소스 모델의 부재: Qwen3-VL, Kimi K2.5 등 오픈소스 모델들은 Blender 코드 생성 자체에 실패하거나 구조적 검증에서 0% 통과율을 기록하여, 이 영역이 현재 최첨단 (Frontier) 모델만의 영역임을 보여줌.

5. 의의 및 결론 (Significance)

• 현실 세계 구축 능력의 부재: 현재의 VLM 은 물리적 세계의 제약 (하중, 연결, 재료) 을 이해하고 이를 기반으로 실제 구조물을 설계하는 능력이 현저히 부족함.
• 평가 패러다임의 전환 필요: "보이는 것 (Visual)"이 "실제 작동하는 것 (Physical)"을 보장하지 않는다는 점을 강조하며, 단순한 시각적 벤치마크를 넘어 물리적 유효성 (Physical Validity) 을 평가하는 것이 필수적임을 주장.
• 미래 방향: 생성형 AI 가 건축, 제조, 로봇 공학 등 실제 물리적 작업에 적용되기 위해서는 시각적 모방을 넘어선 구조적 추론 (Structural Reasoning) 과 코드 기반의 정밀한 제어 능력이 필요하며, DreamHouse 는 이러한 발전 방향을 추적할 수 있는 구체적인 기준을 제시함.

요약하자면, 이 논문은 **"AI 가 그림을 그리는 것을 넘어, 실제로 지을 수 있는 건물을 설계할 수 있는가?"**라는 질문에 대해, 현재 최첨단 모델들도 물리적 법칙을 고려한 생성에는 여전히 큰 한계가 있음을 체계적인 벤치마크를 통해 증명했습니다.