1. 문제 정의 (Problem Statement)

• 데이터 부족: 로봇 공학 및 embodied AI(구체적 인공지능) 가 3D 장면을 인간 중심의 관점에서 이해하기 위해서는 다양한 환경과 의미 있는 상호작용을 하는 대규모 3D 인간 - 장면 상호작용 (HSI, Human-Scene Interaction) 데이터가 필수적입니다.
• 기존 방법의 한계:
  • 실제 모션 캡처: 자연스러운 환경에서 대규모로 데이터를 수집하는 것은 비용이 많이 들고 물류적으로 불가능하며, 기존 데이터셋은 30 개 미만의 장면으로 제한적입니다.
  • 기존 합성 데이터: 단순한 기하학적 휴리스틱 (기하학적 충돌 회피 등) 에 의존하여, 장면의 맥락 (예: 부엌에서는 요리하기, 소파에서는 앉기) 을 고려하지 않아 의미상 부자연스러운 결과가 나옵니다.
• 핵심 과제: 인터넷 규모의 데이터로 학습된 2D 기반 모델 (Foundation Models) 이 가진 인간 - 환경 상호작용에 대한 암묵적 상식 (Commonsense) 을 3D 공간으로 확장하여, 대규모로 자동화되고 의미 있는 3D 상호작용 데이터를 생성하는 방법론이 필요합니다.

2. 방법론 (Methodology)

InHabit 는 "렌더링 - 생성 - 리프팅 (Render–Generate–Lift)" 원칙을 따르는全自动 (Fully Automatic) 데이터 생성 파이프라인입니다.

A. 2D 에서의 장면 인식 인간 삽입 (Affordance-Aware Human Insertion in 2D)

1. 시각 - 언어 모델 (VLM) 을 활용한 행동 제안:
   • 렌더링된 3D 장면 이미지를 VLM 에 입력하여, 해당 공간이 제공하는 affordance(행동 가능성) 를 분석합니다.
   • Affordance-driven: 장면의 객체 (예: 스토브, 소파) 를 인식하고 적절한 행동 (요리하기, 앉기) 을 제안합니다.
   • Action-driven: 미리 정의된 기본 행동 (서 있기, 기대기 등) 을 장면 맥락에 맞게 구체화합니다 (예: "서 있기" $\rightarrow$ "전구 교체하기 위해 의자에 서 있기").
   • 제약 조건: 장면의 구조를 변경하거나 새로운 객체를 추가하는 행동은 제외하여 3D 기하학적 일관성을 유지합니다.
2. 이미지 편집 모델 활용:
   • VLM 이 제안한 텍스트 프롬프트를 기반으로 이미지 편집 모델 (Image Foundation Model) 이 해당 행동에 맞는 인간을 렌더링된 이미지에 삽입합니다.
   • 이 단계에서 인간은 장면의 맥락에 맞춰 자세, 비율, 위치가 자연스럽게 조정됩니다.

B. 3D 로의 리프팅 (3D Scene-Aware Human Lifting)

• 목표: 2D 이미지에서 생성된 인간을 물리적으로 타당한 3D SMPL-X 메시로 변환하여 알려진 3D 장면 기하학에 정렬합니다.
• 최적화 과정:
  • 기존 방법 (PhySIC 등) 과 달리, 완전한 3D 장면 메시 (Scene Mesh) 를 알고 있으므로 최적화 변수를 줄이고 정확도를 높입니다.
  • 손실 함수 (Loss Function): 2D 재투영 일관성, 깊이 정렬, 장면 표면과의 접촉 (Contact), 침투 방지 (Penetration), 정규화 항을 결합하여 최적화합니다.
  • 스케일 파라미터: 카메라 상대적 공간에서 인간의 크기를 조절하는 명시적 스케일 파라미터 ($s$) 를 도입하여, 신체 모양 ($\beta$) 과 크기를 분리하여 수렴성을 개선합니다.

C. 확장 및 품질 관리 (Scaling & Filtering)

• 확장성: Habitat-Matterport3D (HM3D) 의 약 800 개 빌딩 규모 장면에 적용하여 대규모 데이터를 생성합니다.
• 시점 필터링: 바닥이 보이고 장면의 맥락이 풍부한 시점만 선택합니다.
• 사후 재구성 필터링 (Post-reconstruction Filtering):
  1. 가시성 필터: 거울 반사나 잘린 신체 등 비현실적인 삽입 제거.
  2. 깊이 기반 경계 필터: 인간 주변에 생성된 가상의 가구 등 깊이 불일치 제거.
  3. 부피 필터: SMPL-X 성인 모델에 맞지 않는 어린이나 비인간 객체 (포스터 등) 로 인한 왜곡된 메시 제거.

3. 주요 기여 (Key Contributions)

1. InHabit 파이프라인: VLM 기반 affordance 추론, 생성형 이미지 모델, 그리고 최적화 기반 3D 재구성을 결합한 최초의 자동화 3D HSI 데이터 생성 엔진.
2. InHabitants 데이터셋:
   • 규모: 약 800 개의 빌딩 규모 장면, 78,000 개 이상의 샘플.
   • 내용: 완전한 3D 기하학, SMPL-X 인간 메시, RGB 이미지, 그리고 다양한 단일/다중 인간 상호작용 포함.
   • 특징: 2D 기반 모델이 생성한 의미 있는 상호작용을 물리적으로 타당한 3D 데이터로 변환.
3. 성능 입증: 기존 방법 (GenZI, POSA) 대비 정량적 지표와 사용자 연구에서 우월한 성능을 보였으며, 다운스트림 태스크 (접촉 추정, HSI 재구성) 의 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

• 정성적 비교 (Qualitative):
  • POSA++ 는 기하학적 접촉 위주로 최적화되어 맥락이 없는 자세 (예: 벽에 발이 붙은 상태) 를 생성하는 반면, InHabit 은 장면 맥락을 고려하여 자연스러운 상호작용 (예: 소파에 기대기, 지도 가리키기) 을 생성합니다.
• 사용자 연구 (Perceptual User Study):
  • 726 개의 응답 중 78.1% 에서 InHabit 의 결과가 가장 현실적이고 물리적으로 타당하며 자연스러운 자세로 선호되었습니다 (GenZI: 6.7%, POSA++: 15.2%).
• 정량적 평가 (Quantitative):
  • 접촉 추정 (Contact Estimation): DAMON 벤치마크에서 DECO 모델을 학습시킬 때, InHabitants 데이터를 추가하면 기존 데이터만 학습한 경우보다 정밀도 (Precision) 와 재현율 (Recall) 이 크게 향상되었습니다. 이는 수동 주석이 필요한 TRUMANS 데이터셋보다 자동 생성 데이터가 더 효과적임을 보여줍니다.
  • HSI 재구성 (Reconstruction): PROX 및 RICH 벤치마크에서 Human3R 및 GRAFT 모델을 InHabitants 데이터로 학습시켰을 때, 기존 데이터 (BEDLAM, PROX) 만으로 학습한 모델보다 인간 자세 및 장면 접촉 정확도가 크게 개선되었습니다. 특히 GRAFT 는 실내 데이터로만 학습되었음에도 야외 (RICH) 환경에서도 일반화 능력을 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 고비용의 3D 모션 캡처 인프라에 의존하던 기존 방식을 넘어, 인터넷 규모의 2D 기반 모델이 가진 방대한 상호작용 지식을 3D 로 전이 (Transfer) 하는 새로운 접근법을 제시했습니다.
• 확장성: 수동 주석 없이도 수만 개의 고품질 3D 상호작용 데이터를 생성할 수 있어, embodied AI 및 로봇 공학 연구에 필요한 대규모 학습 데이터의 병목 현상을 해결합니다.
• 미래 전망: 현재는 정적 장면과 정적 포즈에 국한되어 있지만, 이 원칙은 향후 비디오 생성 및 동적 장면으로 확장될 수 있으며, 2D 기반 모델이 embodied AI 학습을 위한 실용적이고 확장 가능한 대안이 될 수 있음을 입증했습니다.