TeHOR: Text-Guided 3D Human and Object Reconstruction with Textures

이 논문은 단일 이미지에서 3D 인간과 물체의 재구성을 위해 물리적 접촉 정보뿐만 아니라 텍스트 설명과 외관 단서를 활용하여 비접촉 상호작용을 포함한 보다 정확하고 의미적으로 일관된 재구성을 가능하게 하는 'TeHOR' 프레임워크를 제안합니다.

핵심

🎨 1. 기존 기술의 문제점: "눈만 믿는 장님"

기존의 3D 복원 기술들은 사진을 보고 사람과 사물을 3D 로 만들 때, **"사람이 사물을 잡고 있거나 닿아 있는 부분"**에만 너무 집착했습니다.

• 비유: 마치 손이 닿는 곳만 보고 그림을 그리는 화가 같아요.
  • 사람이 공을 잡으면 "잡고 있다"고 인식해서 공을 손에 붙여줍니다.
  • 하지만 사람이 공을 향해 점프해서 잡으려는 순간 (아직 손이 닿지 않은 상태) 이나, 스케이트보드를 타고 점프하는 모습을 보면, "손이 공에 닿지 않았으니" 공이 어디에 있어야 할지, 사람이 어떤 자세를 취해야 할지 전혀 모릅니다.
  • 결과적으로 공이 허공에 떠 있거나, 사람이 이상하게 구부정하게 서 있는 어색한 3D 모델이 만들어집니다.

🧠 2. TeHOR 의 혁신: "이야기를 읽어주는 천재 작가"

TeHOR 는 이 문제를 해결하기 위해 사진을 보고 '이야기 (텍스트)'를 만들어내는 AI를 도입했습니다.

• 핵심 아이디어: "이 사진은 **'남자가 스케이트보드로 트릭을 하고 있다'**는 이야기야!"라고 AI 가 스스로 설명을 만들어낸 뒤, 그 **이야기 (텍스트)**를 3D 모델링의 나침반으로 사용합니다.
• 비유: 이제 화가는 손이 닿는 곳뿐만 아니라, 그림의 '분위기'와 '이야기'까지 읽을 수 있게 되었습니다.
  • "남자가 점프 중이야!"라는 이야기를 들으면, AI 는 "아! 공중으로 떠 있어야겠구나! 스케이트보드는 발 아래에 있어야겠구나!"라고 추론합니다.
  • 손이 닿지 않아도, **이야기 (의도)**를 통해 사람과 사물의 올바른 위치와 자세를 찾아냅니다.

🛠️ 3. 어떻게 작동할까요? (두 가지 핵심 도구)

TeHOR 는 두 가지 강력한 도구를 합쳐서 작동합니다.

1. 이야기 (텍스트) 로 방향을 잡기:

   • 사진 속 상황을 GPT-4 같은 AI 가 보고 "여자는 개를牵着 (끌고) 서 있다"거나 "남자는 공을 잡으려 점프한다"는 세부적인 설명을 만들어냅니다.
   • 이 설명을 바탕으로 3D 모델을 수정합니다. 손이 닿지 않아도 "점프 중"이라는 설명만으로도 공중의 자세를 완벽하게 맞춰줍니다.

2. 전체적인 '분위기'를 맞추기:

   • 기존 기술은 사람과 사물이 닿는 '국소적인 부분'만 맞춰서, 전체적으로 어색한 경우가 많았습니다 (예: 병이 뒤집혀 있거나).
   • TeHOR 는 전체 그림의 색감, 조명, 분위기까지 텍스트 설명과 비교합니다. "화려한 모자이크 벤치에 앉아 있다"는 설명이 있다면, 벤치의 색상과 사람의 앉은 자세가 그 분위기에 맞도록 전체를 다듬습니다.

🌟 4. 왜 이것이 중요한가요?

이 기술은 단순한 3D 모델링을 넘어, 사람과 사물의 '관계'를 이해하는 것입니다.

• 비접촉 상황도 완벽하게: 공을 잡으려는 순간, 물건을 가리키는 순간, 눈으로 바라보는 순간처럼 손이 닿지 않는 상황에서도 자연스러운 3D 장면을 만들어냅니다.
• 실제 같은 질감 (Texture): 사람 옷의 무늬나 사물의 질감까지 생생하게 복원하여, VR(가상현실) 이나 게임, 로봇 훈련 등에 바로 쓸 수 있는 실감 나는 디지털 자산을 만듭니다.

📝 요약

TeHOR는 "사진을 보고 3D 를 만드는 기술"에 **AI 가 만들어낸 '이야기 (텍스트)'**를 더했습니다.

기존: "손이 닿는 곳만 보고 맞춰주세요." (어색함)
TeHOR: "이 사진은 **'남자가 공을 잡으려 점프하는 중'**이라는 이야기야! 그 이야기를 바탕으로 맞춰주세요." (완벽함)

이처럼 이야기를 통해 상황의 맥락을 이해함으로써, 사람이 사물과 어떻게 상호작용하는지 훨씬 더 자연스럽고 정확하게 3D 로 재현해냅니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

단일 이미지에서 3D 인간과 사물의 결합된 재구성은 로봇공학, AR/VR, 디지털 콘텐츠 제작 등에 필수적입니다. 그러나 기존 방법론들은 다음과 같은 두 가지 근본적인 한계를 겪고 있습니다.

• 물리적 접촉 정보에 대한 과도한 의존: 기존 방법들은 인간과 사물 간의 물리적 접촉 (Contact) 을 주요 단서로 사용합니다. 이는 잡기 (grasping) 와 같은 명시적 상호작용에는 유용하지만, 바라보기 (gazing), 가리키기 (pointing) 등 비접촉 (non-contact) 상호작용을 재구성하는 데 실패합니다. 접촉이 없는 경우 재구성 시스템이 활용할 수 있는 물리적 단서가 부족해 잘못된 3D 구조를 생성합니다.
• 국소 기하학적 근접성만 고려: 재구성 과정이 인간과 사물 간의 국소적인 기하학적 거리를 최소화하는 데 집중하여, 전체적인 맥락 (글로벌 컨텍스트) 을 무시합니다. 이로 인해 사물의 방향이 잘못되거나 인간의 시선이 맞지 않는 등 시각적으로 부자연스러운 결과가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 TeHOR을 제안하며, 이는 텍스트 설명을 강력한 시맨틱 가이드로 활용하여 3D 인간과 사물의 재구성을 수행하는 프레임워크입니다.

A. 핵심 구성 요소

1. 3D 표현 (3D Representation):

   • 인간과 사물을 모두 3D 가우스 (3D Gaussians) 집합으로 표현합니다.
   • 인간은 SMPL-X 모델 기반의 가우스 속성 (포즈, 모양, 텍스처) 으로, 사물은 아핀 변환 (회전, 이동, 스케일) 을 적용한 가우스로 파라미터화됩니다.
   • 초기 재구성을 위해 LHM(인간), InstantMesh(사물), ZoeDepth(깊이) 등을 활용합니다.

2. 텍스트 캡션 생성 (Text Captioning):

   • 입력 이미지를 Vision-Language Model (GPT-4) 에 입력하여 두 가지 텍스트 프롬프트를 생성합니다.
     • $P_{holistic}$: 인간 - 사물 상호작용의 전체적인 맥락 (행동, 환경, 의도) 을 설명.
     • $P_{contact}$: 물리적 접촉이 발생하는 구체적인 신체 부위 (예: 오른손, 엉덩이) 를 명시.

3. HOI 최적화 단계 (HOI Optimization Stage):

   • 초기 3D 재구성을 텍스트 프롬프트에 기반하여 정제하는 최적화 과정을 수행합니다.
   • 손실 함수 (Loss Functions):
     • 재구성 손실 ($L_{recon}$): 입력 이미지와 렌더링된 전경 (front-view) 간의 MSE.
     • 외관 손실 ($L_{appr}$): 핵심 기술. 사전 훈련된 확산 네트워크 (StableDiffusion) 를 활용하여, 렌더링된 2D 이미지가 텍스트 설명 ($P_{holistic}$) 과 시맨틱적으로 일치하도록 유도합니다. 이는 접촉이 없는 상호작용이나 사물의 방향 등 글로벌 맥락을 학습하는 데 결정적입니다.
     • 접촉 손실 ($L_{contact}$): 텍스트로 명시된 접촉 부위 간의 물리적 거리를 최소화합니다.
     • 충돌 손실 ($L_{collision}$): 인간과 사물 간의 침투를 방지합니다.

4. 가우스 - 메쉬 변환 (Gaussians-to-mesh conversion):

   • 최종 3D 가우스를 메쉬로 변환할 때, 접촉 영역에서 일관성을 유지하기 위해 메쉬 정점을 인간 표면 쪽으로 국소적으로 이동시키는 보정 과정을 거칩니다.

3. 주요 기여 (Key Contributions)

1. 텍스트 기반 시맨틱 가이드: 물리적 접촉 정보뿐만 아니라 텍스트 설명을 활용하여 접촉 및 비접촉 상호작용을 포함한 광범위한 상호작용 추론이 가능합니다.
2. 전체적 맥락 (Holistic Context) 포착: 확산 모델의 시각적 사전 지식을 활용하여 렌더링된 외관을 텍스트와 정렬함으로써, 국소 기하학만 고려하던 기존 방법의 한계를 극복하고 시각적으로 타당한 재구성을 달성합니다.
3. 텍스처가 포함된 3D 재구성: 인간과 상호작용하는 사물의 풀 3D 텍스처를 함께 재구성하여, 몰입감 있는 디지털 자산 생성이 가능합니다.
4. SOTA 성능 달성: 다양한 상호작용 시나리오 (특히 비접촉 상황) 에서 기존 최첨단 방법들보다 우수한 정확도와 타당성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Open3DHOI (오픈 보편적, 자연 환경) 및 BEHAVE (실내 제어 환경) 데이터셋을 사용했습니다.
• 정량적 평가:
  • Chamfer Distance (CD): 인간 및 사물의 3D 표면 정합도에서 기존 방법 (PHOSA, InteractVLM, HOI-Gaussian 등) 대비 가장 낮은 오차를 기록했습니다.
  • Contact Score: 접촉 정밀도 (F1-score) 에서도 최상의 성능을 보였습니다.
  • 비접촉 시나리오: 물리적 접촉이 없는 데이터셋 부분에서 기존 방법들이 실패하는 반면, TeHOR 은 텍스트 기반 추론을 통해 높은 정확도를 유지했습니다.
• 정성적 평가:
  • 텍스트 설명에 기반하여 사물의 올바른 방향, 인간의 시선, 자세 등을 자연스럽게 재구성했습니다.
  • 특히 "공을 잡으려 한다", "개와 함께 달린다"와 같은 비접촉 상호작용에서도 물리적으로 타당한 3D 구조를 생성했습니다.
• Ablation Study:
  • 텍스트 프롬프트 제거 시 글로벌 맥락이 손실됨을 확인.
  • 확산 네트워크 기반의 외관 손실 ($L_{appr}$) 이 CLIP 손실보다 더 정밀한 3D 재구성을 가능하게 함을 입증.
  • 2D 배경 이미지의 활용이 전체 장면 맥락 이해에 필수적임을 확인.

5. 의의 및 의의 (Significance)

TeHOR 은 단일 이미지 기반 3D 재구성 분야에서 물리적 접촉 단서의 한계를 텍스트 기반 시맨틱 추론으로 극복한 최초의 연구 중 하나입니다. 이 방법은 단순한 기하학적 정합을 넘어, 인간의 의도와 상황적 맥락을 이해하는 고수준의 재구성을 가능하게 합니다. 특히 비접촉 상호작용의 정확한 재구성과 고해상도 텍스처 생성 능력은 AR/VR, 게임, 로봇 시뮬레이션 등 다양한 응용 분야에서 현실적이고 몰입감 있는 3D 콘텐츠 제작에 중요한 기여를 할 것으로 기대됩니다.