Hoi3DGen: Generating High-Quality Human-Object-Interactions in 3D

이 논문은 텍스트 기반의 3D 인간 - 사물 상호작용 생성의 정확도와 품질을 획기적으로 개선하기 위해 멀티모달 대규모 언어 모델을 활용한 고품질 데이터 구축과 새로운 텍스트 -to-3D 파이프라인을 제안하는 'Hoi3DGen' 프레임워크를 소개합니다.

핵심

Hoi3DGen: 텍스트로 3D '인간 - 사물 상호작용'을 마법처럼 만들어내는 기술

이 논문은 **"텍스트로만 설명된 복잡한 3D 장면을 어떻게 현실감 있게 만들어낼까?"**라는 질문에 대한 해답을 제시합니다. 특히 사람이 물건을 들고, 밀고, 타고 하는 등 **'상호작용 (Interaction)'**이 포함된 3D 장면을 만드는 데 초점을 맞췄습니다.

이 기술을 쉽게 이해할 수 있도록 요리사, 건축가, 그리고 교정관의 비유를 들어 설명해 드리겠습니다.

---

1. 기존 기술의 문제점: "요리사가 재료를 섞는 데 실패하다"

지금까지의 AI 기술 (SDS 기반 방법들) 은 텍스트를 보고 3D 이미지를 만들 때, 마치 재료를 섞는 요리사처럼 작동했습니다.

• 문제: "남자가 말을 타고 있다"라고 입력하면, 남자와 말이 뭉개지거나, 말이 두 개가 생기거나 (자네스 문제), 남자가 말을 타고 있는 게 아니라 옆에 서 있는 것처럼 엉망이 되는 경우가 많았습니다.
• 원인: AI 가 "사람이 물건을 어떻게 만지는지"에 대한 정확한 데이터 (레시피) 를 충분히 배우지 못했기 때문입니다.

2. Hoi3DGen 의 핵심 아이디어: "정교한 레시피와 건축가"

이 연구팀은 문제를 해결하기 위해 세 가지 단계로 이루어진 완벽한 워크플로우를 개발했습니다.

1 단계: 데이터 정제 (교정관의 역할)

가장 먼저, AI 가 배울 수 있는 **고품질의 '레시피' (데이터)**를 만들었습니다.

• 기존 데이터의 문제: 기존 3D 데이터는 사람이 물건을 어떻게 만지는지 (어떤 손이 닿고, 어떤 다리가 닿는지) 에 대한 설명이 부족하거나, 서로 겹쳐서 보이지 않는 경우가 많았습니다.
• 해결책: 연구팀은 **AI(멀티모달 LLM)**를 '교정관'처럼 활용했습니다.
  • 3D 모델을 보고 AI 에게 "이 남자는 검은 정장을 입었고, 붉은 넥타이를 했으며, 말의 등 위에 앉아 있다"라고 상세한 설명을 자동으로 작성하게 했습니다.
  • 특히 **"어떤 부위가 어디에 닿는지 (접촉점)"**를 정밀하게 분석하여, 엉뚱한 데이터는 버리고 **400 개의 완벽한 '명품 레시피'**만 남겼습니다.

2 단계: 2D 이미지 생성 (요리사의 역할)

이제 이 완벽한 레시피를 바탕으로 2D 그림을 그립니다.

• 기존 방식: 한 번에 그림을 그리려다 보니 앞면은 잘 나오는데 뒷면은 사라지는 등 엉망이 되었습니다.
• Hoi3DGen 의 방식: **카메라 시점 (View Conditioning)**을 조절합니다.
  • "앞에서 본 모습", "왼쪽에서 비스듬히 본 모습", "오른쪽에서 본 모습" 이렇게 세 가지 각도를 동시에 요청합니다.
  • 마치 건축가가 건물을 설계할 때 평면도, 입면도, 단면도를 모두 그려서 실수를 방지하는 것처럼, 여러 각도의 그림을 통해 AI 가 3D 구조를 정확히 이해하도록 돕습니다.

3 단계: 3D 모델 완성 (건축가의 역할)

그리고 마지막으로, 이 2D 그림들을 3D 모델로 변환합니다.

• 분리 작업: AI 가 만든 3D 덩어리에서 '사람'과 '물건'을 정확히 분리합니다. (예: "이 부분은 남자의 손, 저 부분은 가방")
• SMPL 정렬: 사람 모델에 표준화된 '인체 뼈대 (SMPL)'를 딱 맞게 입힙니다. 이렇게 하면 나중에 그 3D 모델을 움직여 애니메이션을 만들 수 있습니다.
• 결과: 텍스트에 정확히 부합하는, 질감까지 살아있는 고화질 3D 장면을 얻게 됩니다.

---

3. 왜 이 기술이 특별한가요? (실제 성과)

이 기술은 기존 방법들보다 압도적으로 뛰어납니다.

• 정확도: "왼손으로 가방을 들고 있다"라고 입력하면, AI 는 정말로 왼손으로 가방을 들고 있습니다. (기존 방법은 손이 없거나 엉뚱한 손으로 들고 있는 경우가 많았음).
• 품질: 사람과 사물이 서로 겹쳐서 찌그러지는 현상이 거의 없습니다.
• 범용성: 훈련 데이터에 없던 새로운 옷차림이나 사물 (예: 드래곤, 낯선 도구) 이 나와도 자연스럽게 상호작용을 만들어냅니다.

4. 일상 속에서의 활용 예시

이 기술이 완성되면 어떤 일이 가능해질까요?

• 게임 개발: "검은 정장을 입은 남자가 붉은 넥타이를 하고 말을 탄다"라고 입력하면, 개발자는 3D 모델을 직접 만들지 않아도 바로 게임에 쓸 수 있는 3D 캐릭터와 배경을 얻을 수 있습니다.
• 가상 현실 (VR/AR): 온라인 쇼핑몰에서 "이 소파를 내가 앉아서 어떻게 보이는지"를 텍스트로 시뮬레이션해 볼 수 있습니다.
• 영화/애니메이션: 복잡한 장면 (예: "할아버지가 낡은 여행가방을 끌고 간다") 을 손쉽게 3D 로 구현할 수 있어 제작 비용과 시간을 획기적으로 줄여줍니다.

요약

Hoi3DGen은 AI 가 텍스트를 이해하고 3D 장면을 만들 때, 단순히 "그림을 그리는" 수준을 넘어 "사람과 사물이 어떻게 만나는지 물리적으로 정확히 이해하고 구현하는" 기술입니다.

마치 **완벽한 레시피 (데이터 정제)**와 정밀한 설계도 (다각도 촬영), 그리고 **숙련된 건축가 (3D 변환)**가 합작하여, 텍스트라는 주문서 하나만으로 현실 같은 3D 장면을 마법처럼 만들어내는 기술이라고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 증강현실 (AR), 가상현실 (XR), 게임 등 다양한 분야에서 텍스트 기반의 3D HOI 생성은 매우 중요하지만, 수동으로 상호작용하는 인간과 사물을 모델링하는 것은 노동 집약적입니다.
• 기존 방법의 한계:
  • 데이터 부족: 고품질의 3D 상호작용 데이터와 이에 대응하는 상세한 텍스트 설명 (caption) 의 쌍이 부족합니다.
  • SDS 기반 방법의 문제: 기존 텍스트 -to-3D 방법들은 주로 텍스트 -to-이미지 모델에서 Score Distillation Sampling (SDS) 을 사용합니다. 이는 '자네스 문제 (Janus problem, 한 객체가 여러 면을 가지는 현상)'를 유발하고, 상호작용의 물리적 일관성 (접촉 부위, 자세 등) 을 텍스트 프롬프트에 충실하게 따르지 못하며, 결과물의 질이 낮고 비현실적인 자세를 생성하는 경향이 있습니다.
  • 학습 기반 방법의 제한: 기존 학습 기반 방법들은 주로 인간만 또는 사물만 생성하거나, 학습 데이터에 제한된 포즈와 객체 카테고리만 다룰 수 있어 일반화 능력이 떨어집니다.

2. 방법론 (Methodology)

Hoi3DGen 은 고품질의 상호작용 데이터를 자동화하여 생성하고, 이를 기반으로 텍스트 -to-3D 파이프라인을 구축하는 두 단계로 구성됩니다.

3.1. 고품질 상호작용 데이터 큐레이션 (Data Curation)

• 자동 주석 파이프라인: 기존 3D 상호작용 데이터셋 (ProciGen) 을 기반으로 멀티모달 대형 언어 모델 (MLLM, InternVL) 을 활용하여 고품질의 상세 텍스트 설명을 자동 생성합니다.
  • 작업 분해: 복잡한 상호작용 캡션 생성을 3 가지 하위 작업으로 분해합니다.
    1. 외관 라벨링: 인간 (옷, 헤어스타일, 신발) 과 사물 (색상, 질감, 구조) 의 속성 설명.
    2. 상호작용 라벨링: 행동 유형 (Action) 과 접촉 부위 (Contact points, 예: 오른손, 왼쪽 다리 등) 를 식별.
    3. 캡션 생성: LLaMA 3.1(70B) 을 사용하여 위 정보를 통합하여 자연스럽고 상세한 텍스트 캡션 생성.
• 데이터 필터링: 생성된 75 만 개 이상의 쌍 중, 상호 침투 (interpenetration), 비현실적인 행동, 불일치하는 행동 - 접촉 쌍을 제거하고, 8 가지 주요 접촉 구성 (등, 양손, 한쪽 손 등) 에 따라 400 개의 고품질 샘플로 선별하여 파인튜닝 데이터셋을 구성합니다. 이는 모델이 특정 접촉 패턴을 과도하게 학습하거나 망각 (forgetting) 하는 것을 방지합니다.

3.2. 뷰 조건부 2D 상호작용 생성 (View-Conditioned 2D Generation)

• 모델 파인튜닝: 사전 학습된 잠재 확산 모델 (SANA) 을 위에서 선별된 400 개의 고품질 상호작용 데이터로 파인튜닝합니다. 소량의 데이터로도 모델이 인간과 사물의 상호작용을 이해하도록 조정됩니다.
• 뷰 조건부 (View-Conditioning): 3D 리프팅 (lifting) 시 발생할 수 있는 가림 (occlusion) 문제를 해결하기 위해, 텍스트 프롬프트에 카메라 뷰 각도 (정면, 좌우 대각선 등) 를 명시적으로 조건으로 추가합니다. 이를 통해 상호작용이 명확하게 보이는 2D 이미지를 생성합니다.
• 리텍스처링 (Retexturing): 생성된 이미지의 질감을 Flux 모델로 개선하여 고품질 텍스처를 확보합니다.

3.3. 3D 상호작용 생성 및 시맨틱 레지스트레이션 (3D Generation & Semantic Registration)

• 2D-to-3D 리프팅: 생성된 고품질 2D 이미지를 Hunyuan3D 와 같은 대규모 이미지 -to-3D 모델에 입력하여 3D 메시를 생성합니다. 여러 뷰 (3 개) 를 생성하여 가림이 없는 최적의 뷰를 선택하거나 자동 선택합니다.
• 상호작용 분할 (Segmentation): 생성된 단일 메시를 인간과 사물로 분할합니다.
  • 360 도 카메라 궤적을 따라 렌더링한 비디오 시퀀스에 GSAM2(Grounded Segment Anything 2) 를 적용하여 시간적으로 일관된 마스크를 생성합니다.
  • 가시성 (visibility) 과 다수결 투표 (majority voting) 를 통해 3D 메시의 정점 (vertex) 단위로 인간/사물 라벨을 할당하여 메시를 분리합니다.
• SMPL 레지스트레이션: 분리된 인간 메시에 SMPL 모델을 정합 (register) 합니다.
  • 기존 방법들은 완전한 스캔을 요구하거나 제한된 포즈에 훈련되어 있어 실패하지만, Hoi3DGen 은 부분적인 인간 메시에도 작동하는 간단한 정합 파이프라인을 제안합니다.
  • 이를 통해 생성된 3D 모델에 시맨틱 정보와 애니메이션 기능을 부여합니다.

3. 주요 기여 (Key Contributions)

1. 자동 데이터 주석 파이프라인: 오픈소스 멀티모달 LLM 을 활용하여 3D 인간 - 사물 상호작용에 대한 고품질의 상세 텍스트 캡션을 자동 생성하는 분해형 (decomposed) 파이프라인을 제안했습니다.
2. 고품질 텍스트 -to-3D 파이프라인: 생성된 데이터를 기반으로 파인튜닝된 텍스트 -to-이미지 모델과 뷰 조건부 샘플링, 3D 리프팅, 시맨틱 분할 및 SMPL 정합을 결합하여, 텍스트에 정확히 부합하는 분할된 메시와 애니메이션 가능한 SMPL 모델을 생성합니다.
3. 압도적인 성능 향상: 기존 베이스라인 대비 텍스트 일관성 (Text Consistency) 에서 4~15 배, 3D 모델 품질에서 3~7 배의 개선을 달성했습니다. 특히 접촉 (Contact) 정확도가 90% 에 달합니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 텍스트 일관성: GPT 점수에서 기존 방법 (InterFusion, TRELLIS) 보다 월등히 높게 나타났습니다. (Ours: 0.81 vs InterFusion: 0.15)
  • 접촉 정확도: 입력 프롬프트의 접촉 부위 (손, 발 등) 를 90% 정확도로 준수합니다. 반면 베이스라인 (SANA) 은 45.76% 에 그쳤습니다.
  • 사용자 연구: 33 명의 참가자를 대상으로 한 평가에서 텍스트 일관성 (91.09%) 과 3D 품질 (85.56%) 모두에서 다른 방법들을 압도적으로 선호받았습니다.
• 정성적 평가:
  • Janus 문제 해결: InterFusion 은 다중 손이나 얼굴 결손 등의 Janus 아티팩트가 발생했으나, Hoi3DGen 은 일관된 구조를 가집니다.
  • 일반화 능력: 학습 데이터에 100 명의 인간만 포함되었음에도 불구하고, 다양한 의상, 헤어스타일, 객체, 그리고 훈련되지 않은 새로운 상호작용 (OOD) 에 대해 뛰어난 일반화 성능을 보였습니다.
  • CLIP 점수의 한계: 기존 CLIP 점수는 미세한 물리적 상호작용을 인식하는 데 한계가 있음을 지적하며, GPT 점수와 접촉 정확도가 더 신뢰할 수 있는 지표임을 보였습니다.

5. 의의 및 결론 (Significance)

Hoi3DGen 은 텍스트 기반 3D HOI 생성 분야에서 중요한 전환점을 제시합니다.

• 데이터 효율성: 소량의 고품질 상호작용 데이터만으로도 대규모 사전 학습 모델의 표현력을 상호작용 생성에 효과적으로 적응 (distill) 할 수 있음을 증명했습니다.
• 정밀한 제어: 단순한 형태 생성을 넘어, 텍스트로 지정된 구체적인 접촉 부위와 상호작용 semantics 를 3D 모델에 정밀하게 구현할 수 있습니다.
• 응용 가능성: 생성된 모델은 SMPL 기반 애니메이션이 가능하므로, AR/VR, 게임, 시뮬레이션 등 다양한 분야에서 즉시 활용 가능한 고품질 3D 콘텐츠 제작을 가능하게 합니다.

이 연구는 복잡한 3D 상호작용 생성의 핵심 장벽인 데이터 부족과 생성 품질 문제를 해결하여, 텍스트 프롬프트만으로 현실적이고 일관된 3D 인간 - 사물 상호작용을 생성하는 새로운 표준을 제시합니다.