1. 문제 정의 (Problem Statement)

기존의 인간 동작 생성 (Human Motion Generation) 연구는 두 가지 주요 목표를 동시에 달성하는 데 한계가 있었습니다.

• 의미적 다양성 (Semantic Diversity): 텍스트 프롬프트에 따라 다양한 일상적인 동작 (걷기, 뛰기, 춤추기 등) 을 자연스럽게 생성해야 합니다.
• 장면 인식 (Scene-awareness): 생성된 동작이 주어진 3D 장면의 기하학적 제약 (벽, 가구 등) 을 준수하고 물리적으로 충돌하지 않아야 합니다.

현재의 한계:

• 텍스트 - 동작 (Text-Motion) 모델: 대규모 텍스트 - 동작 데이터셋 (예: HML3D) 으로 학습되어 의미적 다양성은 뛰어나지만, 공간적 제약을 무시하여 벽을 통과하는 등 비현실적인 동작을 생성합니다.
• 장면 - 동작 (Scene-Motion) 모델: 3D 장면과 동작의 상호작용을 학습하지만, 고비용의 모션 캡처 시스템 필요성으로 인해 데이터셋의 의미적 다양성이 매우 제한적입니다 (주로 걷기, 앉기 등 단순 동작만 포함).
• 결론: 의미적으로 풍부하면서도 장면 제약에 부합하는 동작을 생성하기 위해 필요한 대규모 '텍스트 - 장면 - 동작 (Text-Scene-Motion)' 삼중 데이터셋을 구축하는 것은 현실적으로 불가능합니다.

2. 제안 방법론: SceneAdapt

저자들은 대규모 삼중 데이터셋 없이도 기존에 존재하는 텍스트 - 동작 데이터셋과 장면 - 동작 데이터셋을 활용하여 모델을 적응 (Adaptation) 시키는 2 단계 적응 프레임워크인 SceneAdapt을 제안합니다. 핵심 아이디어는 **'동작 인터비닝 (Motion Inbetweening)'**을 두 데이터 소스를 연결하는 브리지 (Bridge) 역할로 활용하는 것입니다.

2.1 전체 파이프라인 (Overview)

1. Stage 0 (Pretraining): 기존 텍스트 - 동작 확산 모델 (MDM, Motion Diffusion Model) 사용.
2. Stage 1 (Motion Inbetweening Adaptation): 텍스트 없이 주어진 키프레임 (Keyframes) 사이의 동작을 생성하도록 모델을 적응시킴.
3. Stage 2 (Scene-aware Inbetweening Adaptation): Stage 1 에서 학습된 인터비닝 능력을 바탕으로, 3D 장면 정보를 추가하여 장면 제약 내에서 인터비닝을 수행하도록 적응시킴.
4. Inference: 학습된 어댑터를 사용하여 텍스트와 장면 정보를 입력으로 받아 장면 인식 텍스트 - 동작 생성 수행.

2.2 핵심 구성 요소

• CaKey (Context-aware Keyframing) Layer:
  • 목적: Stage 1 에서 텍스트 - 동작 모델의 잠재 공간 (Latent Manifold) 을 왜곡하지 않으면서 키프레임 조건에 맞는 동작을 생성하게 함.
  • 작동 원리: 키프레임 마스크가 있는 프레임 (Keyframes) 에 대해서만 적응적 어댑션 (Affine modulation) 을 적용하고, 나머지 프레임은 원본 모델을 그대로 유지 (Sparse modulation).
  • Context-awareness: 확산 시간 (timestep) 과 잠재 표현을 함께 고려하여 키프레임 신호를 더 정교하게 조절.
• SceneCo (Scene-conditioning) Layer:
  • 목적: Stage 2 에서 장면 정보를 모델에 주입.
  • 작동 원리: 장면을 보크셀 (Voxel) 패치로 분할하고, ViT(Vision Transformer) 를 통해 패치 임베딩을 추출.
  • Cross-Attention: 각 동작 프레임의 잠재 벡터가 장면의 관련 지역 (Local Context) 을 선택적으로 주시 (Query) 하도록 설계. 전역 특징 (Global feature) 이 아닌 패치 단위 (Patch-wise) 특징을 사용하여 시공간적 변화를 정밀하게 포착.

2.3 학습 전략

• Prior Preservation (이전 지식 보존): Stage 2 에서 장면 정보를 학습할 때 원래 텍스트 - 동작 생성 능력이 떨어지는 것을 방지하기 위해, 원본 텍스트 - 동작 데이터셋을 사용하여 'Prior Loss'를 추가하고 Classifier-Free Guidance 기법을 적용합니다.
• Null Embedding: 텍스트나 장면 정보가 없는 경우를 위한 학습 가능한 널 (Null) 임베딩을 도입하여 조건부 생성을 안정화합니다.

3. 주요 기여 (Key Contributions)

1. SceneAdapt 프레임워크: 대규모 삼중 데이터셋 없이 텍스트 - 동작 및 장면 - 동작 데이터셋만으로도 장면 인식 텍스트 - 동작 생성이 가능한 2 단계 적응 프레임워크 제안.
2. CaKey 레이어: 원본 생성 능력을 유지하면서 키프레임 기반 인터비닝을 가능하게 하는 컨텍스트 인식 키프레임 모듈 설계.
3. SceneCo 레이어: 보크셀 패치 특징과 크로스 어텐션을 활용하여 프레임 단위로 장면의 기하학적 정보를 적응적으로 주입하는 메커니즘 도입.
4. 성능 및 분석: 기존 최적화 기반 방법 및 다른 생성 모델보다 우수한 성능을 입증하고, 장면 정보가 모델에 어떻게 주입되는지에 대한 심층 분석 제공.

4. 실험 결과 (Results)

• 정량적 평가:
  • 장면 인식도: 충돌 비율 (CFR), 최대 침투 깊이 (MMP), 관절 충돌 비율 (JCR) 에서 기존 방법 (AffordMotion, DNO 등) 보다 우수한 성능을 보였습니다. 특히 최적화 기반 방법 (DNO) 은 장면 충돌은 피하지만 텍스트 준수도가 낮거나 추론 속도가 느린 반면, SceneAdapt 는 높은 텍스트 준수도와 빠른 추론 속도를 동시에 달성했습니다.
  • 의미적 다양성: 텍스트 - 동작 생성 지표 (R-Precision, FID) 에서도 기존 MDM 모델의 성능을 유지하거나 개선하여, 장면 제약이 추가되어도 동작의 자연스러움과 다양성이 유지됨을 증명했습니다.
• 정성적 평가:
  • "원형으로 걷기", "바구니 드리블 하기" 등 복잡한 텍스트 프롬프트에 대해 장면 내 장애물을 피하며 자연스러운 동작을 생성했습니다.
  • 목표 포즈 (Goal Pose) 를 추가 조건으로 주면 의자에 앉거나 물건을 잡는 등 기능적인 동작도 생성 가능함을 보였습니다.
• Ablation Study:
  • CaKey 의 희소 조절 (Sparse modulation) 과 컨텍스트 인식 모듈이 필수적임을 확인.
  • Stage 1 (인터비닝) 단계를 거치지 않고 바로 장면 적응을 수행하면 원본 생성 능력이 크게 저하됨을 확인하여 2 단계 전략의 필요성을 입증.
  • 패치 단위 (Patch-wise) 장면 표현이 전역 특징보다 더 효과적임을 확인.

5. 의의 및 결론 (Significance)

• 데이터 효율성: 고비용의 대규모 삼중 데이터셋 수집 없이도, 기존에 분리되어 있던 데이터 소스를 효율적으로 결합하여 새로운 능력을 부여하는 적응 전략을 제시했습니다.
• 실용성: 최적화 기반 방법의 느린 추론 속도를 해결하면서도 물리적으로 타당한 동작을 생성하여, VR, 게임, 로봇 공학 등 실제 응용 분야에 즉시 활용 가능한 솔루션을 제공합니다.
• 한계 및 향후 작업: 현재는 단일 인물의 운동학적 (Kinematic) 동작에 국한되어 있으며, 손 동작, 동적 장면 변화, 물리 기반 제어, 다중 인물 상호작용 등은 향후 연구 과제로 남겼습니다.

요약하자면, SceneAdapt는 텍스트 기반 동작 생성 모델에 장면 인식 능력을 추가하기 위해 '인터비닝'이라는 중간 작업을 브리지로 활용하고, 이를 통해 의미적 풍부함과 물리적 타당성을 동시에 확보한 획기적인 접근법입니다.