기술 요약: 상체 인간-사물 상호작용을 위한 실시간 인간 중심 월드 모델링

문제 정의

최근 인간 비디오 생성 기술의 발전은 텔레프레즌스(telepresence) 및 대화형 에이전트와 같은 응용 분야를 위한 상체 합성 품질을 향상시켰습니다. 그러나 기존 방법들은 주로 인물 중심의 동작 기반 생성(예: 리엔액트먼트 또는 아바타 애니메이션)에 집중하며, 인간-사물 상호작용(human-object interaction) 또는 그로 인한 주변 국소 장면의 변화를 명시적으로 모델링하지 못합니다. 텍스트 조건부 생성 모델은 상호작용을 묘사할 수 있지만, 종종 동작과 상호작용의 의미론적 요소가 뒤섞인 자유 형식의 프롬프트에 의존하여 동작 제어가 약하고 접촉 결과가 불안정해지는 경향이 있습니다. 또한, 대부분의 현재 접근 방식은 계산 비용이 많이 들고 오프라인 생성에 국한되어 있어, 사람의 동작과 특정 사물과의 접촉 상태를 동시에 제어하면서 낮은 지연 시간으로 실시간 상호작용 배포가 가능한 통합된 프레틱워크가 부족합니다.

방법론

저자들은 상체 상호작용 생성을 위한 실시간 인간 중심 월드 모델을 제안합니다. 이 프레임워크는 사람을 중심으로 일관된 국소 월드 역학을 합성하며, 여기서 조율된 신체, 손, 얼굴의 움직임은 제어 가능한 인간-사물 이산적 상호작용과 함께 공동으로 진화합니다. 본 방법의 핵심은 두 가지 상호 보완적인 구성 요소로 이루어진 **연속-이산 결합 제어 체계(continuous-discrete joint control scheme)**입니다.

1. 연속적 인간 상태 제어 (Continuous Human-State Control)

조율된 상체, 손, 얼굴의 역학을 모델링하기 위해, 저자들은 **다중 스케일 모션 인코딩에 기반한 통합 암시적 표현(unified implicit representation)**을 도입합니다.

• 다중 스케일 분해: 입력되는 드라이빙 데이터는 상체, 왼손, 오른손, 얼굴의 네 영역으로 분해됩니다.
• 암시적 인코딩: 영역별 모션 입력은 ViT 기반 인코더를 사용하여 잠재 벡터(latent vectors)로 인코딩되며, 이 잠재 벡터들은 공유된 잠재 공간으로 융합됩니다.
• 암시적 리타겟팅: 융합된 모션 잠재 벡터는 선형 투영된 참조 이미지 패치와 결합되어 디코더로 전달됩니다. 이러한 설계는 명시적인 골격 리타겟팅 없이도 정체성(identity)을 유지하면서 미세한 동작의 세부 사항을 포착하여, 표현력이 풍부하고 정교한 신체-손-얼굴 역학 제어를 가능하게 합니다.

2. 이산적 상호작용 상태 제어 (Discrete Interaction-State Control)

사람과 주변 사물 간의 접촉 관계를 모델링하기 위해, 저자들은 개방형 의미론적 프롬프트 대신 언어로 인코딩된 이산적 상호작용 상태 명령을 사용하여 상호작용을 표현합니다.

• 이산 상태: 상호작용 상태($s_o$)는 **"접촉 없음(no contact)"**과 **"쥐기(grasp)"**라는 작은 집합의 이산 변수로 정의됩니다.
• 명시적 제어: 텍스트는 이러한 상태 간의 전환을 위한 명시적인 명령 역할을 수행하며, 이는 연속적인 인간 상태 제어를 보완합니다. 이러한 분리를 통해 모델은 유사한 인간 동작 조건 하에서도 서로 다른 국소 시각적 결과(예: 쥐기 vs 비접촉)를 생성할 수 있습니다.
• 데이터 파이프라인: 고품질의 상호작용 데이터셋을 생성하기 위해 전용 렌더링 파이프라인이 구축되었습니다. 이 파이프라인은 Z-Image를 참조 생성에, Qwen-VL을 객체 탐지에, Wan2.2-14B-I2V를 비디오 합성에 사용하며, 상호작용의 타당성을 보장하기 위해 Qwen-VL과 수동 검수를 통해 필터링 과정을 거칩니다.

3. 실시간 최적화

실시간 스트리밍 추론을 달성하기 위해 모델은 효율성을 위해 최적화되었습니다.

• 증류(Distillation): 모델은 CausVid를 사용하여 샘플링 단계를 20단계에서 4단계로 줄이는 동시에, 자기회귀적(autoregressive) 생성을 위한 인과적 및 슬라이딩 윈도우 어텐션(causal and sliding-window attention)을 도입하여 증류되었습니다.
• 셀프 포싱(Self-Forcing): 반복적인 생성 과정 중 발생하는 시간적 오류 누적을 완화하기 위해 Self-Forcing 기법이 채택되었습니다.
• 성능: 이러한 최적화를 통해 두 개의 H100 GPU에서 약 1000ms의 엔드 투 엔드 지연 시간과 함께 25 FPS의 스트리밍 생성을 구현했습니다.

4. 학습 전략

모델은 2단계 학습 전략을 거칩니다.

• 1단계 (인간 상태 사전 학습): 모델은 일반적인 상체 모션 비디오(사물 참조 없이)로부터 Flow Matching을 사용하여 통합된 암시적 인간 표현을 학습하며, 이때 표현 정렬 손실(DINOv3 특징값)과 키포인트 감독 손실로 증강됩니다.
• 2단계 (상호작용 상태 학습): 1단계에서 초기화된 모델을 바탕으로 모션 인코더는 고정(freeze)한 채, 나머지 모듈을 합성된 상호작용 데이터셋에 대해 오직 Flow Matching 목적 함수만을 사용하여 학습함으로써 이산적 상호작용 제어를 학습합니다.

주요 기여

1. 인간 중심 월드 모델: 단순한 동작 재현을 넘어, 연속적인 인간 상태와 이산적인 상호작용 상태의 공동 모델링을 통해 인물 중심의 장면 진화를 공식화하는 프레임워크를 제시하였습니다.
2. 통합 제어 체계: 인간 상태 제어를 위한 통합 암시적 다중 스케일 표현과 언어 조건부 이산 상호작용 상태 명령을 결합하여, 정밀하고 제어 가능한 인간-사물 상호작용 생성을 가능하게 했습니다.
3. 실시간 시스템: H100 GPU에서 25 FPS 추론을 지원하고 낮은 지연 시간으로 온라인 상호작용 상태 전환이 가능한 스트리밍 시스템을 개발하였습니다.

결과

본 논문은 SOTA 베이스라인(Wan2.2, Humo, VACE, MAI, Wan-Animate)과 비교하여 정성적 및 정량적 평가를 제시합니다.

• 정성적 평가: 제안 방법은 베이스라인 대비 우수한 정체성 보존, 더 안정적인 손-사물 상호작용, 그리고 정확한 동작 추종 능력을 보여줍니다. 복잡한 손 움직임을 성공적으로 처리하며, 유사한 드라이빙 모션 하에서도 "접촉 없음"과 "쥐기" 상태 사이를 명시적으로 전환할 수 있습니다.
• 정량적 평가: 제안 방법은 낮은 FVD (154.1) 및 tLPIPS (0.178), 높은 CLIP-I (0.851) 및 개선된 객체 품질 (OQ: 0.151)을 포함한 객관적 지표에서 유리한 성능을 달성했습니다. 또한 더 낮은 HandSIM 및 FaceSIM 오차를 보여 정교한 국소 동작의 정확도가 높음을 입증했습니다. 사용자 연구를 통해서도 텍스트 준수, 동작 준수, 동작 일관성 및 시각적 품질의 개선을 확인했습니다.

의의

저자들은 본 연구가 단순한 동작 모방을 넘어 실시간 인간 중심 월드 모델링으로 나아가는 실질적인 단계라고 주장합니다. 연속적인 인간 모션과 이산적인 상호작용 상태를 분리하고 실시간 성능을 최적화함으로써, 본 프레임워크는 명시적인 상호작용 제어가 부족하거나 인터랙티브한 애플리케이션에 사용하기에는 너무 느린 기존 방법들의 한계를 해결합니다. 이 시스템은 사람이 단순히 움직이는 것을 넘어, 자신의 즉각적인 환경과 상호작용하고 변화시킬 수 있는, 일관되고 제어 가능하며 상호작용적인 국소 월드 상태를 합성할 수 있게 하여 텔레프레즌스 및 대화형 에이전트 분야의 활용을 촉진합니다.