💻 computer science

InteractGesture: Progressive Chunk Guidance for Continuous Streaming Co-Speech Gesture Control

이 논문은 경계 불일치 문제를 해결하기 위해 청크 경계를 가로질러 제어 그래디언트를 전파함으로써, 연속적인 스트리밍 시나리오에서 미세하고 공간적으로 제어 가능한 동시 발화 제스처 생성을 가능하게 하는 점진적 청크 가이드(Progressive Chunk Guidance)를 사용하는 모델 불가지론적 추론 시점 방법인 InteractGesture를 소개한다.

원저자: Ekkasit Pinyoanuntapong, Ajinkya Deogade, Paul Streli, Wenjing Zhang, Joanna Materzynska, Pu Wang, Vittorio Ferrari, Jie Shen

게시일 2026-08-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ekkasit Pinyoanuntapong, Ajinkya Deogade, Paul Streli, Wenjing Zhang, Joanna Materzynska, Pu Wang, Vittorio Ferrari, Jie Shen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 휴먼이 당신에게 말을 걸고 있다고 상상해 보십시오. 그 입술은 말하는 단어에 맞춰 완벽하게 움직이고, 손은 강조점을 두기 위해 자연스럽게 몸짓을 합니다. 수년 동안 과학자들은 컴퓨터가 오디오를 듣고 이러한 움직임을 생성하도록 가르쳐 왔으며, 그 결과 놀라울 정도로 사실적인 움직임과 대화가 가능한 캐릭터를 만들어냈습니다. 하지만 중대한 한계가 지속되어 왔습니다. 컴퓨터가 캐릭터를 흔들거나 어깨를 으쓱하게 하는 방법은 알고 있지만, 그 손이 공간의 정확히 어디에 닿아야 하는지는 지시받을 수 없다는 점입니다. 만약 애니메이터가 캐릭터의 오른손목이 탁자 위의 특정 물체에 닿게 하거나, 팔꿈치가 장애물을 피하기 위해 정밀한 경로를 따라가도록 하고 싶다면, 기존 기술은 이를 따를 수 없었습니다. 움직임은 전체로서 생성되었기에, 개별 신체 부위의 구체적인 위치는 명령이 아닌 우연에 맡겨졌습니다. 자연스러운 음성 기반 동작과 정밀한 공간 제어 사이의 이러한 간극은 진정으로 상호작나적인 가상 에이전트를 만드는 데 있어 주요한 장애물이었습니다.

Meta와 노스캐롤라이나 대학교 샬럿 캠퍼스의 연구진이 도입한 새로운 접근 방식인 InteractGesture는 이러한 간극을 메웁니다. 이 시스템은 컴퓨터가 음성에 기반하여 캐릭터의 제스처를 생성하는 동시에, 손목이나 팔꿈치와 같은 특정 관절이 반드시 가야 할 위치에 대한 엄격한 지시를 준수할 수 있게 해줍니다. 연구진은 컴퓨터의 움직임 생성기를 부드럽게 조종할 수 있는 '블랙박스'로 취급했습니다. 시스템 전체를 다시 훈련시키거나 내부의 '두뇌'를 변경하는 대신, 연구진은 실시간으로 컴퓨터의 예측치를 조정했습니다. 시스템이 움직임을 계획하면, 연구진은 그 계획을 3D 골격으로 디코딩하고, 손이 올바른 위치에 있는지 확인한 뒤, 만약 그렇지 않다면 계획을 원하는 위치 쪽으로 밀어 넣어 최종 확정하기 전까지 수정했습니다. 이 과정은 매우 빠르게 일어나기 때문에, 컴퓨터는 음성의 자연스러운 리듬과 사용자의 공간적 지시라는 엄격한 요구 사이에서 균형을 잡는 법을 배웁니다.

음성이 짧은 클립이 아니라 긴 대화처럼 연속적인 경우, 도전 과제는 훨씬 더 어려워집니다. 컴퓨터는 일반적으로 긴 오디오를 작고 겹치는 세그먼트(chunk) 단위로 처리합니다. 과거에는 한 세그먼트가 생성되면 그것은 고정되었습니다. 만약 사용자가 캐릭터의 손이 다음 세그먼트에서 특정 목표물에 도달하기를 원하더라도, 컴퓨터는 이전 세그먼트의 움직임을 조정하여 전환을 매끄럽게 만들 수 없었습니다. 이는 종-종 손이 갑자기 위치로 툭 튀어 오르는 듯한 부자연스럽고 끊기는 현상을 초래했습니다. 연구진은 이러한 과거 움직임의 경직된 고정이 오류의 주요 원인임을 파악했습니다. 이를 해결하기 위해 그들은 '점진적 청크 가이드(Progressive Chunk Guidance)'라고 불리는 전략을 개발했습니다. 과거를 고정하는 대신, 이 방식은 최근의 움직임들을 편집 가능한 작은 창(window)으로 유지합니다. 새로운 오디오가 들어옴에 따라, 시스템은 이전 세그먼트의 맥락을 지속적으로 업데이트하여, 미래의 지시가 과거의 움직임을 더 매끄러운 정렬을 향해 부드럽게 밀어낼 수 있도록 합니다. 이는 마치 영화를 촬영하면서 동시에 편집하는 것과 같습니다. 감독은 전체 영화가 완성될 때까지 기다릴 필요 없이, 다음 단계가 완벽하게 착지할 수 있도록 배우의 이전 발걸음을 조정할 수 있습니다.

이 접근 방식의 결과는 기록된 인간의 음성과 움직임이 담긴 대규모 데이터셋을 통해 테스트되었습니다. 연구팀은 이들의 새로운 방식을 기존의 기술들과 비교했습니다. 기존 기술에는 움직임이 이미 생성된 후에 관절을 강제로 위치시키려는 일반적인 방식과, 각 세그먼트를 독립적으로 제어하려는 방식이 포함되었습니다. 기존 방식들은 움직임이 뻣뻣하거나 부자연스러워 보이거나, 목표 위치에 정확히 도달하지 못해 때로는 거의 20센티미터 가까이 오차가 발생하기도 했습니다. 반면, 새로운 방식은 원래의 음성 기반 제스처가 가진 유동적이고 자연스러운 특성을 유지하면서도 평균 6센티미터 남짓한 오차만을 기록했습니다. 시스템은 캐릭터의 손을 특정 지점으로 안내하고, 팔의 복잡한 경로를 추적하며, 심지어 캐릭터가 특정 방향을 가리키도록 방향을 설정하는 데 성공하면서도, 움직임의 타이밍을 목소리와 완벽하게 동기화했습니다.

이 연구는 음성 기반 애니메이션의 자연스러운 흐름과 인간 애니메이터의 정밀한 제어를 동시에 갖추는 것이 가능하다는 것을 보여줍니다. 컴퓨터가 생성하는 과정에서 스스로 계획을 다듬게 하고, 미래의 지시에 적응할 수 있도록 최근의 과거를 유연하게 유지함으로써, 연구진은 움직임의 생생한 품질을 희생하지 않으면서도 사용자의 공간 명령을 존중하는 시스템을 만들어냈습니다. 이러한 발견은 디지털 휴먼이 곧 실제 배우와 같은 수준의 세밀한 지시를 받을 수 있으며, 이전에는 도달하기 어려웠던 정밀도로 가상 물체와 상호작용하고 복잡한 환경을 탐색할 수 있음을 시사합니다. 연구진은 자신들의 도구를 다른 이들도 사용할 수 있도록 공개하였으며, 이는 향에 더욱 상호작용적이고 반응적인 가상 비서와 캐릭터를 위한 문을 열어주었습니다.

기술 요약: InteractGesture

문제 정의

음성 기반 제스처 생성 기술은 화자의 오디오와 동기화된 사실적인 전신 동작을 생성하는 데 있어 크게 발전했습니다. 그러나 기존 모델들은 주로 제약 없는 생성을 목표로 하며, 개별 신체 관절에 대한 **세밀한 공간적 제어력(fine-grained spatial controllability)**이 부족합니다. 디지털 휴먼, 가상 에이전트, 임베디드 어시스턴트와 같은 실질적인 응용 분야에서는 자연스러운 음성-제스처 동기화를 유지하면서도 정밀한 공간 편집(예: 손목을 특정 물체로 향하게 하거나, 양손으로 아이템을 프레임 안에 담거나, 인터페이스를 가리키는 것 등)이 필요합니다.

핵심적인 기술적 과제는 연속 스트리밍 생성(continuous streaming generation) 과정에서 발생합니다. 표준 추론 프로세스는 오디오를 유한하고 중첩되는 청크(chunk) 단위로 처리합니다. 엄격한 순차적 접근 방식에서는 한 번 생성된 청크는 고정(frozen)됩니다. 이는 의존성 병목 현상을 만듭니다. 만약 미래의 청크( $k+1$ )에서의 공간적 제약이 이전 청크( $k$ )의 궤적 조정을 요구하더라도, 이미 고정된 청크 $k$ 의 상태 때문에 이를 수정할 수 없게 되어, 결과적으로 동작의 불연속성과 청크 경계 간의 일관성 없는 제어를 초래합니다.

방법론

저자들은 공간적으로 제어 가능한 제스처 생성을 위한 모델 불가지론적(model-agnostic) 추론 시점 프레임워크인 InteractGesture를 제안합니다. 이 방법은 기존의 생성 모델을 재학습시키는 대신, 사전 학습된 확산 모델(diffusion model)의 샘플링 과정을 가이드합니다.

핵심 메커니즘: 잠재 가이던스(Latent Guidance)

InteractGesture는 사전 학습된 제스처 생성기를 디노이징(denoising) 과정으로 취급합니다. 선택된 샘플링 단계에서, 예측된 깨끗한 타겟 잠재 추정치( $\hat{x}_0$ )는 미분 가능한 RVQ-VAE 디코더를 통해 신체 포즈(SMPL-X 관절)로 디코딩됩니다.

손실 계산(Loss Computation): 디코딩된 관절 위치와 사용자가 지정한 제어 타겟(위치, 궤적 또는 방향) 사이의 마스크된 공간 손실(masked spatial loss)을 계산합니다.
그래디언트 역전파(Gradient Backpropagation): 공간 손실로부터 미분 가능한 디코더를 통해 그래디언트를 역전파하여, 모델 파라미터가 아닌 타겟 잠재 추정치( $\hat{x}_0$ )를 업데이트합니다.
디노이징 업데이트(Denoising Update): 조정된 잠재 추정치는 현재의 모션 잠재값( $x_{i-1}$ )을 업데이트하는 데 사용됩니다. 이후의 샘플링 단계는 학습된 스코어 네트워크(score network)가 모션을 음성에 조건화된 제스처 분포로 다시 규제하도록 하여, 공간적 제약과 자연스러움 사이의 균형을 맞춥니다.

점진적 청크 가이던스(Progressive Chunk Guidance)

스트리밍 의존성 문제를 해결하기 위해, 저자들은 점진적 청크 가이던스를 도입했습니다. 이는 기존의 순차적 추론(과거 청크를 고정함)이나 완전 동기식 추론(전체 시퀀스에 대한 오프라인 접근 필요)과 달리, **편집 가능한 활성 윈도우의 청크 잠재값(active window of editable chunk latents)**을 유지합니다.

지연된 단계적 도입(Staggered Delays): 새로운 청크는 현재 샘플링 단계와 비교하여 지연된 간격을 두고 도입됩니다.
양방향 전파(Bidirectional Propagation): 새로운 청크가 도착함에 따라, 이전 청크들은 여전히 활성 상태 및 편집 가능한 상태로 유지됩니다. 미래 청크의 공간적 제약은 그래디언트를 이전 청크로 역방향 전파하여 이전의 궤적을 조정할 수 있습니다.
컨텍스트 갱신(Context Refresh): 새로운 청크를 위한 컨텍스트 프레임은 이전 청크의 최신 가이드된 추정치로부터 지속적으로 갱신되어, 고정된 스트리밍 레이턴시 예산 내에서 부드러운 동작 연속성을 보장합니다.

제어 표현(Control Representation)

시스템은 타겟 위치 텐서( $H$ )와 이진 마스크( $M$ )를 통해 다양한 제어 모드를 지원합니다:

희소 관절 위치 제어(Sparse Joint Position Control): 특정 프레임에서 특정 관절이 물체를 가리키도록 유도합니다.
밀집 관절 궤적 제어(Dense Joint Trajectory Control): 관절이 연속적인 경로를 따라 움직이도록 가이드합니다.
가리키기 방향 제어(Pointing Direction Control): 사지의 방향을 타겟 방향으로 정렬합니다.

주요 기여

InteractGesture 프레임워크: 생성자의 아키텍처나 학습 목적 함수를 수정하지 않고도 사전 학습된 음성 기반 제스처 생성기에 대해 세밀한 공간 제어를 가능하게 하는 모델 불가지론적 추론 시점 방법론입니다.
점진적 청크 가이던스: 스트리밍 생성과 전역적 공간 일관성 사이의 충돌을 해결하는 새로운 청크 윈도우 샘플링 전략으로, 전체 시퀀스의 오프라인 처리 없이도 미래의 제약 사항이 이전의 모션에 영향을 미칠 수 있도록 합니다.
포괄적 평가: BEAT2 데이터셋에 대한 광범한 평가를 통해, 희소 포지셔닝, 밀집 궤적 추적, 방향 가리키기를 지원하면서도 제스처의 품질을 유지하는 본 방법의 능력을 입증했습니다.

실험 결과

본 방법은 GestureLSM을 기본 생성기로 사용하여 BEAT2 데이터셋에서 평가되었습니다. 주요 결과는 다음과 같습니다:

공간 정확도: 점진적 청크 가이던스를 적용한 InteractGesture는 평균 제어 오차 6.34 cm 및 위치 오차 16.1%(오차 > 10cm)를 달성했습니다. 이는 다음 모델들보다 성능이 뛰어납니다:
- 역운동학(IK): 생성적 규제가 부족하여 높은 오차(19.97 cm)와 부자연스러운 포즈(FGD 1.043)를 보였습니다.
- 청크 단위 ControlNet: 인접 컨텍스트에 대한 접근이 제한되어 높은 오차(46.16 cm)를 보였습니다.
- 순차적 청크 가이던스: 과거 청크가 고정되어 역방향 조정이 불가능함에 따라 중간 정도의 오차(11.70 cm)를 보였습니다.
제스처 품질: 본 방법은 음성에 조건화된 자연스러움을 보존하며, Fréchet Gesture Distance (FGD) 0.431 및 Beat Consistency (BC) 0.762를 달성하여, 실제 정답(Ground Truth)과 유사한 수준이며 사후 기하학적 피팅(post-hoc geometric fitting) 방법보다 우수함을 보여주었습니다.
절제 연구(Ablation Studies):
- 전체 가이던스(Full Guidance): 샘플링 가이던스(디노이징 중)와 사후 정교화(post-refinement)를 결합했을 때 최상의 결과를 얻었습니다. 샘플링 가이던스는 거친 정렬을 제공하고, 사후 정교화는 최종 잠재 추정치를 미세 조정합니다.
- 스케일 민감도: 가이던스 스케일 0.5가 스트리밍 환경에서 공간적 정밀도와 제스처 자연스러움 사이의 최적의 트레이드오프를 제공했습니다.
- 스트리밍 vs. 오프라인: 오프라인 방식인 동기식 청크 가이던스가 가장 높은 정밀도(오차 4.67 cm)를 달성했으나, 점진적 청크 가이던스는 동등한 수준의 정확도(오차 6.34 cm)를 유지하면서도 연속적인 스트리밍 실행을 가능하게 했습니다.

의의

본 논문은 InteractGesture가 고품질의 음성 동기화 제스처 생성과 정밀한 공간 상호작용의 필요성 사이의 간극을 메운다고 주장합니다. 연속적인 스트리밍 중에 세밀한 다중 관절 3D 공간 제어를 가능하게 함으로써, 본 방법은 기존의 제약 없는 생성 모델로는 불가능했던 복잡한 체화된 상호작용(예: 가리키기, 물체 조작)을 지원합니다. 특히 점진적 청크 가이던스 메커니즘은 긴 호흡의 제어 가능성과 온라인 스트리밍 추론의 제약 조건을 동시에 만족시키는 핵심적인 혁신으로 강조됩니다.