StreamTalk: Streaming Co-Speech Gesture Generation with Key-Pose Anchoring

당신이 로봇에게 음악에 맞춰 춤을 추도록 가르치고 있다고 상상해 보세요. 로봇은 음악의 박자에 완벽하게 맞춰 팔과 몸을 움직여야 합니다. 하지만 여기 함정이 있습니다. 음악이 실시간으로, 1초 단위로 스트리밍되고 있다는 점입니다. 로봇은 노래가 다 끝날 때까지 기다렸다가 움직일 수 없습니다. 비트가 떨어지는 순간순간마다 클립 단위로 계속 움직여야 합니다. 이것이 바로 디지털 아바타가 말을 하는 동안 자연스럽게 움직이도록 만드는 데 전념하는 컴퓨터 과학 분야인 **공음 제스처 생성(co-speech gesture generation)**의 세계입니다. 핵심 과제는 실시간 스트리밍입니다. 시스템은 다음에 사람이 무엇을 말하거나 할지를 미리 알지 못한 채, 즉각적으로 동작을 생성해야 합니다.

오랫동안 이러한 시스템들은 눈을 가린 채 어둠 속에서 발걸음을 내딛는 하이커처럼 작동해 왔습니다. 그들은 방금 있었던 곳(지난 몇 초간의 움직임)을 보고, 현재의 소리에 기반하여 다음에 어디로 갈지 추측했습니다. 문제는 모든 추측에는 아주 작고 보이지 않는 오류가 있다는 것입니다. 만약 천 번의 발걸음을 뗀다면, 그 작은 오류들이 쌓이게 됩니다. 하이커는 서서히 경로에서 벗어나, 산책로 대신 늪지에 도달하게 됩니다. 디지털 세계에서는 이를 **드리프트(drift, 표류)**라고 부릅니다. 로봇의 움직임이 단 1분 만에 이상해지거나, 부자연스러워지거나, 현실과 동떨어지게 되는 현상입니다. 당신이 읽게 될 이 논문은 바로 이 문제를 다룹니다. *발밑의 지면만을 볼 수 있는 상황에서 어떻게 로봇이 올바른 경로를 유지하게 할 것인가?*라는 질문을 던집니다.

---

문제점: 표류하는 무용수

이 논문의 저자들은 StreamTalk를 통해 기존의 대화형 로봇 움직임 생성 방식이 근본적으로 "오픈 루프(open-loop)" 방식이라는 점을 발견했습니다. 친구와 "전화기 게임(말 전달하기 게임)"을 한다고 상상해 보세요. 다만 문장을 속삭이는 대신 춤 동작을 속삭이는 것입니다. 당신이 첫 번째 동작을 알려주면, 친구는 그 동작을 수행하고 다음 동작을 당신에게 알려줍니다. 만약 당신이 첫 번째 동작에서 아주 작은 실수를 한다면, 친구는 그 실수를 복사하고 거기에 자신만의 작은 오류를 더하게 됩니다. 노래가 끝날 때쯤이면, 춤은 처음에 시작했던 것과는 완전히 다른 모습이 되어 있을 것입니다.

AI의 세계에서 이러한 움직임의 "클립"들은 차례대로 생성됩니다. AI는 이전 클립의 마지막 몇 프레임을 보고 이렇게 말합니다. "좋아, 이걸 바탕으로 다음 60프레임을 생성할게." 이 과정을 반복합니다. 논문은 현대적인 AI가 짧고 설득력 있는 클립을 만드는 데는 매우 뛰어나지만, 자신이 여전히 올바른 궤도에 있는지 확인할 방법이 없다는 점을 지적합니다. 이는 마치 지나온 길만 보여주는 고장 난 GPS를 달고 운전하는 자동차와 같습니다. 당신은 서서히 들판으로 밀려 들어가고 있을지 모르지만, 진흙탕에 빠지기 전까지는 그 사실을 깨닫지 못할 것입니다. 이 "드리프트" 현상은 특히 1분 정도의 긴 대화가 이어질 때, 팔이 허공에 떠 있거나 몸의 리듬을 잃는 등 움직임을 부자연스럽게 만듭니다.

해결책: "목적지 앵커(Destination Anchor)"

StreamTalk의 핵심 아이디어는 AI가 맹목적으로 추측하게 두는 대신, "목적지 앵커"를 제공하는 것입니다. 저자들은 문제가 AI가 좋은 동작을 만들지 못하는 것이 아니라, 클립이 끝나는 시점에 어디에 있어야 하는지를 모른다는 데 있다는 것을 깨달았습니다.

이를 해결하기 위해 그들은 StreamTalk라고 불리는, 폐쇄 루프(closed-loop) 피드백 시스템처럼 작동하는 시스템을 구축했습니다. 작동 방식은 다음과 같습니다.

1. 초안 작성: 먼저, AI는 기존 방식처럼 움직임의 "거친(coarse)" 클립을 생성합니다.
2. 현실 점검: 이 클립을 세상에 내보내기 전에, 시스템은 잠시 멈춥니다. 생성된 클립의 맨 마지막 포즈를 살펴보고, 거대한 "좋은 포즈" 라이브러리(해당 화자의 실제 인간 움직임 데이터베이스)에 묻습니다. "이것과 가장 유사하면서도 자연스러워 보이는 포즈가 무엇인가요?"
3. 앵커 설정: 시스템은 라이브러리에서 가장 잘 맞는 포즈를 가져옵니다. 이것이 바로 목적지 앵커입니다. 이는 배를 인도하는 등대와 같습니다.
4. 정교화: 그런 다음 AI는 자신의 초안을 가져와서, 그 앵커를 가이드 삼아 클립의 끝이 정확히 있어야 할 곳에 착지하도록 미세하게 조정합니다. 이는 마치 조각가가 거친 돌덩이를 깎아낸 후, 정밀한 템플릿을 사용하여 마지막 세부 사항을 매끄럽게 다듬는 것과 같습니다.

이 과정은 매 클립이 끝날 때마다 발생하며, 시스템이 스스로를 지속적으로 교정하는 "폐쇄 루프"를 형성하여 작은 오류들이 재앙으로 쌓이는 것을 방지합니다.

힌트를 통해 AI를 학습시키기

한 가지 까다로운 점이 있었습니다. AI가 애초에 이러한 "앵커"를 받아들일 수 있도록 훈련되어야 한다는 것이었습니다. 만약 학생에게 항상 정답지를 다 보여주며 가르친다면, 힌트만 주어졌을 때 학생은 당황할 것입니다. 그래서 저자들은 **확률적 앵커 마스킹(Stochastic Anchor Masking, SAM)**이라는 훈련 기법을 고안했습니다.

훈련 과정에서, 그들은 완벽한 동작 영상을 가져와 대부분의 프레임을 무작위로 숨기고(마스킹), 오직 맨 처음과 단 하나의 "앵커" 프레임만을 남겨두었습니다. 그리고 AI가 단 두 개의 점만을 바탕으로 누락된 중간 부분들을 찾아내도록 강제했습니다. 이를 통해 AI는 희소한 단서만을 사용하여 동작을 "인페인팅(inpaint, 빈 곳을 채움)"하는 법을 배웠습니다. 이렇게 함으로써, 실제 시스템이 실행될 때 데이터베이스에서 "목적지 앵커"를 사용하게 되면, AI는 이미 그 단 하나의 점을 사용하여 전체 움직임을 유도하는 전문가가 되어 있게 됩니다.

결과: 매끄러운 실시간 댄스

저자들은 25명의 서로 다른 화자로부터 얻은 고품질 3D 동작 데이터를 특징으로 하는 BEAT2 데이터셋을 통해 StreamTalk를 테스트했습니다. 그들은 자신들의 방식을 기존의 최고 시스템들과 비교했습니다.

• 드리프트 방지: 결과에 따르면, 다른 방식들은 시간이 흐름에 따라 이상해지고 자연스러운 움직임에서 벗어나기 시작한 반면, StreamTalk는 안정성을 유지했습니다. 논문은 이를 프레셰 제스처 거리(Fréchet Gesture Distance, FGD)라는 지표로 측정했으며, StreamTalk는 가장 우수한 점수를 기록했습니다. 이는 StreamTalk의 움직임이 통계적으로 실제 인간의 움직임에 가장 가깝다는 것을 의미합니다.
• 실시간 속도: 복잡한 AI에서 주요 관심사는 속도입니다. 저자들은 StreamTalk가 표준적인 고성능 그래픽 카드(NVIDIA V100)에서 **76 FPS(초당 프레임 수)**로 실행된다는 것을 보여주었습니다. 이는 실시간 애플리케이션에 충분히 빠른 속도로, 로봇이 지연 없이 춤추고 말할 수 있음을 의미합니다.
• 하나의 앵커면 충분하다: 논문은 더 많은 "앵커(더 많은 등대)"를 사용하는 것이 도움이 될지 테스트했습니다. 놀랍게도, 클립 끝에 단 하나의 앵커를 사용하는 것이 최적의 지점임을 발견했습니다. 앵커를 더 많이 사용하는 것은 오히려 움직임을 떨리게 하고 악화시켰습니다. AI에게는 여러 개의 수정 격자가 아니라, 목표로 삼을 명확한 방향 하나가 필요할 뿐입니다.

이것이 중요한 이유

StreamTalk는 단순한 미세한 조정이 아닙니다. 이는 스트리밍 동작에 대한 근본적인 사고방식을 바꿉니다. 오류가 축적되도록 오픈 루프로 두는 대신, 움직임을 현실로 다시 끌어오는 주기적인 "체크인"을 도입합니다. 이 논문은 스마트한 검색 시스템(올바른 앵커 찾기)과 특화된 훈련 방법(희소한 힌트로 학습하기)을 결합함으로써, 우리가 한 걸음씩 나아갈 때 결코 길을 잃지 않고 몇 분 동안이나 자연스럽게 말하고 움직일 수 있는 디지털 아바타를 만들 수 있음을 입증합니다.

저자들은 이 접근 방식이 스트리밍 제스처 생성에서의 고질적인 문제인 분포 드리프트(distributional drift)를 효과적으로 해결하며, 이를 통해 더욱 현실적인 가상 발표자, 텔레프레즌스 아바타, 그리고 우리와 발맞추어 나갈 수 있는 인터랙티브 게임 캐릭터의 길을 열어준다고 결론짓습니다.