💬 NLP

Low-Latency Real-Time Audio Game Commentary System via LLM-Based Parallel Text Generation

본 논문은 텍스트 생성을 음성 재생과 병렬로 실행하고 후보 발화들을 버퍼링함으로써 순차적 파이프라인의 병목 현상을 극복하여, 발화 간 정적을 9.6초에서 0.3초로 줄이고 해설 리듬의 인지된 자연스러움을 크게 향상시킨 저지연 실시간 오디오 게임 해설 시스템을 제시한다.

원저자: Ryota Kawamatsu, Anum Afzal, Yuki Saito, Shinnosuke Takamichi, Graham Neubig, Katsuhito Sudoh, Hiroya Takamura, Tatsuya Ishigaki

게시일 2026-06-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ryota Kawamatsu, Anum Afzal, Yuki Saito, Shinnosuke Takamichi, Graham Neubig, Katsuhito Sudoh, Hiroya Takamura, Tatsuya Ishigaki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 박진감 넘치는 축구 경기나 빠른 속도의 격투 게임처럼 속도가 매우 빠른 비디오 게임 스트림을 보고 있다고 상상해 보십시오. 보통은 인간 해설자가 "그가 점프합니다! 공을 쳤습니다! 골!"이라고 외칩니다. 하지만 만약 그 인간을 로봇으로 바꾼다면, 기존의 방식은 마치 고장 난 무전기처럼 느껴질 것입니다.

여기 이 논문이 해결하는 문제를 쉽게 설명해 드립니다:

기존 방식: "보고 나서 행동하는" 로봇

기존 시스템은 매우 예의 바르지만 느린 투어 가이드와 같습니다.

가이드는 몇 초 동안 경기를 관찰합니다.
가이드는 자신이 본 것에 대해 문장을 쓰기 위해 관찰을 멈춥니다.
가이드는 문장을 소리 내어 말하기 위해 쓰는 것을 멈춥니다.
결정적으로: 가이드는 현재 문장을 말하는 것을 끝내기 전까지는 다음 문장을 쓰기 시작하지 않습니다.

빠른 속도의 게임에서, 이는 어색하고 공백이 있는 상황을 만듭니다. 가이드는 말을 마친 후, 다음 문장을 미친 듯이 쓰는 동안 10초 동안 아무 말 없이 서 있게 됩니다. 그가 다시 말을 할 때쯤이면 게임은 이미 지나가 버렸고, 그 침묵은 부자연스럽고 지루하게 느껴집니다.

새로운 시스템: "조립 라인" 로봇

연구진은 잘 돌아가는 공장의 조립 라인이나 릴레이 경주 팀처럼 작동하는 새로운 시스템을 구축했습니다.

말을 마친 후에야 생각을 하는 대신, 로봇은 두 가지 일을 동시에 수행합니다:

화자(Speaker): 방금 일어난 일에 대해 말하고 있습니다.
생각하는 존재(Thinker): 화자가 말하는 동안, "생각하는 존재"는 이미 다음 몇 초간의 게임을 지켜보며 미래를 위한 여러 가지 가능한 문장들을 써 내려가고 있습니다.

이 미래의 문장들은 "버퍼"(대기실 같은 곳)에 저장됩니다. 시스템이 현재의 문장을 끝내자마자, 시스템은 대기실에서 미리 작성된 다음 문장을 즉시 가져와 바로 말하기 시작합니다. 간격이 없습니다. 공백도 없습니다. 그저 매끄럽고 연속적인 해설의 흐름이 이어집니다.

"비디오 지연" 기술

당신은 이렇게 물을 수도 있습니다: "로봇이 앞서서 생각한다면, 화면에서 일이 일어나기도 전에 미리 말하게 되지 않을까요?"

이를 해결하기 위해, 시스템은 비디오 자체에 영리한 트릭을 사용합니다. 비디오 스트림을 아주 미세한 시간 동안 의도적으로 지연시킵니다(잠시 숨을 참는 것처럼 말이죠). 이는 로봇이 비디오가 따라잡기 전에 "생각하기"와 "쓰기"를 마칠 수 있도록 충분한 시간을 줍니다. 이는 마치 지휘자가 가수가 완벽하게 박자를 맞출 수 있도록 오케스트라의 속도를 약간 늦추는 것과 같습니다.

연구 결과

연구진은 이 기술을 빠른 속도의 게임(특히 슈퍼 스매시브라더스 얼티밋)에 테스트하여, 새로운 "조립 라인" 시스템을 기존의 "보고 나서 행동하는" 시스템과 비교했습니다.

침묵: 기존 시스템은 문장 사이에 평균 9.6초의 간격이 있었습니다. 새로운 시스템은 이를 단 0.3초로 줄였습니다. 이는 어색한 멈춤과 자연스러운 대화 사이의 차이입니다.
인간적인 느낌: 120명의 숙련된 게이머들이 결과를 들었을 때, 그들은 새로운 시스템의 리듬이 훨씬 더 자연스럽고 전문적이라고 평가했습니다. 그것은 컴퓨터가 따라잡으려 애쓰는 것이 아니라, 실제 사람이 말하는 것처럼 느껴졌습니다.
콘텐츠: 시스템은 단순히 더 빠르게 말하는 것뿐만 아니라, 기존 방식보다 전문적인 인간 해설자의 타이밍과 훨씬 더 잘 일치했습니다.

핵심 요점

이 논문은 AI가 말을 하는 동안 기다리는 대신 "앞서 생각하게" 함으로써 AI 게임 해설을 생동감 있게 만드는 시스템을 제시합니다. 생각하는 과정과 말하는 과정을 병렬로 실행하고 비디오를 약간 지연시킴으로써, 자동 해설을 로봇처럼 느껴지게 만드는 어색한 일시 정지 현상을 제거했습니다.

기술 요약: LLM 기반 병렬 텍스트 생성을 통한 저지연 실시간 오디오 게임 해설 시스템

문제 정의

본 논문은 엔드 투 엔드(end-to-end) 실시간 오디오 게임 해설 시스템의 핵심적인 병목 현상인 누적된 지연 시간으로 인한 부자연스러운 침묵 문제를 다룹니다. 기존의 파이프라인은 비디오 프레임을 캡처하고, 대규모 언어 모델(LLM)을 통해 텍스트를 생성하며, 텍스트 음성 변환(TTS)을 통해 음성을 합성한 뒤, 현재 음성 재생이 종료된 후에야 다음 발화를 생성하기 시작하는 엄격한 순차적 구조를 가집 있습니다.

이러한 순차적 의존성은 발화 사이의 상당한 대기 시간을 유발합니다. 속도가 빠른 게임 시나리오에서 이는 길고 부자연스러운 침묵(베이스라인 기준 평균 9.6초)을 초래하여 몰입감을 저해하고 해설의 자연스러운 리듬을 깨뜨립니다. 또한, 기존 시스템을 정형화된 게임 데이터에서 현대적인 멀티모달 LLM을 활용한 원시 게임플레이 비디오로 확장할 경우 이러한 지연 문제가 더욱 악화됩니다.

방법론

저자들은 병렬 처리를 통해 텍스트 생성과 음성 재생을 분리하고, 시간적 일관성을 유지하기 위해 비디오 지연 제어를 구현하는 시스템 설계를 제안합니다.

1. 병렬 텍스트 생성

현재의 음성 재생이 끝나기를 기다렸다가 다음 세그먼트를 생성하는 전통적인 방식과 달리, 제안된 시스템은 현재 발화가 진행 중인 동안에도 새로운 비디오 세그먼트가 가용해지는 즉시 텍스트 생성을 시작합니다.

버퍼링: 여러 개의 후보 발화가 백그라운드에서 생성되어 버퍼에 저장됩니다.
선택 정책: 현재 음성 재생이 종료되면, 시스템은 버퍼에 저장된 후보를 즉시 선택하여 합성함으로써 유휴 시간을 제거합니다. 본 논문은 결정 지연을 피하기 위해 세 가지 경량 선택 정책을 평가합니다:
- Latest (최신): 가장 최근에 생성된 세그먼트를 선택합니다.
- Oldest (최초): 버퍼에 가장 먼저 들어온 세그먼트를 선택합니다.
- Random (무작위): 세그먼트를 무작위로 선택합니다.

2. 비디오 지연 제어

필연적인 추론 지연으로 인해 발생하는 생성된 음성과 시각적 이벤트 간의 불일치를 완화하기 위해, 시스템은 출력되는 비디오 스트림을 의도적으로 지연시킵니다.

라이브 스트리밍 설정(예: YouTube Live)에서 서버는 비디오 스트림을 버퍼링하고 첫 번째 발화가 준비되었을 때 재생을 시작합니다. 이를 통해 시각적 피드와 오디오 해설을 정렬하여, 해설이 표시되는 게임 상태와 일치하도록 보장합니다.

3. 실험 설정

입력: $N=32$ 프레임 단위로 그룹화된 Super Smash Bros. Ultimate의 라이브 게임플레이 비디오 (25 fps로 캡처됨).
모델: 텍스트 생성을 위한 GPT-4.1-mini 및 표준 TTS 모듈.
베이스라인:
- After-Audio: 완전 순차적 방식 (음성 종료를 기다림).
- After-Text: 반-순차적 방식 (텍스트 생성 종료는 기다리지만, 음성 재생은 기다리지 않음).
평가: 정량적 지표(침묵 지속 시간, 발화/침묵 패턴의 평균 IoU [mIoU], ROUGE 점수) 및 리듬, 정렬, 전반적인 품질을 평가하기 위한 120명의 숙련된 게이머 대상 사용자 연구.

주요 결과

실험 결과, 병렬 아키텍처가 순차적 베이스라인보다 성능이 월등히 높음을 입증했습니다:

침묵 감소: 평균 발화 간 침묵 시간이 9.6초(After-Audio 베이스라인)에서 0.3초(Parallel Oldest/Random 정책)로 감소했습니다.
패턴 유사성: 제안된 방법은 약 0.60의 mIoU를 달察하여 인간의 해설 패턴에 가깝게 나타났으며, 이는 순차적 베이스라인의 거의 제로에 가까운 점수(0.01–0.10)와 대조됩니다. 이는 전문적인 말하기-침묵 타이밍에 대한 유사성이 40% 이상 향상되었음을 나타냅니다.
사용자 인지: 120명의 참가자를 대상으로 한 연구에서 제안된 방법은 모든 기준에서 유의미하게 높은 평균 의견 점수(MOS)를 받았습니다:
- 해설 리듬: 점수가 약 1.9(베이스라인)에서 ~3.5–3.6(병렬 방식)으로 상승했습니다.
- 비디오-오디오 정렬: ~2.4에서 ~3.1로 개선되었습니다.
- 전반적인 품질: ~1.9에서 ~3.2로 개선되었습니다.
토큰 길이: 연구 결과 max new tokens 파라미터를 조절하는 것이 발화 지속 시간과 텍스트 길이에 영향을 미치는 것으로 나타났으며, 60 토큰이 인간의 해설과 가장 유사한 발화 길이를 생성했고, 40 토큰이 인간의 말하기 지속 시간과 가장 잘 일치했습니다.

의의 및 주장

본 논문은 자신의 주요 기여가 순차적 실시간 해설 파이프라인에 내재된 침묵 누적 문제를 효과적으로 해결하는 저지연 시스템 설계라고 주장합니다. 텍스트 생성을 음성 재생과 병렬로 실행함으로써, 시스템은 재생 경계에서 즉각적인 합성을 가능하게 하여 인간의 해설과 구별하기 어려운 자연스러운 말하기 리듬을 만들어냅니다.

저자들은 이 접근 방식이 현대의 무거운 멀티모달 LLM을 기존의 제한적인 지연 시간 문제 없이 실시간 환경에서 사용할 수 있게 해준다는 점을 강조합니다. 본 연구는 언어 생성과 음성 합성 연구 사이의 간극을 메우며, 병렬 처리와 경량 비디오 지연 제어가 빠른 속도의 비디오 게임을 위한 고품질의 몰입형 자동 해설을 달성하는 데 충분하다는 것을 입증합니다. 이 시스템은 객관적 지표와 주관적 사용자 피드백을 통해 검증되었으며, 라이브 스트리밍 플랫폼을 위한 실질적인 솔루션으로 제시됩니다.