🤖 machine learning

ITGPT: A Transformer Based Architecture for the Generation of Dance Dance Revolution and In the Groove Charts

이 논문은 Dance Dance Revolution 및 In the Groove 채보 생성을 자동화하기 위해 설계된 트랜스포머 기반 아키텍처인 ITGPT를 소개하며, 이는 이전 방식들과 비교하여 정확도와 계산 효율성 모두에서 상당한 개선을 달성했습니다.

원저자: Miguel O'Malley

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Miguel O'Malley

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 네 개의 빛나는 화살표가 있는 거대한 바닥 위에서 춤을 추는 비디오 게임, 즉 '댄스 댄스 레볼루션'(Dance Dance Revolution)이나 그 형제 격인 '인 더 그루브'(In the Groove)를 위한 곡을 리믹스하려는 DJ라고 상상해 보세요. 이 게임은 단순히 음악을 재생하는 것이 아니라, '채보(chart)'를 필요로 합니다. 이 채보는 플레이어가 비트에 맞춰 업(Up), 다운(Down), 레프트(Left), 라이트(Right) 화살표를 언제 밟아야 하는지 알려주는 일종의 음악적 지도와 같습니다. 이러한 채보를 수작업으로 만드는 것은 마치 복잡한 시를 쓰면서 저글링을 하는 것과 같습니다. 엄청난 시간이 소요되고, 깊은 리듬감이 필요하며, 매우 지루한 작업입니다. 여기서 컴퓨터 과학, 특히 데이터로부터 패턴을 학습하도록 컴퓨터를 가르치는 머신러닝 분야가 등장합니다. 최근 몇 년 동안, 문장의 전체적인 맥락을 이해하는 데 탁월하여 이야기를 쓰거나 언어를 번역하는 데 유명해진 '트랜스포머(Transformer)'라는 유형의 AI가 등장했습니다. 하지만 컴퓨터가 춤을 안무할 수 있을까요? 이것이 바로 이 논문이 다루는 핵심 질문입니다. 우리가 음악을 듣고, 마치 인간 전문가가 만든 것처럼 재미있고 플레이 가능한 댄스 루틴을 즉석에서 만들어내는 AI를 구축할 수 있을까요?

여기에 이 댄스 플로어 퍼즐을 해결하기 위해 설계된 새로운 AI 아키텍처인 ITGPT가 있습니다. 미겔 오말리(Miguel O'Malley)가 이끄는 연구진은 컴퓨터에게 이 작업을 가르치는 기존 방식—단순한 패턴 탐지기와 메모리 루프를 혼합하여 사용하는 방식—이 마치 현재 서 있는 거리만을 보여주는 지도를 가지고 도시를 항해하는 것과 같다고 제안합니다. 이는 몇 걸음은 갈 수 있게 해주지만, 더 큰 그림에서는 금방 길을 잃게 만듭니다. 대신, ITGPT는 트랜스포머(Transformer) 아키텍처를 사용하는데, 이는 컴퓨터에게 노래 전체를 한눈에 내려다볼 수 있는 조감도를 제공하는 것과 같습니다. 이를 통해 AI는 단순히 다음 비트뿐만 아니라, 노래 전체가 어떻게 흐르는지, BPM(분당 비트 수)은 얼마인지, 그리고 춤의 난이도는 어느 정도여야 하는지를 이해할 수 있습니다.

이 논문은 이러한 채보를 생성하기 위한 두 부분으로 구성된 시스템을 소개합니다. 첫째, 스텝 배치(Step Placement) 모델은 지휘자처럼 음악을 들으며 화살표가 언제 나타나야 할지를 결정합니다. 이 모델은 오디오를 분석하며 "이것은 강한 드럼 타격인가? 아니면 조용한 멜로디인가?"라고 질문하며 그에 맞춰 스텝을 배치합니다. 둘째, 스텝 선택(Step Selection) 모델은 안무가처럼 플레이어가 어떤 화살표(Up, Down, Left, Right)를 눌러야 할지를 결정합니다. 이 모델은 이미 배치된 스텝들과 주변 음악을 살펴보고 최선의 움직임을 선택하여, 춤이 자연스럽고 무작위적이지 않게 느껴지도록 합니다.

결과는 상당히 유망합니다. 저자들은 ITGPT가 이전 방식들보다 훨씬 더 정확한 채보를 생성한다는 것을 발견했습니다. 실제로 ITGPT는 이전 모델인 DDC 및 DDCL과 비교했을 때 스텝 배치와 선택의 정확도를 향상시켰습니다. 가장 흥ло로운 발견 중 하나는 속도입니다. 기존 모델들은 음악과 댄스 동작을 느린 단계별 루프로 처리해야 했기 때문에 채보를 생성하는 데 오랜 시간이 걸렸던 반면, ITGPT는 믿기지 않을 정도로 빠릅니다. 논문에 따르면 ITGPT는 약 0.06초 만에 채보를 생성할 수 있는데, 이는 이전의 최고 모델인 DDCL보다 약 7배 빠르며, 또 다른 트랜스포머 기반 모델인 GOCT보다는 거의 50배 빠릅니다. 이러한 속도 향상은 ITGPT가 매 스텝마다 음악을 다시 듣는 대신, 처음에 오디오 파일 전체를 한 번에 처리하기 때문에 발생합니다.

하지만 이 논문은 완벽함을 주장하지 않도록 주의를 기울입니다. 연구진은 ITGPT가 큰 도약이긴 하지만, '롱 노트(held notes, 화살표를 일정 시간 동안 계속 밟고 있어야 하는 스텝)' 처리에는 여전히 약간 어려움을 겪고 있으며, 이 작업에서는 이전 모델인 DDCL이 실제로 약간 더 나은 성능을 보였다고 인정합니다. 그들은 이것이 이전 모델이 음악의 길고 지속적인 소리를 포착하는 데 더 뛰어났기 때문일 수 있다고 시사합니다. 또한 저자들은 자신들의 훈련 데이터가 253곡과 952개의 채보로 확장되었음에도 불구하고, 언어 모델에 사용되는 방대한 데이터셋에 비하면 여전히 상대적으로 작다는 점을 지적합니다. 그들은 AI에게 더 많은 댄스 데이터를 제공한다면 AI가 훨씬 더 똑똑해질 것이라고 생각하지만, 현재로서 ITGPT는 자동화된 댄스 게임 제작을 위한 강력하고 빠르며 매우 정확한 도구입니다.

요약하자면, 이 논문은 트랜스포머 기반의 접근 방식으로 전환하고 AI에게 음악에 대한 '전역적 관점(global view)'을 부여함으로써, 더 정확할 뿐만 아니라 눈 깜짝할 사이에 생성되는 댄스 채보를 만들 수 있다는 것을 시사합니다. 이는 누구나 노래를 업로드하면 즉시 맞춤형 댄스 게임을 얻을 수 있는 미래, 즉 지루한 채보 작업을 원활하고 자동화된 경험으로 바꾸는 것을 향한 한 걸음입니다.

기술 요약: ITGPT

문제 정의
Dance Dance Revolution(DDR) 및 In the Groove(ITG)와 같은 리듬 게임의 채보(choreography) 생성은 음악적 활동, 난이도, 템포(BPM)에 맞춰 스텝을 정렬해야 하는 복잡하고 수동적인 과정이다. 기존의 자동화된 접근 방식인 Dance Dance Convolution(DDC)과 그 후속 모델인 DDCL은 하이브리드 CNN-LSTM 또는 ConvLSTM 구조를 활용했다. 이러한 모델들은 효과적이긴 했으나, 특히 스텝 선택(step selection) 단계에서 전역적 문맥(global context) 통합과 계산 효율성 측면에서 어려움을 겪었다. 과제는 음악적 구조, 난이도 제약 및 BPM을 준수하면서도, 정확하게 스텝을 배치(온셋 탐지, onset detection)하고 특정 화살표 조합을 선택(스텝 선택)할 수 있는 시스템을 낮은 계산 비용으로 구축하는 것이다.

방법론
본 논문은 이전 연구들의 LSTM 구성 요소를 트랜스포머 프레임워크로 대체하여 전역적 문맥을 더 잘 인코딩할 수 있는 트랜스포머 기반 아키텍처인 ITGPT를 소개한다. 이 시스템은 다음과 같은 2단계 파이프라인을 통해 작동한다:

스텝 배치 (온셋 탐지):
- 아키텍처: 계층적 트랜스포머 인코더와 특화된 예측 헤드 및 다중 스케일 로컬 리파이너(multi-scale local refiners)가 결결합되어 있다. 모델은 오디오 특징(32 타임스텝/비트 비율로 샘플링된 80밴드 멜-스펙트로그램)과 보조 특징(BPM 및 정수형 난이도)을 함께 처리한다.
- 계층적 처리: 모델은 개별 비트, 4비트 마디, 4마디 구절, 8마디 구절 등 다양한 시간 지평(time horizons)에 걸쳐 차트를 분석한 후, 전역 셀프 어텐션(global self-attention)을 위한 압축된 표현으로 투영한다.
- 진단 네트워크 (Diagnostic Network): 생성된 차트 출력으로부터 BPM과 난이도를 추정하도록 설계된 새로운 보조 네트워크가 메인 모델과 함께 학습된다. 이는 학습 과정에서 입력 파라미터와의 정렬을 강제하여, 생성 시 사후 임계값 튜닝(post-generation threshold tuning)의 필요성을 줄여준다.
- 출력: 모델은 비트당 48 길이의 이진 벡터를 출력하며, 이는 잠재적인 스텝 배치를 나타낸다. 모델은 원샷(one-shot) 구조를 사용하여 곡의 청크(chunk) 전체에 대한 배치를 동시에 생성한다.
스텝 선택:
- 아키텍처: 배치된 각 스텝에 대해 256가지 가능한 스텝 조합(4개 화살표 $\times$ 4가지 상태: 스텝 없음, 스텝 있음, 홀드, 릴리즈) 중 하나를 선택하는 자기회귀(autoregressive) 트랜스포머 모델이다.
- 입력: 모델은 이전에 배치된 스텝의 전체 문맥(최대 500 스텝)과 각 스텝 주변 반경 내에서 샘플링된 오디오 특징을 입력으로 받는다.
- 인코딩: 오디오는 컨볼루션 프런트엔드를 거친 후 잔차 벡터 양자화(Residual Vector Quantization, RVQ)를 통해 이산화 및 문맥화된다. 모델은 오디오와 스텝 히스토리 텐서를 통합하기 위해 퍼베이시브 FiLM 컨디셔닝(pervasive FiLM conditioning)을 채택한다.
- 학습 전략: 모델은 ProphetNet에서 영감을 받은 멀티 헤드 예측 방식을 사용하며(현재 스텝과 다음 세 개의 스텝을 예측), 학습이 진행됨에 따라 초기 스텝에서 후기 스텝으로 초점을 전환하는 동적 가중치 스킴을 적용한다.

주요 기여

트랜스포머 아키텍처: 스텝 배치를 위해 CNN-LSTM/ConvLSTM에서 계층적 트랜스포머로 전환함으로써, 전역적인 음악적 문맥과 구조적 패턴을 포착할 수 있게 하였다.
진단 모델: 생성된 차트와 의도된 BPM/난이도 파라미터 간의 일관성을 강제하기 위한 진단 네트워크를 도입하여, 생성 시 광범위한 임계값 튜닝을 제거하였다.
효율적인 스텝 선택: 오디오를 차트당 한 번만 처리하고 이후에는 토큰만을 반복적으로 처리하는 트랜스포머 기반 스텝 선택 모델을 통해, 오디오를 자기회귀적으로 처리하는 모델들에 비해 생성 시간을 대폭 단축하였다.
확장된 데이터셋: 기존 연구에서 사용된 데이터셋보다 약 3배 큰 확장된 Fraxtil 데이터셋(253곡, 952개 차트)을 활용하여 모델의 일반화 성능을 높였다.

결과

스텝 배치: ITGPT는 평균 F1-score 0.7801을 달성하여 DDCL(0.7033)과 DDC(0.5006)를 능가했다. 특히 ITGPT는 낮은 난이도(Beginner부터 Easy까지)에서 가장 유의미한 개선을 보였다. 진단 모델 변형(ITGPT)은 임계값 튜닝이 거의 필요 없는 반면, 비진단 변형(ITGPT-ND)은 임계값을 최적화했을 때 DDCL과 유사한 성능 향상을 보였다.
스텝 선택: ITGPT는 평균 정확도 0.5908 및 Top-3 정확도 0.9033을 달성하여 DDCL(0.5533)과 DDC(0.4523)를 앞질렀다. DDCL은 "홀드 노트(held notes)"를 예측하는 데 있어 (지속되는 톤을 포착하는 ConvLSTM의 능력 덕분에) ITGPT보다 약간 더 우수한 성능을 보였으나, 일반적인 스텝 예측에서는 ITGPT가 더 뛰어났다.
생성 속도: ITGPT는 계산 비용을 극적으로 줄였다. 스텝 배치 모델은 평균 0.06초 만에 차트를 생성한다. 전체 파이프라인(스텝 선택 포함)은 DDCL보다 약 7배 빠르며, 오토레그레시브 방식인 GOCT 모델보다는 거의 50배 빠르면서도 더 높은 정확도를 유지한다.

의의 및 주장
저자들은 ITGPT가 기존의 리듬 게임 채보 생성 방식에서 중대한 변화를 나타낸다고 주장한다. 트랜스포머 아키텍처를 활용함으로써, 이 모델은 국소적 문맥 모델보다 전역적 음악 문맥과 보조 파라미터(BPM, 난이도)를 더 효과적으로 통합할 수 있었다. 본 논문은 계층적 설계가 비트 단위로 구분된 음악의 시간적 구조에 맞춤화된 것이며, 진단 모델이 리듬 게임 생성에서 파라미터 일관성을 보장하는 새로운 접근 방식을 제공한다고 명시한다. 이 시스템은 정확도와 생성 속도 모두에서 최첨단(state-of-the-art) 성능을 달est하며, 이를 통해 자동화된 채보 생성을 더 넓은 범위의 난이도와 음악적 복잡성에 적용 가능하게 만든다. 저자들은 *osu!*에서 사용되는 것과 같은 더 큰 데이터셋이 성능을 더욱 향향시킬 수 있겠으나, 현재의 결과는 DDR/ITG 차트에 특화된 제안된 아키텍처의 효용성을 입증한다고 언급했다.

유사한 논문