A Survey on Music Generation from Single-Modal, Cross-Modal, and Multi-Modal Perspectives

이 논문은 텍스트, 이미지, 비디오 등 다양한 모달리티를 활용한 음악 생성 연구의 현황을 모달리티 관점에서 분류·검토하고, 데이터셋과 평가 방법, 주요 과제 및 향후 연구 방향을 종합적으로 surveyed 합니다.

핵심

🎵 1. 음악 AI 의 성장 과정: 외로움에서 팀워크로

이 논문은 음악 생성 AI 의 역사를 세 가지 단계로 나눕니다.

• 1 단계: 혼자 노는 단계 (단일 모드)

  • 상황: 예전 AI 는 악보 (기호) 만 보거나, 기존 노래 소리 (오디오) 만 들었습니다.
  • 비유: 마치 피아노 치는 사람이 악보만 보고 새로운 곡을 만들거나, 혹은 노래방에서 기존 노래를 이어 부는 것과 같습니다. 아주 훌륭하지만, "이 노래는 비 오는 날의 우울한 감정으로 만들어줘"라고 말하면 못 알아듣습니다.

• 2 단계: 친구 하나와 대화하는 단계 (교차 모드)

  • 상황: AI 가 악보나 소리 외에 **글 (텍스트)**이나 그림 (이미지) 하나를 더 받기 시작했습니다.
  • 비유: 작곡가가 친구 한 명과 대화하며 음악을 짓는 것입니다. "비 오는 날의 우울한 감정으로"라고 말하면 (글), AI 는 그 감정에 맞는 멜로디를 찾습니다. 혹은 "우울한 회색 그림"을 보여주면 (그림) 그에 맞는 소리를 냅니다.

• 3 단계: 팀워크를 이루는 단계 (다중 모드) - [이 논문의 핵심]

  • 상황: 이제는 AI 가 글, 그림, 영상, 악보, 소리를 모두 동시에 보고 음악을 만듭니다.
  • 비유: 작곡가가 영화 감독, 화가, 시인, 무용수가 모여 있는 팀에 합류한 것입니다.
    • 감독이 "이 장면은 긴박해야 해" (영상) 라고 하고,
    • 시인이 "슬픈 비가 내리는 밤이야" (글) 라고 하며,
    • 화가가 "회색빛 구름이 떠 있어" (그림) 라고 합니다.
    • AI 는 이 모든 정보를 섞어서 완벽하게 어울리는 사운드트랙을 만들어냅니다.

---

🧩 2. AI 가 어떻게 음악을 이해할까? (데이터의 언어)

AI 는 인간의 감각과 다르게 데이터를 이해합니다. 이 논문은 AI 가 각 정보를 어떻게 '번역'하는지 설명합니다.

• 소리 (오디오): AI 는 소리를 그냥 '파도'처럼 들을 수 없습니다. 소리를 레고 블록처럼 잘게 쪼개어 (압축) 이해합니다.
• 악보 (상징 음악): 소리가 아니라 숫자와 기호의 언어입니다. 마치 악보에 적힌 '도레미파솔'을 컴퓨터가 읽는 것처럼요.
• 글, 그림, 영상: AI 는 이걸 감정의 키워드나 분위기로 바꿉니다. 예를 들어, '빨간색'이라는 그림은 AI 에게 '뜨겁고 신나는 음악'으로, '푸른 바다' 영상은 '차분하고 잔잔한 음악'으로 연결됩니다.

---

📚 3. 필요한 재료들 (데이터셋)

훌륭한 요리를 하려면 좋은 재료가 필요합니다. AI 도 마찬가지입니다.

• 문제점: AI 가 배우려면 '글 + 음악', '영상 + 음악'처럼 짝을 이룬 데이터가 엄청나게 많이 필요합니다. 하지만 현재는 이런 재료가 부족합니다.
• 비유: 요리사가 "소금과 설탕을 섞은 레시피"는 많지만, "소금과 설탕을 섞은 레시피"와 "그걸로 만든 맛있는 요리 사진"이 함께 있는 책은 거의 없습니다. 그래서 AI 가 배우기 어렵습니다.
• 해결책: 연구자들은 인터넷에서 데이터를 긁어오거나, AI 가 스스로 데이터를 만들어내는 방법을 찾고 있습니다.

---

📏 4. 맛보기 평가 (평가 방법)

AI 가 만든 음악이 진짜인지, 좋은지 어떻게 알까요?

• 기계적인 평가 (객관적):
  • 비유: 음악의 음정, 리듬, 화성이 수학적으로 정확한지 계산하는 것입니다. 마치 요리사가 "소금 3g, 설탕 2g"을 정확히 재는 것과 같습니다.
  • 한계: 수학적으로 완벽해도 "맛이 없다"면 소용없습니다.
• 사람의 평가 (주관적):
  • 비유: **미식가 (사람)**가 직접 들어보고 "이 노래가 글의 감정을 잘 표현했어?", "소리가 자연스러워?"라고 점수를 매기는 것입니다.
  • 중요성: 음악은 결국 사람이 듣는 것이므로, 사람의 감정이 가장 중요한 평가 기준입니다.

---

🚧 5. 앞으로의 과제와 미래

이론은 훌륭하지만, 아직 넘어야 할 산이 많습니다.

• 창의성 부족: AI 는 지금껏 들은 노래를 조립하는 데는 뛰어나지만, 인간처럼 새로운 영감을 만들어내는 것은 어렵습니다. (비유: 레고로 기존 모델을 따라 만드는 건 쉽지만, 세상에 없는 새로운 장난감을 발명하는 건 어렵습니다.)
• 속도 문제: 고화질 영상을 만들려면 시간이 오래 걸리듯, 여러 정보를 다 보고 음악을 만들려면 계산 속도가 느립니다.
• 일치성: "신나는 춤추는 영상"을 보고 "슬픈 음악"을 만들면 안 됩니다. 영상과 음악이 정서적으로 완벽하게 맞아야 합니다.

미래의 전망:
이 논문의 결론은 **"AI 가 이제 음악의 모든 요소 (글, 그림, 소리) 를 이해하고, 인간처럼 창의적이고 빠르게, 그리고 우리가 원하는 감정을 정확히 담아낸 음악을 만들 수 있는 시대가 오고 있다"**는 것입니다.

앞으로 AI 는 영화 제작자, 게임 개발자, 혹은 우리 일상에서 배경음악을 만들어주는 만능 작곡가가 될 것입니다. 다만, 그날이 오기까지는 AI 가 '창의성'이라는 마지막 퍼즐 조각을 찾아야 할 것입니다.

기술 요약

논문 개요

이 논문은 단일 모달리티 (Single-Modal), 교차 모달리티 (Cross-Modal), 그리고 다중 모달리티 (Multi-Modal) 관점에서 음악 생성 (Music Generation) 기술의 발전 과정을 체계적으로 검토하고 있습니다. 텍스트, 이미지, 비디오 등 비음악적 모달리티와 악보, 오디오 등 음악적 모달리티를 결합하여 음악을 생성하는 최신 연구 동향을 분석하고, 현재 직면한 과제와 미래 연구 방향을 제시합니다.

1. 문제 정의 (Problem)

• 모달리티 간 통합의 어려움: 인간은 시각, 청각 등 다양한 정보를 자연스럽게 통합하지만, AI 는 이를 처리하는 데 여전히 어려움을 겪고 있습니다.
• 기존 리뷰의 한계: 기존 연구들은 주로 심볼릭 음악 (Symbolic Music) 이나 특정 생성 모델 (Foundation Models) 에 초점을 맞추었으며, 다양한 모달리티 간의 상호작용과 통합 메커니즘에 대한 포괄적인 검토가 부족했습니다.
• 데이터 및 평가 부족: 고품질의 다중 모달리티 데이터셋이 부족하고, 생성된 음악의 품질과 모달리티 간의 일관성을 평가할 수 있는 표준화된 시스템이 부재합니다.
• 창의성과 효율성: 기존 모델이 훈련 데이터에 과도하게 의존하여 창의성이 부족하고, 시퀀스 데이터 특성상 생성 효율성이 낮다는 문제가 있습니다.

2. 방법론 및 기술적 접근 (Methodology)

논문은 음악 생성 시스템을 입력되는 모달리티의 수와 종류에 따라 세 가지 범주로 분류하여 기술적 세부 사항을 다룹니다.

가. 단일 모달리티 음악 생성 (Single-Modal)

• 오디오-to-오디오: 기존 오디오를 기반으로 새로운 오디오를 생성 (연속, 인페인팅, 편집 등).
  • 기술: RVQ-VAE, Transformer, Masked Acoustic Token Modeling(VampNet), AudioLM 등.
• 심볼릭-to-심볼릭: 악보 (MIDI 등) 를 기반으로 새로운 악보 생성.
  • 기술: MusicVAE(계층적 디코더), Theme Transformer, Diffusion models in latent space 등.

나. 교차 모달리티 음악 생성 (Cross-Modal)

• 스코어-to-오디오: 악보를 오디오로 변환 (연주 표현력 포함).
  • 기술: WaveNet, DDSP, Transformer 기반 어라인먼트 모델.
• 텍스트-to-음악: 자연어 설명이나 가사를 기반으로 음악 생성.
  • 기술: MusicLM(3 단계 캐스케이드), Diffusion 모델 (LDM), MuLan(오디오 - 텍스트 임베딩), SongMASS(가사 - 멜로디 전이 학습).
• 시각-to-음악: 이미지나 비디오를 기반으로 음악 생성.
  • 기술: 이미지/비디오 특징 추출 (ViT, OpenPose, Optical Flow) 을 통해 리듬, 분위기, 감정을 음악에 매핑 (MelFusion, RhythmicNet, LORIS 등).

다. 다중 모달리티 음악 생성 (Multi-Modal)

• 개념: 텍스트, 이미지, 비디오, 오디오, 심볼릭 등 여러 외부 모달리티를 동시에 활용하여 음악을 생성.
• 핵심 기술:
  • 모달리티 표현 (Representation): 오디오 (VQ-VAE, EnCodec), 심볼릭 (REMI, MIDI), 텍스트 (BERT, T5), 이미지/비디오 (ViT, ViViT, LDM) 의 특징 추출.
  • 모달리티 융합 (Fusion): Cross-attention, Concatenation, Joint Embedding, Mapping 등을 통해 다양한 모달리티 정보를 통합.
  • 생성 모델: Transformer, Diffusion Models (LDM, DiT), GAN, LLM 기반 생성기.
  • 대표 모델: Jukebox, MusicGen, Seed-Music, MelFusion, MuMu-LLaMA, XMusic 등.

3. 주요 기여 (Key Contributions)

1. 모달리티 중심의 체계적 분류: 기존 연구들을 생성 모델의 종류가 아닌, 입력되는 모달리티의 관점에서 재분류하고 분석하여, 다양한 정보 소스 간의 상호작용과 설계 고려사항을 명확히 제시했습니다.
2. 포괄적인 기술 리뷰: 단일 모달리티부터 최신 다중 모달리티 생성까지의 기술적 진화 경로 (Representation, Alignment, Generation) 를 상세히 정리했습니다.
3. 데이터셋 및 평가 방법론 분석:
   • 데이터셋: Score-Audio, Text-Music, Visual-Music, 그리고 최근의 Comprehensive Multi-modal 데이터셋 (MuChin, MelBench 등) 의 현황, 한계 및 구축 방법을 정리했습니다.
   • 평가 지표: 객관적 지표 (FAD, FID, KLD, CLAP Score 등) 와 주관적 지표 (MOS, 선호도 테스트, Turing Test 등) 를 분류하고, 모달리티 일관성 (Consistency) 평가의 중요성을 강조했습니다.
4. 도전 과제 및 미래 방향 제시: 창의성, 효율성, 모달리티 융합, 데이터 부족, 평가 체계의 부재 등 현재 직면한 핵심 문제를 지적하고, 이를 해결하기 위한 구체적인 미래 연구 방향을 제안했습니다.

4. 결과 및 현황 (Results & Status)

• 기술적 성취: 텍스트나 이미지/비디오를 조건으로 하여 고품질의 음악을 생성하는 모델 (MusicLM, AudioLDM 2, Seed-Music 등) 이 등장하며 성능이 크게 향상되었습니다.
• 데이터 부족: 고품질의 정렬된 (Aligned) 다중 모달리티 데이터셋이 여전히 부족하여, 대규모 모델 학습에 제약이 존재합니다. (예: HIMV-200K, SymMV 등 시도 중)
• 평가의 복잡성: 음악은 객관적 이론과 주관적 감상이 공존하므로, 단일 지표로 품질을 평가하기 어렵습니다. 특히 생성된 음악이 입력된 모달리티 (텍스트 의미, 비디오 리듬 등) 와 얼마나 잘 일치하는지 평가하는 '모달리티 일관성' 측정이 핵심 과제로 부상했습니다.

5. 의의 및 중요성 (Significance)

• 연구 방향성 제시: AIGC(생성형 AI) 시대에 음악 생성이 단일 모달리티를 넘어 다중 모달리티로 진화하는 과정에서, 연구자들이 어떤 기술적 난제를 해결해야 하는지 명확한 로드맵을 제공합니다.
• 실용적 응용 확대: 게임 사운드트랙, 라이브 공연, 음악 치료, 상업적 활용 등 다양한 분야에서 맞춤형 음악 생성 기술의 적용 가능성을 높이는 기초를 마련합니다.
• 다학제적 융합: 컴퓨터 비전, 자연어 처리, 신호 처리, 음악 이론 등 다양한 분야의 기술이 음악 생성에 어떻게 융합되는지를 보여줌으로써, AI 연구의 새로운 패러다임을 제시합니다.

결론

이 논문은 음악 생성 기술이 단일 모달리티에서 교차 및 다중 모달리티로 확장되는 과정에서 직면한 기술적, 데이터적, 평가적 한계를 종합적으로 분석했습니다. 향후 연구는 창의성 향상, 생성 효율성 개선, 정교한 모달리티 정렬, 대규모 고품질 데이터셋 구축, 그리고 포괄적인 평가 체계 마련에 집중해야 함을 강조하며, 음악 생성 기술이 실험실 단계를 넘어 산업적 응용으로 전환되는 데 중요한 이정표가 됩니다.