Art2Mus: Artwork-to-Music Generation via Visual Conditioning and Large-Scale Cross-Modal Alignment

이 논문은 예술 작품과 음악의 대규모 쌍방향 데이터셋인 ArtSound 를 구축하고, 이미지-텍스트 변환 없이 시각적 정보만으로 예술 작품을 직접 음악으로 생성하는 ArtToMus 프레임워크를 제안하여 시각-음악 간 직접적인 크로스모달 생성 연구의 새로운 방향을 제시합니다.

핵심

이 논문은 "그림을 보고 음악을 만들어내는 AI" 에 대한 연구입니다. 제목은 Art2Mus (아트 투 머스) 입니다.

기존의 AI 음악 생성 기술은 보통 "텍스트(글)"를 입력받아 음악을 만들거나, 그림을 먼저 "글"로 설명한 뒤 그 글로 음악을 만들었습니다. 하지만 이 연구팀은 "그림을 직접 보고, 글 없이 바로 음악으로 변환하는" 새로운 방식을 개발했습니다.

이 복잡한 기술을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 연구가 필요한가요? (기존 방식의 한계)

지금까지 그림을 보고 음악을 만들 때, AI 는 보통 다음과 같은 과정을 거쳤습니다:

1. 그림을 보고 "이 그림은 붉은색으로 가득 차 있고, 슬픈 분위기의 산수화야"라고 글로 설명합니다.
2. AI 는 그 글을 읽고 음악을 만듭니다.

문제점:

• 의미가 사라짐: 그림의 미세한 붓터치, 색감의 뉘앙스, 작가의 독특한 스타일 같은 것은 글로 설명하기 어렵습니다. 글로 바꾸는 과정에서 그림의 '영혼'이 일부 사라져버리는 셈이죠.
• 자연 사진 위주: 기존 AI 는 산, 바다, 사람 같은 '자연 사진'으로 훈련되어 있어서, 추상화나 고전 미술 같은 '예술 작품'의 깊은 의미를 잘 이해하지 못했습니다.

비유하자면:

그림을 보고 음악을 만드는 일을 통역사에게 맡긴 것과 같습니다. 화가 (그림) 가 감정을 표현하면, 통역사 (글) 가 그 감정을 말로 번역하고, 작곡가 (AI) 가 그 말을 듣고 음악을 만듭니다. 문제는 통역사가 화가의 미세한 표정이나 눈빛을 말로 다 전달하지 못해, 최종 음악이 원래 그림의 감정을 100% 담지 못한다는 것입니다.

2. 이 연구의 해결책: Art2Mus (그림 → 음악 직행)

이 연구팀은 통역사 (글) 를 아예 없애고, 화가 (그림) 가 작곡가 (AI) 에게 직접 감정을 전달하게 했습니다.

• ArtSound (아트사운드): 연구팀은 그림 10 만 5 천여 개와 음악 10 만 5 천여 곡을 짝지어 만든 거대한 데이터베이스를 만들었습니다. 여기서 중요한 건, 그림과 음악을 글 없이 서로 가장 잘 어울리게 짝을 지었다는 점입니다.
• 직접 연결: AI 가 그림을 볼 때, 그림의 픽셀 정보를 바로 음악의 소리로 변환하는 '직접 통로'를 만들었습니다.

비유하자면:

이제 화가가 작곡가에게 "이 그림의 붉은색과 거친 붓터치를 보고, 너만의 방식으로 음악을 만들어줘" 라고 직접 지시합니다. 통역사가 끼어들지 않기 때문에, 그림의 고유한 분위기나 색감이 음악에 더 생생하게 살아납니다.

3. 어떻게 작동할까요? (기술적 원리)

이 시스템은 '잠재 확산 모델 (Latent Diffusion Model)' 이라는 최신 AI 기술을 사용합니다.

• 그림의 영혼을 추출: 그림을 분석하는 AI(시각 인코더) 가 그림의 특징을 숫자 덩어리 (임베딩) 로 바꿉니다.
• 음악의 언어로 번역: 이 숫자 덩어리를 AI 가 이해할 수 있는 '음악의 언어 (LoA)'로 변환합니다. 이때, 그림의 특징이 음악의 멜로디나 리듬과 어떻게 연결될지 학습시킵니다.
• 음악 생성: 잡음에서 시작해, 그림의 특징을 바탕으로 점점 선명한 음악으로 다듬어 나갑니다.

비유하자면:

그림을 레고 블록으로 분해해서, 그 블록들을 악기 소리로 재조립하는 과정입니다. 그림의 '붉은색' 블록은 '뜨거운 드럼 소리'로, '흐르는 물' 블록은 '부드러운 피아노 선율'로 변환되는 식입니다.

4. 결과는 어땠나요?

• 성공적인 시도: 글 없이 그림만으로 음악을 만들었음에도, 음악이 매우 자연스럽고 그림의 분위기와 잘 어울렸습니다.
• 글 기반 방식과의 비교: 물론, 글로 설명을 해주는 방식이 아직은 정확도 면에서 조금 더 높습니다. 하지만 글로 설명할 수 없는 그림의 '미묘한 느낌'을 전달하는 데는 이 방식이 훨씬 뛰어납니다.
• 의미: 이는 AI 가 단순히 텍스트를 따라 하는 것을 넘어, 시각 예술과 청각 예술을 직접 연결할 수 있는 새로운 가능성을 열었습니다.

5. 결론: 왜 중요한가요?

이 연구는 "그림을 보고 음악을 만드는 것" 이라는 새로운 장르를 정립했습니다.

• 문화유산: 옛 그림이나 조각품을 보고 그 시대의 분위기를 담은 음악을 만들 수 있습니다.
• 창의성: 화가나 작곡가가 서로의 작품을 영감으로 삼아 새로운 예술을 창조할 수 있습니다.
• 미래: 앞으로는 우리가 그림을 볼 때, AI 가 그 그림에 딱 맞는 배경음악을 실시간으로 만들어줄 수도 있습니다.

한 줄 요약:

"그림을 보고 음악을 만드는 AI 가, 이제 '글'이라는 중계 없이 그림의 감정을 직접 음악으로 번역하는 데 성공했습니다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

기존의 이미지 기반 음악 생성 모델들은 다음과 같은 두 가지 근본적인 한계를 가지고 있었습니다.

1. 데이터의 한계 (자연 사진 중심): 대부분의 기존 모델은 자연 사진 (Natural Photographs) 으로 학습되었습니다. 이는 사물 중심의 리터럴한 의미만 포착할 뿐, 예술 작품이 가진 풍부한 상징성, 스타일, 문화적 맥락, 그리고 추상적인 표현을 포착하는 데 한계가 있습니다.
2. 간접적인 조건부 학습 (Image-to-Text bottleneck): 기존 파이프라인은 이미지를 텍스트 설명 (Caption) 으로 변환한 후, 이를 바탕으로 음악을 생성하는 방식을 취했습니다. 이는 언어를 '의미적 단축키 (Semantic Shortcut)'로 사용함으로써, 텍스트로 표현하기 어려운 미세한 질감, 스타일적 뉘앙스, 그리고 비언어적 시각적 단어가 음악 생성 과정에서 손실되는 문제가 발생했습니다.

따라서, 텍스트 중간 단계 없이 예술 작품 (이미지) 에서 직접 음악을 생성하는 직접적인 비주얼 - 오디오 (Visual-to-Audio) 학습이 필요했으나, 이를 위한 대규모 데이터셋과 적합한 아키텍처가 부재했습니다.

2. 핵심 기여 (Key Contributions)

이 연구는 위 문제를 해결하기 위해 다음과 같은 두 가지 주요 기여를 제시합니다.

A. 대규모 멀티모달 데이터셋: ArtSound

• 규모: 105,884 개의 예술 작품 - 음악 쌍 (Artwork-Music Pairs) 으로 구성됨.
• 구성: WikiArt 기반의 ArtGraph (116,475 개 작품) 와 Free Music Archive (FMA) (106,574 개 트랙) 를 결합하여 구축.
• 강화: 각 쌍에 대해 이미지 설명 (Image Caption) 과 오디오 설명 (Audio Caption) 을 포함하며, 설명의 품질을 검증하기 위해 ICScore (이미지 - 텍스트 정렬) 와 ACScore (오디오 - 텍스트 정렬) 라는 새로운 정렬 지표를 도입했습니다.
• 매칭 전략: ImageBind 임베딩을 사용하여 이미지와 오디오 간의 의미적 유사성을 계산하고, 가장 유사한 쌍을 선별하여 데이터셋을 구성했습니다.

B. 새로운 프레임워크: Art2Mus

• 개념: 텍스트 중간 단계 없이, 디지털화된 예술 작품의 시각적 임베딩을 직접 음악 생성 모델의 조건부 공간 (Conditioning Space) 에 주입하는 최초의 프레임워크입니다.
• 아키텍처: AudioLDM 2 (잠재 확산 모델 기반) 를 베이스로 하되, 텍스트 인코더 대신 **시각 조건 추출기 (Visual Conditioning Extractor)**와 **이미지 정렬기 (Image Aligner)**를 도입했습니다.
• 동작 원리:
  1. CLIP 또는 ImageBind 를 통해 예술 작품의 시각적 임베딩을 추출합니다.
  2. Image Aligner를 통해 이 임베딩을 GPT-2 의 토큰 공간 (LoA, Language of Audio) 으로 매핑합니다.
  3. 매핑된 시각적 토큰이 확산 모델 (Diffusion Model) 의 조건부 입력으로 사용되어, 텍스트 없이도 음악이 생성됩니다.

3. 방법론 (Methodology)

데이터셋 구축 (ArtSound)

• 캡션 생성: 이미지에는 LLaVA(Multimodal LLM) 를, 오디오에는 LP-MusicCaps 와 Qwen3(LLM) 을 사용하여 상세한 설명을 생성했습니다.
• 품질 검증: 생성된 캡션이 임계값 (0.80) 을 만족하지 않으면, 피드백을 포함한 프롬프트로 재생성하는 과정을 거쳤습니다.
• 쌍 매칭 (Pairing): ImageBind 의 공유 임베딩 공간을 활용하여, 각 오디오 트랙과 가장 유사한 예술 작품을 찾아 매칭했습니다. (직접 이미지 - 오디오 매칭이 텍스트를 거친 매칭보다 더 의미 있는 결과를 보임)

Art2Mus 아키텍처 상세

1. Visual Conditioning Extractor:
   • Image Aligner: CLIP(512 차원) 또는 ImageBind(1024 차원) 의 임베딩을 GPT-2 의 768 차원 토큰 공간으로 변환합니다.
   • Upscaler: 512 차원 입력의 경우 1024 차원으로 확장한 후 프로젝션 레이어를 거칩니다.
2. Latent Diffusion Backbone:
   • AudioLDM 2 의 VAE(잠재 인코더/디코더) 와 T-UNet(디노이저) 는 프리트레이닝된 상태로 고정 (Frozen) 됩니다.
   • 학습 중에는 Image Aligner의 파라미터만 업데이트됩니다.
3. 학습 과정:
   • 예술 작품의 시각적 임베딩과 고정된 프롬프트 ("이 작품의 내용을 표현하는 음악") 를 결합하여 조건부 벡터 $c$를 생성합니다.
   • Classifier-free guidance 를 위해 부정적 프롬프트 (예: "Low quality") 도 함께 사용합니다.
   • DDIM 스케줄러를 사용하여 효율적인 역확산 (Reverse Diffusion) 을 수행합니다.

4. 실험 결과 (Results)

객관적 평가 (Objective Metrics)

• 비교 대상: AudioLDM 2, AudioLDM 2-Music, Mozart's Touch (이미지→텍스트→음악) 등.
• 성능:
  • FAD (Fréchet Audio Distance): Art2Mus(ImageBind) 가 13 으로 가장 낮았으며 (낮을수록 좋음), 텍스트 기반 모델들과 경쟁 가능한 수준을 보였습니다.
  • IBSc (ImageBind Score): 생성된 음악과 원본 예술 작품 간의 의미적 정렬을 측정. Art2Mus(ImageBind) 는 0.20368 을 기록하여 텍스트 기반 모델 (Mozart's Touch 제외) 보다 높은 정렬도를 보였습니다.
  • KL-Divergence: 생성된 오디오의 분포가 실제 데이터와 얼마나 유사한지 측정. Art2Mus 는 매우 낮은 값을 보였습니다.
• 발견: ImageBind 임베딩을 사용한 것이 CLIP 보다 더 높은 성능을 보였으며, 토큰 수를 16 개로 늘렸을 때 조건부 신호가 더 풍부해졌습니다.

주관적 평가 (Subjective Evaluation)

• 15 명의 참가자 (음악가, 화가, 일반인) 가 4 가지 항목 (오디오 품질, 표현력, 관련성, 정렬도) 을 평가했습니다.
• 결과: ImageBind 기반 모델은 오디오 품질에서, CLIP 기반 모델은 표현력과 정렬도에서 약간 더 높은 점수를 받았습니다. 전반적으로 텍스트 없이도 예술 작품의 분위기 (Mood) 와 스타일을 잘 반영하는 음악을 생성함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 직접적인 비주얼 - 오디오 학습의 가능성 입증: 텍스트라는 중간 매개체 없이도, 시각적 임베딩을 직접 활용하여 의미 있고 스타일적으로 일관된 음악을 생성할 수 있음을 증명했습니다.
• 정보 손실 방지: 텍스트 설명으로 변환되는 과정에서 발생하는 미세한 스타일적, 구성적 정보의 손실을 방지하고, 예술 작품의 고유한 비언어적 특징을 음악에 반영할 수 있는 새로운 패러다임을 제시했습니다.
• 연구 방향의 확장: 예술 유산 (Cultural Heritage), 멀티미디어 아트, AI 지원 창작 활동 등에 적용 가능한 강력한 기반을 마련했습니다.
• 한계 및 향후 과제: 텍스트 기반 시스템에 비해 절대적인 정렬 점수는 낮지만, 이는 언어적 감독이 없는 훨씬 어려운 문제이므로 경쟁력 있는 결과로 평가됩니다. 향후 데이터셋 확장, 더 풍부한 시각 토큰화, 그리고 설명 가능한 AI(XAI) 기법 도입 등을 통해 발전할 수 있습니다.

이 논문은 Art2Mus와 ArtSound를 통해 멀티모달 생성 AI 분야에서 직접적인 시각 - 청각 매핑 연구의 새로운 기준을 제시했다는 점에서 중요한 의의를 가집니다.