Towards Expressive and Faithful Audio-to-Image Generation: A Unified Multimodal Dataset and Synthesis Framework

기술 요약: 표현력 있고 충실한 오디오-이미지 생성을 향하여

문제 정의
오디오-이미지(Audio-to-Image, A2I) 생성은 교차 모달 생성의 하위 분야로, 오디오 입력을 통해 정적인 시각적 콘텐츠를 합성하는 것을 목표로 한다. 텍스트-이미지(Text-to-Image, T2I) 모델의 눈부신 발전에도 불구하고, A2I의 성능은 근본적으로 제한되어 있다. 저자들은 이를 고품질의 세밀한 데이터셋의 부재 때문이라고 분석한다. 기존 데이터셋(예: AudioSet, VGGSound)은 시각적 충실도보다 오디오 품질을 우선시하거나, 오디오와 무작위로 샘플링된 비디오 프레임 사이의 불일치 문제를 겪는 경우가 많다. 결과적으로, 현재의 방법론들은 고품질의 생성을 달성하는 데 어려움을 겪으며, 대개 거친 범주 수준의 정렬이나 오디오와 이미지 사이의 묘사 간극을 간과하는 간접적인 텍스트 토큰 변환에 의존한다.

방법론
이러한 한계를 해결하기 위해, 본 논문은 새로운 데이터셋, 합성 파이프라인, 그리고 새로운 생성 모델로 구성된 통합 프레임워크를 제안한다.

1. 데이터셋 합성 (A2I-Set):
   저자들은 323,446개의 이미지와 260,060개의 오디오 클립이 상세한 텍스트 캡션과 쌍을 이루는 대규모 고품질 삼중 모달 데이터셋인 A2I-Set을 구축하였다. 여기서 하나의 오디오 클립은 여러 개의 유효한 이미지와 대응될 수 있다. 데이터 합성 파이프라인은 네 단계로 구성된다:

• 시각 강화 오디오 캡셔닝 (Vision-Enhanced Audio Captioning): 기존 데이터셋(AudioSet, VGGSound)을 활용하여, 저자들은 시각 언어 모델(PLLaVA)과 오디오 모델(Qwen-audio-2)을 사용하여 캡션을 생성한다. 이들은 GPT-4o-mini를 통해 융합되어 시각적 단서를 포함한 신뢰할 수 있는 오디오 캡션을 생성하며, 이를 통해 단일 모달리티 캡셔닝에서 흔히 발생하는 환각 현상을 줄인다.
• 실제 이미지 추출 (Real Image Extraction): 광학 흐름 지터 필터링(optical flow jitter filtering)과 장면 분할(TransNet V2)을 사용하여 소스 비디오로부터 고해상도의 안정적인 비디오 프레임을 추출한다. 이미지 품질은 ARNIQA를 사용하여 평가된다.
• 합성 이미지 생성 (Synthetic Image Generation): 단일 비디오 프레임이 복잡한 오디오와 완벽하게 일치하지 못할 수 있음을 인지하여, 저자들은 FLUX.1-Krea-dev 모델을 사용하여 사실적인 이미지를 생성한다. 오디오 캡션은 GPT-4o-mini에 의해 피사체, 분위기, 조명, 구도를 포함하는 전문적인 시각 생성 지침으로 정교화된 후 생성기에 입력된다.
• 정렬 필터링 (Alignment Filtering): 엄격한 필터링 프로세스가 정렬을 보장한다. "Sam Audio"는 객체 수준의 오디오 분리를 수행하며, 시각적 그라운딩 모델(Qwen3-VL-Flash, Ground DINO)은 이미지 내에 소리를 내는 객체가 존재하는지 검증한다. VLM 기반의 "교차 검증(Cross-Check)"은 실제 사진과 닮지 않은 합성 이미지를 걸러낸다.

2. 모델 아키텍처 (AudioCanvas):
   저자들은 Stable Diffusion (SD 1.4) 백본을 사용하여 A2I-Set으로 미세 조정된 모델인 AudioCanvas를 제안한다.

• 사전 정렬 오디오 프로젝터 (Pre-Alignment Audio Projector): 확산 모델을 미세 조정하기 전에, 오디오 프로젝터는 MSE(평균 제곱 오차)와 InfoNCE 대비 손실(contrastive loss)의 조합을 사용하여 CLAP 오디오 임베딩을 CLIP 텍스트 공간과 정렬한다.
• FiLM 가중치 오디오-텍스트 융합 (FiLM-weighted Audio-Text Fusion, FAT Fusion): 단순한 결합 대신, 모델은 디커플링된 교차 주의(cross-attention) 메커니즘을 채택한다. 오디오와 텍스트 특징은 UNet에 각각 별도로 주입된다. 그 후, 오디오와 텍스트 표현 모두를 기반으로 중간 특징을 동적으로 조절하기 위해 특징별 선형 변조(Feature-wise Linear Modulation, FiLM) 전략이 적용되어 유연한 특징 융합을 가능하게 한다.
• 훈련 전략 (Training Strategy): 모델은 오디오에 대한 의존도를 강제하기 위해 빈 텍스트 입력을 사용하여 훈련되며, 분류기 없는 가이드(classifier-free guidance)를 활용한다. 미적 품질과 사실성을 균형 있게 맞추기 위해 실제 데이터와 합성 데이터가 혼합되어 사용된다.

주요 기여

• A2I-Set: 241개의 계층적 오디오 클래스(음악, 음성, 자연음)를 다루며, 상세한 멀티모달 캡션과 고충실도 이미지를 특징으로 하는 323,446개의 이미지와 260,060개의 오디오 클립으로 구성된 통합 데이터셋이다. 여기에는 수동으로 큐레이션된 평가 세트(A2I-eval)와 균형 잡힌 서브셋(A2I-balanced)이 포함된다.
• 합합 파이프라인 (Synthesis Pipeline): 시각 강화 캡셔닝과 제어된 합성 생성을 통해 정렬된 데이터의 희소성 문제를 해결함으로써, 고품질의 오디오-이미지-텍스트 삼중 쌍 데이터를 생성하는 완전한 워크플로우를 제공한다.
• AudioCanvas: 사전 정렬 프로젝터와 FiLM 가중치 융합 모듈을 도입한 새로운 A2I 베이스라인 모델로, 고품질의 데이터가 표준 백본을 사용하더라도 우수한 결과를 낼 수 있음을 입증한다.

결과
A2I-eval(혼합 소스) 및 Landscape(단일 소스) 데이터셋에 대한 실험 결과, AudioCanvas는 여러 지표에서 기존의 최첨단 방법들(AudioToken, MACS, CoDi, SoundAdapter 포함)을 능가하는 성능을 보였다:

• 시각적 품질 (Visual Quality): AudioCanvas는 경쟁력 있는 FID(Fréchet Inception Distance)와 IS(Inception Score)를 달 achieves하며, 특히 인간 선호도 점수(HPSv3)와 미적 점수(Aes)에서 강력한 성능을 보여 높은 시각적 매력을 나타낸다.
• 교차 모달 정렬 (Cross-Modal Alignment): 모델은 우수한 오디오-이미지 유사도(AIS)와 텍스트-이미지 유사도(TIS)를 보여주며, 이는 입력 오디오와 생성된 이미지 사이의 더 나은 의미론적 정렬을 시사한다.
• 데이터 효율성 (Data Efficiency): 약 1억 개의 이미지를 가진 CoDi와 비교하여 323K개의 이미지 데이터셋으로 훈련되었음에도 불구하고, AudioCanvas는 훨씬 더 크거나 노이즈가 많은 데이터셋으로 훈련된 모델들을 능가하는 성능을 달성하여 A2I-Set의 품질 효율성을 입증했다.

의의 및 주장
본 논문은 A2I 생성의 주요 병목 현상이 모델 아키텍처 자체보다는 데이터 품질에 있다고 주장한다. 엄격한 데이터 합성 파이프라인과 고품질 데이터셋을 도입함으로써, 저자들은 표현력 있고 충실한 오디오-이미지 생성이 가능하다는 것을 보여준다. 그들은 이 접근 방식이 대규모 훈련 데이터나 새로운 백본 아키텍처 없이도, 세심한 데이터 큐레이션과 타겟팅된 모델 적응을 통해 고충실도의 세밀한 교차 모달 정렬을 달성할 수 있음을 증명함으로써 해당 분야의 새로운 길을 열었다고 단언한다. 저자들은 합성 데이터에 대한 잠재적인 스타일 과적합 문제와 오래된 확산 백본 사용에 대한 한계를 인정하면서도, 이들의 데이터셋과 프레임워크가 향후 연구를 위한 기초적인 가치를 지님을 강조한다.