PrismAudio: Decomposed Chain-of-Thoughts and Multi-dimensional Rewards for Video-to-Audio Generation

이 논문은 비디오-오디오 생성 모델의 객체 간섭 문제를 해결하고 인간 선호도를 정렬하기 위해, 네 가지 지각 차원을 위한 분해된 사고 연쇄 (CoT) 모듈과 다차원 보상, 그리고 효율적인 Fast-GRPO 알고리즘을 통합한 PrismAudio 프레임워크를 제안하고 AudioCanvas 벤치마크에서 최첨단 성능을 입증합니다.

핵심

이 논문은 "PrismAudio(프리즘오디오)" 라는 새로운 기술을 소개합니다. 쉽게 말해, "소리가 없는 영상을 보고, 그 상황에 딱 맞는 소리를 만들어내는 AI" 입니다.

기존의 AI 들은 영상을 보고 소리를 만들 때, "무슨 소리인지"만 맞추려고 애썼습니다. 하지만 PrismAudio 는 단순히 소리를 내는 것을 넘어, 네 가지 핵심 감각을 모두 고려하여 훨씬 더 자연스럽고 예술적인 소리를 만들어냅니다.

이 복잡한 기술을 일상적인 비유로 설명해 드릴게요.

---

1. 문제점: "혼란스러운 요리사"

기존의 영상-소리 생성 AI 들은 마치 한 번에 모든 요리를 하려고 하는 초보 요리사와 같았습니다.

• 문제: "소고기 스테이크를 만들어줘"라고 하면, 고기 맛 (의미) 은 괜찮은데, 불 조절 (시간) 이 잘못되어 타버리거나, 소금 양 (미적 감각) 이 부족하거나, 접시 배치 (공간감) 가 엉망이 되는 경우가 많았습니다.
• 원인: 모든 목표를 하나의 점수 (손실 함수) 로만 평가하려다 보니, 서로 충돌하는 목표들 (예: 맛을 내려면 소금이 많아야 하지만, 건강을 생각하면 적어야 함) 을 어떻게 균형 있게 잡을지 몰라 엉망이 되는 것입니다.

2. 해결책: "전문가 팀"과 "프리즘"

PrismAudio 는 이 문제를 해결하기 위해 네 명의 전문가 팀을 꾸렸습니다. 마치 빛을 프리즘으로 쪼개서 색깔별로 나누듯, 소리를 만드는 과정을 네 가지 전문 분야로 나눕니다.

1. 의미 전문가 (Semantic CoT): "이 영상에서는 소나기가 내리고 있네. 빗소리가 필요해." (무슨 소리가 나는지 파악)
2. 시간 전문가 (Temporal CoT): "우리가 먼저 천둥이 치고, 2 초 뒤에 비가 시작되어야 해." (소리와 영상의 타이밍 맞추기)
3. 미적 감각 전문가 (Aesthetic CoT): "빗소리가 너무 기계적이지 않게, 자연스럽고 울림이 있는 소리로 만들어야 해." (소리의 질감과 예술성)
4. 공간 감각 전문가 (Spatial CoT): "빗소리는 왼쪽에서 시작해서 오른쪽으로 이동하는 느낌으로." (소리의 방향과 위치)

이 네 명의 전문가가 각자 맡은 부분만 집중해서 생각 (Chain-of-Thought) 을 정리하면, AI 는 훨씬 더 명확한 지시를 받고 소리를 만들 수 있습니다.

3. 훈련 방법: "게임 레벨업" (강화 학습)

이제 이 전문가 팀을 어떻게 훈련시킬까요? 여기서는 게임 비유가 좋습니다.

• 기존 방식: 게임 캐릭터가 "총을 쏘면 점수 1 점"이라고만 알려주면, 캐릭터는 총만 쏘고 이동은 안 하거나, 점수만 따려고 비정상적인 행동을 할 수 있습니다. (목표가 엉켜버림)
• PrismAudio 방식 (Fast-GRPO):
  • 각 전문가에게 별도의 점수판을 줍니다. 의미 전문가에게는 "소리가 맞으면 +10 점", 시간 전문가에게는 "타이밍이 정확하면 +10 점"처럼요.
  • AI 는 이 네 가지 점수를 모두 잘 받기 위해 노력합니다.
  • Fast-GRPO (빠른 훈련법): 보통 이런 훈련은 컴퓨터가 엄청나게 많은 계산을 해야 해서 느립니다. PrismAudio 는 혼합된 훈련 방식을 써서, 중요한 부분만 집중적으로 훈련하고 나머지는 빠르게 넘어가게 함으로써 훈련 시간을 획기적으로 줄였습니다. (마치 마라톤을 달릴 때, 중요한 구간만 뛰고 나머지는 걷는 전략)

4. 새로운 시험장: "AudioCanvas"

이 기술이 얼마나 좋은지 검증하기 위해, 연구팀은 AudioCanvas라는 새로운 시험장을 만들었습니다.

• 기존 시험장들은 너무 단순한 상황 (예: 개가 짖는 영상) 만 있었습니다.
• 하지만 AudioCanvas 는 복잡한 상황 (예: 비가 오면서 차가 지나가고, 사람들이 웃고 소리치는 상황) 을 포함합니다.
• PrismAudio 는 이런 복잡한 상황에서도 네 가지 전문가 팀이 협력하여, 다른 AI 들이 실패하는 곳에서도 훌륭한 소리를 만들어냈습니다.

5. 결론: "완벽한 사운드트랙"

PrismAudio 는 단순히 "소리를 내는 것"을 넘어, 영상을 보는 사람이 느끼는 감정과 리얼리티까지 고려합니다.

• 기존 AI: "소나기 소리"를 내면 끝. (하지만 타이밍이 늦거나, 소리가 너무 작을 수 있음)
• PrismAudio: "천둥이 치고 2 초 뒤, 왼쪽에서 오른쪽으로 빗소리가 퍼지며, 자연스러운 울림을 가진 소나기 소리"를 만들어냅니다.

이 기술은 영화 제작자나 게임 개발자들이 더 쉽고 고품질의 사운드트랙을 만들 수 있게 도와주며, 앞으로 우리가 보는 모든 영상에 생동감 넘치는 소리를 입히는 혁신이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

비디오에서 오디오를 생성하는 작업 (Video-to-Audio, V2A) 은 단순히 소리를 만들어내는 것을 넘어, 인간의 지각적 차원을 모두 만족시켜야 하는 복잡한 과제입니다. 기존 연구들은 다음과 같은 근본적인 한계에 직면해 있습니다.

• 다중 목표의 상충 (Objective Entanglement): V2A 는 네 가지 핵심 지각 차원 (의미론적 일관성, 시계열 동기화, 미적 품질, 공간적 정확도) 을 동시에 만족해야 합니다. 기존 방법론들은 이러한 상충되는 목표들을 단일 손실 함수 (Loss Function) 로 통합하려다 보니, 한 차원의 성능 향상이 다른 차원의 저하로 이어지는 '상충 관계 (Trade-off)'를 해결하지 못했습니다.
• 단일 경로 추론의 한계: 최근 등장한 ThinkSound 와 같은 CoT(Chain-of-Thought) 기반 모델들은 추론 과정을 도입했으나, 모든 분석을 단일 경로에서 수행합니다. 이로 인해 복잡한 장면에서 의미, 시간, 공간, 미적 요소가 혼재되어 다중 모달 할루시네이션이 발생하거나 각 차원에 대한 최적화가 부족해집니다.
• 인간 선호도 부재: 대부분의 모델은 텍스트 매칭이나 신호 수준의 재구성에 최적화되어 있어, 기술적으로 정확하더라도 인간이 듣기에 만족스럽지 않거나 예술적 가치가 떨어지는 오디오를 생성합니다.

2. 제안 방법론 (Methodology)

저자들은 PrismAudio를 제안하며, 이는 V2A 생성에 강화학습 (RL) 과 특화된 CoT 계획을 통합한 최초의 프레임워크입니다.

가. 분해된 다차원 CoT (Decomposed Multi-Dimensional CoT)

기존의 단일 추론 경로를 네 가지 전문화된 CoT 모듈로 분해하여 각 차원의 추론을 명확히 분리했습니다.

1. 의미론적 CoT (Semantic CoT): 비디오의 객체, 행동, 사건을 식별하고 생성해야 할 소리의 특성을 정의.
2. 시계열 CoT (Temporal CoT): 사건의 순서, 시작/종료 시간, 리듬 등 시간적 정렬을 계획.
3. 미적 CoT (Aesthetic CoT): 자연스러움, 충실도, 풍부함 등 주관적인 음질과 예술적 가치를 평가.
4. 공간적 CoT (Spatial CoT): 소리의 방향, 거리, 스테레오 위치 (좌우) 를 분석.

이러한 구조화된 추론 텍스트는 VideoLLaMA2 를 미세 조정하여 생성되며, 오디오 생성 모델의 조건부 입력 (Conditioning) 으로 사용됩니다.

나. 다차원 보상 함수 및 강화학습 (Multi-Dimensional RL)

각 CoT 모듈에 대응하는 4 가지 전문화된 보상 함수를 설계하여 강화학습을 수행합니다.

• 보상 모델: 의미론적 (MS-CLAP), 시계열 (Synchformer), 미적 (Meta Audiobox Aesthetics), 공간적 (StereoCRW) 평가를 위한 전용 모델 사용.
• 최적화 전략: 단일 보상 대신 다중 보상을 가중치 합으로 결합하여, 모든 지각 차원에서 균형을 이루는 최적화를 달성합니다.

다. Fast-GRPO 알고리즘

확산 모델 (Diffusion Model) 에 강화학습을 적용할 때 발생하는 계산 비용 문제를 해결하기 위해 Fast-GRPO를 제안했습니다.

• 하이브리드 ODE-SDE 샘플링: 전체 디노이징 (Denoising) 과정을 무작위로 작은 윈도우 (Window) 로 나누어, 해당 윈도우 내에서는 확률적 SDE(Stochastic Differential Equation) 샘플링을 통해 탐색 (Exploration) 을 수행하고, 나머지 구간에서는 결정론적 ODE(Ordinary Differential Equation) 샘플링을 사용하여 효율성을 극대화합니다.
• 효과: 기존 Flow-GRPO 대비 훈련 오버헤드를 획기적으로 줄이면서도 생성 품질을 유지합니다.

라. 오디오 캔버스 (AudioCanvas) 벤치마크

기존 데이터셋의 한계를 보완하기 위해 새로운 벤치마크를 구축했습니다.

• 고품질 정렬: 전문가의 엄격한 수동 필터링을 통해 오프스크린 소리 등을 제거.
• 복잡한 장면: 단일 사건뿐만 아니라 501 개의 '다중 사건 (Multi-event)' 시나리오를 포함하여 복잡한 상호작용을 평가.
• 구조화된 주석: Gemini 2.5 Pro 를 활용해 생성된 상세한 CoT 주석을 포함하여 정량적 및 정성적 평가가 가능하도록 함.

3. 주요 기여 (Key Contributions)

1. PrismAudio 프레임워크: V2A 생성에 특화된 CoT 모듈과 다차원 강화학습을 통합하여, 기존 방법론의 '목표 혼재'와 '인간 선호도 부재' 문제를 근본적으로 해결했습니다.
2. Fast-GRPO: 하이브리드 ODE-SDE 샘플링 전략을 통해 확산 모델의 다차원 RL 훈련 효율성을 비약적으로 향상시켰습니다.
3. AudioCanvas 벤치마크: 300 개의 단일 사건 클래스와 501 개의 다중 사건 샘플을 포함한 엄격한 평가 기준을 제시하여, 실제 세계의 복잡한 V2A 과제를 평가할 수 있는 새로운 표준을 마련했습니다.
4. 성능 입증: 분해된 CoT 와 다차원 보상 최적화가 단일 목표 최적화보다 우월함을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• VGGSound (도메인 내) 및 AudioCanvas (도메인 외) 평가: PrismAudio 는 모든 지각 차원 (의미, 시간, 미적, 공간) 에서 기존 SOTA 모델 (ThinkSound, MMAudio, HunyuanVideo-Foley 등) 을 압도하는 성능을 기록했습니다.
  • 의미론적 일관성 (CLAP): ThinkSound 대비 0.43 → 0.47 (VGGSound), 0.48 → 0.52 (AudioCanvas) 로 향상.
  • 시계열 동기화 (DeSync): ThinkSound 대비 0.55 → 0.41 (VGGSound), 0.80 → 0.36 (AudioCanvas) 로 크게 개선. 복잡한 다중 사건 장면에서도 ThinkSound 가 붕괴되는 반면 PrismAudio 는 안정성을 유지했습니다.
  • 공간 정확도 (CRW): ThinkSound 의 13.47 에서 PrismAudio 는 7.72 로 크게 감소 (오차 감소).
• 주관적 평가 (MOS): 생성된 오디오의 품질 (MOS-Q) 과 일관성 (MOS-C) 에서 인간 평가자들이 가장 높은 점수를 부여했습니다.
• 효율성: Fast-GRPO 를 통해 기존 Flow-GRPO 대비 훈련 수렴 속도가 약 3 배 빠르고, 최종 보상 점수도 더 높았습니다.
• Ablation Study:
  • 단일 차원 보상만 사용하는 경우 다른 차원의 성능이 급격히 저하되는 것을 확인 (목표 상충).
  • 분해된 CoT(MultiCoT) 가 단일 CoT(Monolithic) 보다 모든 지표에서 우월함을 입증.

5. 의의 및 결론 (Significance)

PrismAudio 는 비디오 - 오디오 생성 분야에서 **해석 가능한 추론 (Interpretability)**과 **인간 선호도 정렬 (Human Preference Alignment)**을 동시에 달성한 새로운 패러다임을 제시합니다.

• 기술적 혁신: 복잡한 다중 목표 최적화 문제를 '분해된 추론'과 '다차원 보상'을 통해 해결함으로써, 생성 모델이 단순히 패턴을 매칭하는 것을 넘어 논리적이고 균형 잡힌 오디오를 생성할 수 있음을 증명했습니다.
• 실용성: Fast-GRPO 알고리즘을 통해 고비용이었던 RL 기반 확산 모델 훈련을 실용적인 수준으로 낮추었습니다.
• 미래 지향성: 제안된 AudioCanvas 벤치마크는 향후 V2A 연구의 표준 평가 도구로 자리 잡을 것이며, 복잡한 현실 세계의 오디오 생성 과제 해결에 중요한 기반을 제공합니다.

결론적으로, PrismAudio 는 V2A 기술이 단순한 소리 합성을 넘어, 창의적이고 통제 가능한 콘텐츠 제작 도구로 발전하는 데 중요한 이정표가 됩니다.