💻 computer science

EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation

기존 비디오-텍스트-오디오 모델의 주요 한계를 극복하기 위해, 본 논문은 EchoFoley-6k 벤치마크와 EchoVidia 프레임워크에 의해 지원되는 계층적 제어를 갖춘 새로운 이벤트 중심 태스크인 EchoFoley를 소개하며, 이는 비디오에 기반한 사운드 생성의 제어 가능성과 지각 품질을 모두 유의미하게 향상시킨다.

원저자: Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu

게시일 2026-06-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 스크린에서 상영 중인 무성 영화를 보고 있다고 상상해 보세요. 화면에는 고양이가 걷고 있고, 문이 쾅 닫히며, 자동차가 지나가는 모습이 보입니다. 이제 당신은 효과음을 추가하고 싶지만, 아무 소리나 넣고 싶은 것이 아닙니다. 고양이가 처음에는 부드럽게 야옹거리다가, 마법사가 주문을 외울 때 갑자기 사자처럼 포효하기를 원하며, 그 특정한 포효가 정확히 7초 지점에 발생하도록 하고 싶습니다. 또한 7초 이전의 소리들은 7초 이후의 소리들보다 더 크게 만들고 싶습니다.

현재의 AI 도구들은 "고양이"라는 말을 들으면 그냥 일반적인 "야옹" 소리 파일을 영상 전체에 쏟아붓는 서투른 음향 엔지니어와 같습니다. 이들은 당신의 구체적이고 세밀한 지시사항을 듣는 데 어려움을 겪습니다.

EchoFoley는 이를 해결하기 위해 설계된 새로운 프로젝트입니다. 작동 방식은 다음과 같이 간단한 개념으로 나누어 설명할 수 있습니다.

1. 문제점: "시각적 지배"의 함정

현재 만약 당신이 AI에게 "두 번째 야옹 소리를 사자처럼 바꿔줘"라고 말한다면, AI는 종종 혼란에 빠집니다. AI는 고양이(시각 정보)를 보고는 "알았어, 고양이 소리를 만들어야지"라고 생각합니다. 즉, 당신이 말하는 내용보다 눈에 보이는 것에 너무 의존하여 당신의 구체적인 텍스트 지시를 무시합니다. 이는 마치 요리사가 "소금을 더 넣어달라"는 요청을 무시하고 오직 눈에 보이는 재료로만 요리하는 셰프와 같습니다.

2. 해결책: "사운드 스크립트" (기호적 표현)

연구진은 AI와 대화하는 새로운 방법을 만들었습니다. 단순히 모호한 명령을 내리는 대신, AI에게 **"사운드 스크립트"**를 쓰도록 가르치는 것입니다.

이 스크립트는 음악 지휘자의 악보와 같다고 생각하면 됩니다. 단순히 "음악을 연주하라"고 말하는 것이 아니라, 소리를 아주 작고 구체적인 음표 단위로 나눕니다:

언제: 소리가 발생하는 정확한 초(second)는 언제인가?
무엇을: 고양이의 야옹 소리인가, 아니면 사자의 포효인가?
어떻게: 소리가 큰가? 고음인가? 왼쪽에서 오는가, 오른쪽에서 오는가?

AI가 먼저 이 스크립트를 작성하도록 강제함으로써, AI는 "두 번째 야옹 소리를 사자 포효로 바꾸되, 첫 번째 야옹은 정상적으로 유지해줘"와 같은 복잡한 요청을 처리할 수 있게 됩니다.

3. 새로운 놀이터: EchoFoley-6k

AI에게 이 새로운 기술을 가르치기 위해, 팀은 EchoFoley-6k라는 거대한 학습 라이브러리를 구축했습니다.

6,000개의 무성 영상이 담긴 도서관을 상상해 보세요.
각 영상에 대해 단순히 한 문장의 설명만 적은 것이 아니라, 6,000개의 상세한 지시문과 42,000개의 아주 작은 소리 노트를 작성했습니다.
전문가들을 고용하여 소리가 시작되고 끝나는 시점과 그 특성이 무엇인지 정확하게 라벨링했습니다. 이것이 AI가 배우는 "교과서"입니다.

4. 새로운 두뇌: EchoVidia ("느리게-빠르게" 생각하기)

팀은 이 라이브러리를 사용하기 위해 EchoVidia라는 새로운 AI 시스템을 만들었습니다. 이 시스템은 인간의 사고방식에서 영감을 얻은 영리한 "느리게-빠르게 생각하기(Slow-Fast Thinking)" 기법을 사용합니다.

빠른 생각 (System 1): AI는 영상을 빠르게 훑어보며(초당 1프레임) 전반적인 분위기를 파악합니다. "아, 고양이 영상이구나."
느린 생각 (System 2): 그다음 AI는 영상을 아주 느리게 재생하여(슬로우 모션처럼) 자세히 관찰합니다. "잠깐, 00:04초에 고양이 입이 벌어지네. 이때 야옹 소리가 나는구나. 그리고 00:07초에 마법사의 손짓이 있네."

이처럼 빠른 개요 파악과 느리고 상세한 검사를 결함함으로써, AI는 일반적인 장면을 바탕으로 추측하는 대신, 정확히 언제 소리를 넣어야 하는지, 그리고 그 소리가 무엇이어야 하는지를 정확히 짚어낼 수 있습니다.

5. 결과: 숙련된 음향 엔지니어

EchoVidia를 다른 최고 수준의 AI 모델들과 테스트했을 때의 결과는 다음과 같습니다:

제어력: 구체적인 지시를 따르는 능력이 40% 더 뛰어났습니다. 특정 시간에 소리를 넣어달라고 요청하면 실제로 그렇게 수행했습니다.
품질: 인간 청취자들에게 12% 더 자연스럽고 사실적으로 들렸습니다.
균형: 다른 모델들이 텍스트 지시를 무시하고 영상에만 집중했던 것과 달리, EchoVidia는 영상과 당신의 구체적인 명령 둘 다 성공적으로 반영했습니다.

요약

이 논문은 AI가 영상에 대한 소리를 생성하는 새로운 방법을 소개합니다. AI가 단순히 그림을 보고 추측하게 두는 대신, 상세한 스크립트와 슬로우 모션 사고 과정을 부여하여 모든 소리가 사용자가 요청한 대로 정확한 시간, 정확한 톤으로 발생하도록 했습니다. 이는 단순한 추측과 확인의 과정을 정밀하고 창의적인 스토리텔링 도구로 탈바꿈시킵니다.

기술 요약: EchoFoley 및 EchoVidia

1. 문제 정의

최근의 발전에도 불구하고, 현재의 비디오-오디오 생성(VT2A) 모델들은 미세한 창의적 제어를 방해하는 세 가지 결정적인 한계점을 가지고 있습니다:

시각적 지배성(Visual Dominance): 시각적 단서와 텍스트 조건 사이의 불균여이 존재하며, 모델들이 시각적 단서에 과도하게 의존하여 특정 텍스트 지시사항을 무시하는 경향이 있습니다.
미세한 정의의 결여: 기존 방식은 특정 사운드 이벤트를 제어하기 위한 구체적인 정의가 부족합니다. 지시사항이 대개 모호하며(예: "고양이가 야옹거림"과 같은 범주형 태그), 어떤 이벤트를 수정해야 하는지, 언제 발생하는지, 또는 그 속성(피치, 볼륨, 음색)이 어떻게 변해야 하는지를 명시하지 못합니다.
지시 이행 능력 약화: 현재의 데이터셋은 짧은 태그에 의존하므로, 복잡하고 다단계적인 지시(예: "두 번째 야옹 소리를 사자 울음소리로 바꿔줘" 또는 "앞선 모든 소리를 더 크게 만들어줘")를 따르는 능력이 떨어집니다.

저자들은 창의적인 스토리텔링을 위해서는 단순히 비디오 레벨이 아니라 이벤트 레벨(특정 소리를 분리)에서 소리를 조작할 수 있는 능력이 필요하다고 주장하며, 이를 통해 삽입, 편집, 특정 사운드 이벤트의 속성 수정과 같은 작업이 가능해져야 한다고 강조합니다.

2. 방법론

A. 태스크 정식화: EchoFoley

본 논문은 비디오에 기반한 사운드 생성을 위한 새로운 태스크인 EchoFoley(Event-Centric Hierarchical cOntrol)를 도입합니다.

기호적 표현(Symbolic Representation): 핵심 혁신은 사운드 이벤트를 위한 구조화된 튜플 표현인 $e = (t, d, p)$ $e = (t, d, p)$ 입니다.
- $t = (t_{start}, t_{end})$ : 시간적 위치.
- $d$ : 의미론적 묘사 (대상, 동작, 객체).
- $p$ : 제어 가능한 오디오 속성 (음색, 피치, 강도, 공간감).
계층적 제어: 태스크는 세 가지 레벨로 구성됩니다:
- 인스턴스 레벨(Instance Level): 단일 이벤트를 제어 (예: "두 번째 야옹 소리를 바꿔줘").
- 그룹 레벨(Group Level): 관련된 이벤트들을 조정 (예: "모든 야옹 소리를 변형해줘").
- 비디오 레벨(Video Level): 전반적인 음향 프로필을 형성.
제어 유형: 시간적(언제/지속 시간), 음색(무엇/정체성), 볼륨(얼마나 강한지/멀리 있는지) 제어.

B. 벤치마크: EchoFoley-6k

이 태스크를 지원하기 위해 저자들은 대규모의 전문가 큐레이션 벤치마크인 EchoFoley-6k를 구축했습니다.

규모: 6,018개의 비디오-지시문-주석 튜플과 42,000개의 미세한 사운드 이벤트 주석으로 구성됩니다.
큐레이션 파이프라인: VGGSound 및 PE Video 데이터셋에서 비디오를 샘플링합니다. 과정에는 모션 필터링, 프레임 캡셔닝, LLM 기반 스토리 제안, 그리고 시간적 경계와 청각적 속성을 정교화하기 위한 엄격한 인간의 수정 작업이 포함됩니다.
평가 체계: 자동 메트릭(Temporal IoU, 음색 측면의 CLAP 유사도, 볼륨 측면의 상대적 크기)과 인간 평가(지시 이행도, 시각-청각 일관성, 지각적 품질)를 포함합니다.

C. 제안된 프레임워크: EchoVidia

기존 모델의 한계를 해결하기 위해, 저자들은 **느리게-빠르게 생각하기 전략(Slow-Fast Thinking Strategy)**을 특징으로 하는 훈련이 필요 없는 에이전트 기반 프레임워크인 EchoVidia를 제안합니다.

느리게-빠르게 생각하기(Slow-Fast Thinking): 이중 프로세스 인지(dual-process cognition)에서 영감을 받았습니다:
- 빠른 생각(Fast Thinking): 고차원적 구조를 포착하기 위해 초당 1프레임(1 fps)으로 비디오를 분석합니다.
- 느린 생각(Slow Thinking): 정밀한 이벤트 로컬라이제이션과 속성 추론을 수행하기 위해 초당 16프레임(시간적으로 확장된 형태)으로 비디오를 분석합니다.
에이전트 아키텍처: 이 프레임워크는 세 단계로 구성됩니다:
1. 추론(Reasoning): VideoLLM 기반 에이전트가 사운드 이벤트를 식별하고 타이밍을 추정합니다.
2. 설계(Design): 에이전트는 12개의 원자적 연산(시각적 추론, 사운드 디자인, 생성)으로 구성된 "액션 풀(action pool)"을 사용하여 기호적 이벤트 계획을 구축하고 반복적으로 정교화합니다.
3. 합성(Synthesis): 최종 확정된 기호적 표현은 시각 및 텍스트 컨텍스트를 모두 조건으로 하여 오디오를 렌더링하는 사운드 생성 모듈로 전달됩니다.

3. 주요 기여

EchoFoley 태스크: 소리가 언제, 무엇을, 어떻게 생성되는지를 명시하는 기호적 표현에 의해 정의되는, 비디오 기반 사운드 생성에서의 이벤트 중심 계층적 제어를 위한 새로운 패러다임을 제시합니다.
EchoFoley-6k 벤치마크: 제어 가능성과 품질을 위한 체계적인 평가 체계와 함께, 6,000개 이상의 튜플과 42,000개 이상의 이벤트로 밀도 있게 주석이 달린 데이터셋을 제공합니다.
EchoVidia 프레임워크: 최근의 VT2A 베이스라인 모델들보다 제어 가능성, 의미론적 정렬, 지각적 품질을 크게 향상시키는 훈련이 필요 없는 느리게-빠르게 생각하기 에이전트 프레임워크입니다.

4. 실험 결과

8개의 최신 VT2A 모델(MMAudio, ThinkSound, HunyuanVideo-Foley 포함)을 대상으로 EchoFoley-6k에서 평가한 결과는 다음과 같습니다:

제어 가능성(Controllability): EchoVidia는 가장 강력한 베이스라인보다 제어 가능성 측면에서 40.7% 더 높은 성능을 보였습니다.
- 시간적 제어(Temporal Control): 0.72 (베이스라인 ~0.43 대비).
- 음색 제어(Timbre Control): 0.78 (베이스라인 ~0.48 대비).
- 볼륨 제어(Volume Control): 0.75 (베이스라인 ~0.69 대비).
지각적 품질(Perceptual Quality): EchoVidia는 지각적 품질 점수에서 **12.5%**의 향상을 달성했습니다.
지시 이행(Instruction Adherence): 인간 평가에서 EchoVidia는 지시 이행도에서 3.80/5.0을 기록하며, 모델이 텍스트 지시를 무시하는 "시각적 지배 편향"을 효과적으로 제거했음을 보여주었습니다(베이스라인은 종종 2.60 미만 기록).
이벤트 인식(Event Awareness): Slow-Fast(SF) 전략은 사운드 이벤트 탐지 및 로컬라이제이션을 크게 향상시켰습니다. 예를 들어, Gemini-2.5 Pro 모델에서 SF는 재현율(Recall)을 0.66에서 0.83으로, 로컬라이제이션을 위한 IoU를 0.51에서 0.84로 높였습니다.

5. 의의 및 주장

본 논문은 EchoFoley와 EchoVidia가 거친 비디오 레벨 프롬프팅에서 미세한 이벤트 레벨 제어로의 전환을 나타낸다고 주장합니다. 기호적 표현과 느리게-빠르게 생각하기 추론 전략을 도입함으로써 다음을 가능하게 합니다:

분리된 제어(Disentangled Control): 다른 소리에 영향을 주지 않고 복잡한 장면 내의 특정 소리들을 격리하고 수정할 수 있는 능력.
충실한 지시 이행(Faithful Instruction Following): 시각적 지배를 줄여, 사용자가 요청한 대로 복잡한 다중 속성 편집(예: 피치, 볼륨, 타이밍을 동시에 변경)을 실행할 수 있게 합니다.
창의적 스토리텔링(Creative Storytelling): 이 프레임워크는 소리가 단순한 배경 레이어가 아니라, 인지된 이야기를 바꿀 수 있도록 편집 가능한 능동적인 서사 요소가 되는 "이야기로 형상화된 상상력(story-shaped imagination)"의 합성을 지원합니다 (예: 마법 같은 서사를 만들기 위해 고양이의 야옹 소리를 사자의 울음소리로 바꾸는 것).

저자들은 이 연구가 현실 세계의 멀티모달 풍부함을 높은 충실도와 제어 가능성으로 이해하고 재현할 수 있는 "옴니모달 생성 지능(omni-modal generative intelligence)"을 향한 단계라고 위치시킵니다.