Conditional Flow Matching for Visually-Guided Acoustic Highlighting

당신이 영화의 한 장면을 보고 있다고 상상해 보세요. 한 캐릭터가 중요한 연설을 하고 있습니다. 당신은 그들의 입술이 움직이는 것을 볼 수 있고, 얼굴이 주목의 중심에 있지만, 오디오는 엉망입니다. 배경 음악이 목소리를 집어삼키고 있고, 지나가는 자동차 소리가 대화 소리보다 더 크게 들립니다. 이것이 바로 이 논문이 해결하고자 하는 문제입니다. 이것은 **시각 유도형 음향 강조(Visually-Guided Acoustic Highlighting)**라고 불립니다. 목표는 오디오를 자동으로 "리믹스"하여, 당신이 보는 것과 듣는 것이 일치하도록 만드는 것입니다.

다음은 저자들이 일상적인 비유를 사용하여 이 문제를 어떻게 해결했는지에 대한 간단한 설명입니다.

기존 방식: "일률적인" 번역가

기존에 컴퓨터는 **판별 모델(discriminative model)**이라는 방법을 사용하여 이 오디오를 수정하려고 시도했습니다. 이것은 마치 한 문장을 다른 언어로 번역할 때 오직 단 하나의 정답만 존재한다고 믿는 엄격한 번역가와 같습니다.

문제는 오디오 리믹싱이 이와 같지 않다는 점입니다. 영상에서 사람이 말하고 있다고 해서, 배경 소음 대비 목소리의 적절한 볼륨 레벨이 단 하나만 존재하는 것은 아닙니다. "좋은" 버전은 여러 개가 존재할 수 있습니다. 기존의 컴퓨터 모델들은 가능한 답이 여러 개임에도 불구하고 단 하나의 완벽한 답만을 찾으려 했기 때문에 혼란을 겪었습니다. 그 결과 음악을 너무 줄이거나 목소리를 충분히 키우지 못하는 등의 실수를 자주 범했습니다.

새로운 방식: "흐르는 강물" (Flow Matching)

저자들은 단 하나의 정답을 찾는 것을 멈추고, 대신 **생성 모델링(generative modeling)**을 사용하는 방식으로 전환했습니다. 그들은 조건부 흐름 매칭(Conditional Flow Matching) 기법을 사용했습니다.

나쁜 오디오(엉망인 믹스)를 늪에 갇힌 배라고 하고, 좋은 오디오(선명한 믹스)를 잔잔하고 탁 트인 대양에 있는 배라고 상상해 보세요.

• 목표: 컴퓨터는 늪에서 대양으로 배를 안내할 경로를 학습해야 합니다.
• 방법: 목적지로 바로 뛰어드는 대신, 컴퓨터는 오디오를 나쁜 상태에서 좋은 상태로 단계별로 부드럽게 밀어주는 "조류(vector field)"를 학습합니다. 이는 마치 진흙투성이의 근원에서 맑은 호수로 흐르는 강물과 같습니다.

그들이 해결한 두 가지 큰 문제

이 "강물" 아이디어에도 불구하고, 컴퓨터는 두 가지 주요 장애물에 직면했으며 저자들은 기발한 기술로 이를 해결했습니다.

1. "길을 잘못 드는" 문제 (Rollout Loss)

문제점: 단계별 여정에서는 첫 번째 단계에서 아주 작은 실수(예: 배를 오른쪽 대신 왼쪽으로 살짝 돌리는 것)를 하면, 그 오류가 매 단계마다 점점 커집니다. 마지막 지점에 도달했을 때, 당신은 이미 경로에서 수 마일이나 벗어나 있을 수 있습니다. 오디오의 관점에서 보면, 컴퓨터가 첫 1초 동안 어떤 소리를 키워야 할지 잘못 예측하면 최종 결과물은 끔찍하게 들립니다.

해결책: 저자들은 **롤아웃 손실(Rollout Loss)**을 도입했습니다.

• 비유: 코치가 러너를 훈련시킨다고 상상해 보세요. 기존 방식에서 코치는 결승선에서만 러너의 자세를 확인했습니다. 하지만 이 새로운 방식에서 코치는 연습 중에 러너에게 경주 전체를 뛰게 한 뒤, 다시 처음부터 시작하여 스스로의 실수를 바로잡도록 강제합니다.
• 작동 원리: 컴퓨터는 나쁜 오디오에서 좋은 오디오로 가는 전체 여정을 시뮬레이션합니다. 그런 다음 최종 결과를 보고 "잠깐, 이건 좀 이상한데"라고 말합니다. 그리고 이 피드백을 사용하여 마지막 단계뿐만 아니라 전체 여정에 대한 경로를 조정합니다. 이는 작은 오류들이 쌓이는 것을 방지하고 오디오가 올바른 궤도를 유지하도록 합니다.

2. "눈을 가린" 문제 (Conditioning Module)

문제점: 오디오를 수정하려면 컴퓨터는 무엇을 수정해야 할지 알아야 합니다. 컴퓨터는 영상을 보고 이를 결정합니다. 하지만 기존 시스템에서는 컴퓨터의 "시각" 부분과 "오디오" 부분이 분리되어 있었습니다. 시각 부분은 단순히 "사람이 말하고 있다"라고 알려준 뒤 그 메모를 오디오 부분에 전달할 뿐이었습니다. 그러면 오디오 부분은 "좋아, '사람이 말한다'는 게 목소리를 키워야 한다는 뜻인가, 아니면 음악을 조절해야 한다는 뜻인가?"를 스스로 파악해야 했습니다. 이는 마치 눈을 가린 요리사가 메뉴 설명을 읽고 음식의 재료를 추측하려는 것과 같았습니다.

해결책: 저자들은 **교차 모달 어댑터(Cross-Modal Adapter)**를 구축했습니다.

• 비유: 요리사에게 메뉴만 주는 대신, 요리사가 메뉴를 보는 동안 음식의 맛을 살짝 맛볼 수 있게 해준 것입니다.
• 작동 원리: 저자들은 "시각" 뇌와 "오디오" 뇌를 초기 단계부터 직접 연결했습니다. 이제 컴퓨터는 영상을 볼 때 오디오의 맥락을 동시에 "듣게" 됩니다. 이를 통해 시각 부분은 "사람이 말하고 있고, 목소리가 들리니, 어떤 소리를 키워야 할지 정확히 알겠다"라고 말할 수 있습니다. 이로 인해 결정이 훨씬 더 날카롭고 정확해졌습니다.

결과

저자들은 자신들의 새로운 시스템(VisAH-FM)을 기존 방식들과 테스트했습니다.

• 점수: 인간이 어떤 오디오가 더 나은지 판단하는 테스트에서 압도적으로 높은 성적을 거두었습니다.
• 느낌: 새로운 시스템은 영상과 훨씬 더 자연스럽고 일치하는 오디오를 만들어냅니다. 단순히 소리를 크게 만드는 것이 아니라, 장면을 이해합니다.
• 제어: 시스템이 단계별로 작동하기 때문에, 사용자는 실제로 얼마나 많은 "강조"를 할지 제어할 수 있습니다. 이는 마치 목소리를 얼마나 키울지 결정하고, 과정 중 어느 지점에서든 멈출 수 있는 볼륨 노브와 같습니다.

요약

요약하자면, 이 논문은 다음과 같이 말합니다: "오디오에 단 하나의 완벽한 정답이 있다고 강요하지 마세요. 대신, 오디오가 나쁜 상태에서 좋은 상태로 강물처럼 흐르도록 컴퓨터를 가르치세요. 하지만 강물이 길을 잃지 않도록, 컴퓨터가 스스로 실수를 바로잡으며 전체 여정을 연습하게 하고, 눈과 귀가 처음부터 서로 대화할 수 있게 하세요."

그 결과, 엉망인 영상 오디오를 자동으로 수정하는 더 똑똑하고 신뢰할 수 있는 방법이 탄생했습니다.