⚡ electrical engineering

Vibrato Matching for Modulation Control and Blending in Sound Mixtures

이 논문은 음원들을 혼합하고 다중 음원의 인식을 줄이기 위해 신호 간의 비브라토 패턴을 억제한 후 전이시키는 비브라토 매칭 알고리즘을 소개하며, 이를 통해 음원 분리 시스템의 성능 또한 저하시킨다.

원저자: Jeremy Hyrkas

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

원저자: Jeremy Hyrkas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

소리의 세계에서 우리의 귀는 여러 악기가 동시에 같은 음을 연주하더라도 누가 무엇을 연주하고 있는지 구분해내는 데 매우 뛰어난 능력을 갖추고 있습니다. 이러한 능력은 음악가들이 지속되는 음에 자연스럽게 추가하는 미세하고 빠른 음정과 음량의 흔들림인 '비브라토'라는 섬세한 음악적 기법에 크게 의존합니다. 이 흔들림은 종종 감정을 표현하는 데 사용되지만, 뇌를 위한 실질적인 기능도 수행합니다. 두 음악가가 똑같은 방식으로 음을 흔들지는 않기 때문에, 이러한 미세한 차이는 고유한 지문 역할을 합니다. 두 대의 바이올린이 함께 연주하는 소리를 들을 때, 청자는 이 독특한 흔들림을 사용하여 두 목소리를 분리하고, 이를 두 개의 별개 소스로 인식합니다. 이 원리는 매우 신뢰할 수 있어서, 혼합된 오디오 신호를 분리하도록 설계된 컴퓨터 프로그램 또한 이 차이점을 이용해 뒤섞인 소리를 풀어냅니다.

캘리포포니아 대학교 샌디에이고 캠퍼스의 한 연구자는 이러한 차이점을 의도적으로 지워, 컴퓨터가 서로 다른 두 음원을 완벽하게 일치된 진동을 가진 것처럼 들리게 만드는 방법을 개발했습니다. 한 악기의 녹음본에서 자연스러운 흔들림을 제거한 다음, 두 번째 악기의 정확한 흔들림 패턴을 정교하게 입힘으로써, 연구자는 두 개의 별개 소리를 하나의 매끄러운 실체로 결합할 수 있는 시스템을 만들었습니다. 이 연구는 이러한 일치 작업이 이루어졌을 때, 컴퓨터 알고리즘이 두 개의 별개 음원을 식별하는 능력이 현저히 떨어진다는 것을 보여줍니다. 비브로 일치 신호가 인간 청자의 다중 음원 인지 능력을 감소시키는지 확인하기 위한 청취 테스트는 아직 수행되지 않았으나, 유사한 청취 테스트에서 영감을 얻은 음원 분리 알고리즘이 분리 능력이 저하됨을 보여준다는 사실은 인간 청자에게도 유사한 저하가 발생할 수 있음을 시사합니다. 이 연구는 이러한 미세한 변조를 제어함으로써, 음향 엔지니어들이 하이브리드 악기를 제작하거나 믹스 내에서 여러 연주자의 존재를 숨길 수 있으며, 자연스러운 분리 단서를 결합을 위한 도구로 바꿀 수 있음을 시사합니다.

과정은 대상 음원(예: 가수의 녹음)과 소스 음원(예: 색소폰의 녹음)에서 시작됩니다. 첫 번째 단계는 대상 녹음의 디지털 정화 작업입니다. 컴퓨터는 가수의 목소리를 분석하여 음정과 음량의 자연스러운 흔들림을 찾아낸 다음, 목소리가 완벽하게 안정될 때까지 매끄럽게 다듬어 자연스러운 비브라토를 완전히 제거합니다. 대상 신호에서 원래의 움직임이 제거되면, 시스템은 소스 신호로 넘어가 그 특유의 흔들림 패턴을 학습합니다. 시스템은 단순히 소리의 전체적인 형태를 복제하는 것이 아니라, 소스를 개별적인 음악적 톤과 그 사이의 배경 소음으로 분해합니다. 각 톤에 대해 시스템은 음량이 어떻게 상승하고 하락하는지를 정확히 계산하며, 배경 소음에 대해서는 다양한 주파수에 걸쳐 에너지가 어떻게 변화하는지를 매핑합니다.

이러한 상세한 패턴을 확보하면, 시스템은 이를 안정적인 대상 신호에 적용합니다. 시스템은 매끄럽고 흔들림 없는 목소리를 가져와서, 색소폰에 속했던 특정한 음량 변화와 음정 변화를 다시 더하며 변조하기 시작합니다. 결정적으로, 이는 일률적으로 적용되는 방식이 아닙니다. 시스템은 실제 색소폰이 그러하듯 목소리 내의 각 음악적 톤에 고유한 음량 흔들림을 적용하며, 또한 목소리의 배경 소음에 대해서는 별도의 복잡한 흔들림을 적용합니다. 이러한 세부적인 주의를 기울임으로써 결과물이 로봇처럼 들리지 않고 자연스럽게 들리도록 보장합니다. 최종 출력물은 원래 가수의 톤과 음정을 유지하면서도, 색소폰의 정확한 리듬과 역동적인 개성을 가지고 움직이는 목소리가 됩니다.

연구진은 서로 다른 두 개의 보컬 녹음을 섞어 이 방법을 테스트했습니다. 원래의 믹스에서는 가수들이 서로 다른 자연스러운 흔들림 패턴을 가지고 있었기에 소리가 거칠고 불균형했으며, 컴퓨터 프로그램은 두 목소리의 움직임이 뚜렷했기 때문에 쉽게 분리할 수 있었습니다. 그러나 연구진이 알고리즘을 사용하여 가수들이 똑같은 방식으로 진동하게 만들었을 때, 결과는 극적으로 변했습니다. 혼합된 소리는 매끄럽고 통일되어, 마치 완벽한 일관성을 가지고 두 번 녹음된 한 명의 가수가 부르는 것처럼 들렸습니다. 동일한 컴퓨터 프로그램이 이 새로운 매칭 믹스에서 목소리를 분리하려고 시도했을 때, 프로그램은 두 음원을 구별하지 못하고 완전히 실패했습니다. 소리의 시각적 표현에서도 두 목소리는 하나의 단단한 선으로 합쳐져, 단일한 연주와 구별할 수 없는 상태를 보여주었습니다.

이 효과는 바순과 베이스 오보에처럼 매우 다른 악기들을 섞었을 때도 유효했습니다. 매칭 과정 전에는 컴퓨터가 서로 다른 흔들림 패턴을 바탕으로 두 악기를 분리할 수 있었습니다. 하지만 알고리즘이 두 악기에 동일한 비브라토를 강제로 부여한 후에는, 분리에 실패하였고 두 악기는 하나의 혼합된 실체처럼 들렸습니다. 이 연구는 음색과 같은 다른 요소들이 우리가 소리를 듣는 방식에 여전히 역할을 하지만, 이러한 특정 흔들림 패턴을 일치시키는 것이 여러 음원의 존재를 숨기는 강력한 도구임을 시사합니다. 연구진은 이 기술이 새로운 하이브리드 악기 사운드를 설계하거나, 청자가 소리를 그룹화하는 방식을 제어하여, 각 부분이 하나처럼 움직이게 함으로써 음악적 구성의 복잡성을 효과적으로 숨기는 데 사용될 수 있다고 제안합니다.

기술 요약: 사운드 믹스 내 변조 제어 및 블렌딩을 위한 비브라토 매칭

문제 정의
여러 음악적 소스가 포함된 사운드 믹스에서, 뚜렷한 비브라토 패턴은 청취자와 소스 분리 알고리즘이 독주 중인 개별 악기를 구별하는 데 중요한 청각적 단서 역할을 한다. 기존 기술들은 비브라토를 억제하거나 단순한 진폭 변조(AM) 엔벨로프를 전이하는 것은 가능하지만, 한 신호의 복잡한 변조 패턴(주파수 변조[FM] 및 AM 모두)을 다른 신호에 정밀하게 일치시키는 방법은 부족한 실정이다. 본 논문은 타겟 신호의 기존 비브라토를 억제한 후 소스 신호의 특정 변조 특성을 부여함으로써, 믹스 내 여러 소스의 지각적 분리도를 낮출 수 있는 포괄적인 "비브라토 매칭" 알고리즘의 필요성을 다룬다.

방법론
제안된 비브라토 매칭 알고리즘은 비브라토 억제와 비브라토 전이라는 두 가지 주요 단계로 작동한다.

비브라토 억제:
타겟 신호 $t(n)$ 은 새로운 변조 패턴과의 간섭을 방지하기 위해 기존 비브라토를 제거하는 전처리 단계를 거친다.

FM 억제: 순시 기본 주파수 $\omega_i(n)$ 을 추출한다. 비브라토 필터(일반적인 비브라토 속도보다 낮은, 예: 2 Hz 미만의 컷오프를 가진 고차 FIR 저역 통과 필터)를 적용하여 매끄러운 주파수 궤적을 도출한다. 재귀적 지연(recursive delay)을 통해 구축된 시변 디모듈레이션 지연 라인이 신호에 적용되어 피치 변조(FM)를 제거한다.
AM 억제: 신호의 스펙트로그램을 생성한다. 각 주파수 빈(bin)에 대해 시간 축( $m$ )을 따라 비브라토 필터를 적용하여 크기 스펙트로그램을 매끄럽게 만든다. 원본 스펙트로그램을 매끄러워진 스펙트로그램으로 나눈 비율을 사용하여 역 STFT(Inverse STFT)를 통해 신호를 재합성하며, 그 결과 비브라토로 인한 FM 및 AM이 없는 신호를 얻는다.

비브라토 전이:
소스 신호 $s(n)$ 의 변조 패턴을 추출하여 비브라토가 억제된 타겟에 적용한다.

배음 AM 전이: 소스 신호를 대역 통과 필터를 사용하여 개별 배음으로 분해한다. 각 배음의 제곱평균제곱근(RMS) 엔벨로프를 계산하고, 비브라토로 인한 AM을 제거하기 위해 매끄럽게 처리한 뒤, 이를 매끄러워진 엔벨로프로 나누어 시변 AM 엔벨로프를 고립시킨다. 이 특정 AM 엔벨로프들을 타겟 신호의 상응하는 배음에 적용한다.
배음 FM 전이: 소스의 순시 기본 주파수를 추출하고 매끄럽게 처리한다. 매끄러워진 주파수와 원본 주파수의 차이로부터 시변 변조 지연 함수를 도출한다. 이 지연을 타겟의 배음에 적용하여 소스의 FM 패턴을 부여한다.
잔여 AM 전이: 비조화(non-harmonic) 잔여 성분이 주파수 의존적 AM을 가진다는 점을 인식하여, 대역 차단 필터를 사용하여 소스의 잔여 성분을 분리한다. 잔여 성분의 STFT로부터 스펙트럴 엔벨로프를 도출하고 매끄럽게 처리한 뒤, 이를 스펙트럴 AM 엔벨로프로 변환한다. 이 엔벨로프를 보간하여 타겟의 잔여 신호에 적용한다.
재구성: 변조된 배음들과 변조된 잔여 성분을 합산하여 최종 출력 신호 $t^*(n)$ 을 생성하며, 이는 타겟의 음색을 유지하면서 소스의 비브라토 특성을 갖게 된다.

주요 기여

비브라토 매칭 알고리즘: 비브라토 억제와 고급 비브라토 전이 메커니즘을 결합한 통합 프레임워크를 도입하였다.
향상된 AM 전이: 단일 글로벌 AM 엔벨로프를 적용했던 기존의 전이 방법과 달리, 본 연구는 배음별 및 스펙트럴 엔벨로프별로 특화된 AM 전이를 제안한다. 이 접근 방식은 AM 패턴이 배음과 비조화 잔여 성분 전반에 걸쳐 다양하게 나타나는 자연스러운 비브라토의 복잡한 특성을 더 잘 모델링한다.
변조 제어: 시스템은 타겟 신호의 비브라토를 소스에 맞게 정밀하게 변경할 수 있는 메커니즘을 제공하며, 이는 미흡한 연주를 수정하거나 새로운 악기 특성을 합성하는 데 유용하다.

결과 및 평가
본 논문은 스펙트로그램 분석과 소스 분리 실험을 통해 알고리즘의 효용성을 입증한다.

신호 수정: 서로 다른 보컬리스트 간, 그리고 악기 클래스 간(예: 바이올린 비브라토를 색소폰으로 전이)의 비브라토 매칭 사례를 통해, 목관 악기에 현악기 같은 비브라토를 입힌 하이브리드 사운드를 성공적으로 생성함을 보여준다.
사운드 블렌딩: 서로 다른 비브라토 패턴을 가진 두 신호를 섞으면 "거친 맥놀이(rough beating)"와 뚜렷한 부분음이 나타난다. 비브라토 매칭 후에는 혼합물이 시각적 및 청각적으로 일관된 비브라토를 가진 단일 소스 또는 더블 트래킹된 연주처럼 보여, 여러 악기의 존재를 모호하게 만든다.
소스 분리 성능 저하: 알고리즘은 변조 패턴에 의존하여 유니슨 신호를 분리하는 소스 분리 알고리즘인 Common Fate Transform(CFT)을 대상으로 테스트되었다.
- 두 보컬리스트 또는 바순과 베이스 오보에의 유니슨 믹스에서, 서로 다른 비브라토 패턴을 가질 때 CFT는 소스를 성공적으로 분리하였다.
- 분리 전 비브라토 패턴을 일치시켰을 때, CFT의 성능은 크게 저하되어 소스를 분리하지 못했으며, 출력된 신호는 시각적 및 구조적으로 하나의 신호처럼 나타났다.

의의 및 주장
본 논문은 비브라토 매칭이 오디오 엔지니어링을 위한 기술적 도구이자 창의적인 사운드 디자인 도구로서 기능한다고 주장한다.

엔지니어링 응용: 비브라토가 포함된 연주의 "더블 트래킹"을 수행할 때, 일관성을 확보하여 지각적 불일치를 제거하는 방법을 제공한다.
창의적 응용: 하이브리드 악기 사운드(예: 바이올린 비브라토를 가진 색소폰)의 생성을 가능하게 하며, 게슈탈트 법칙인 공통 운명(Common Fate)에 기반한 "음향적 그룹화" 조작을 허용한다.
지각적 함의: 본 논문은 인간의 지각 변화를 확인하기 위한 공식적인 청취 테스트가 아직 수행되지 않았음을 언급하지만, CFT 알고리즘의 성능 저하는 비브라토 패턴을 일치시키는 것이 유니슨 믹스에서 다중 소스 탐지 능력을 감소시킨다는 것을 시사한다. 저자는 이 기술이 여러 악기의 존재를 가려, 이들을 인지적으로 하나의 사운드 소스로 효과적으로 블렌딩하는 데 사용될 수 있다고 결론짓는다.

기술 요약: 사운드 믹스 내 변조 제어 및 블렌딩을 위한 비브라토 매칭

유사한 논문