Time delay embeddings to characterize the timbre of musical instruments using Topological Data Analysis: a study on synthetic and real data

본 연구는 오디오 신호의 시간 지연 임베딩에 위상 데이터 분석을 적용하는 것, 특히 기본 주기의 분수와 관련된 지연을 사용하는 것이 화성 구조를 드러내고 합성 및 실제 데이터 모두에서 악기를 구별함으로써 음악적 음색을 효과적으로 특징화한다는 것을 입증한다.

핵심

바이올린과 플루트가 정확히 같은 음을 정확히 같은 볼륨으로 연주하고 있다고 상상해 보세요. 여러분의 귀에는 두 소리가 완전히 다르게 들릴 것입니다. 이 "소리의 색깔"을 **음색(Timbre)**이라고 부릅니다.

오랫동안 과학자들은 소리를 주파수의 평면적인 지도(마치 피아노 롤처럼)로 바라보는 도구들을 사용하여 음색을 측정하려고 노력해 왔습니다. 하지만 이 논문의 저자들은 그러한 방식이 소리의 숨겨진 복잡한 "형태"를 놓치고 있다고 주장합니다. 그들은 **위상 데이터 분석(Topological Data Analysis, TDA)**을 사용하여 새로운 방식으로 듣는 방법을 제안합니다.

다음은 일상적인 비유를 사용하여 그들이 무엇을 했고 무엇을 발견했는지 쉽게 풀어낸 내용입니다.

1. 문제점: 소리는 3D인데, 우리는 2D만 보고 있었다

음파를 종이 위의 구불구불한 선이라고 생각해 보세요. 전통적인 방식은 그 선이 얼마나 높거나 낮은지만을 봅니다. 하지만 저자들은 "그것만으로는 부족하다. 우리는 선이 다시 자기 자신에게 돌아올 때 만드는 '모양'을 봐야 한다"라고 말합니다.

이를 위해 그들은 **시간 지연 임베딩(Time Delay Embedding)**이라는 기법을 사용합니다.

• 비유: 트랙 위를 달리는 러너를 관찰한다고 상して 봅시다. 만약 매 초마다 사진을 찍는다면, 그저 점들의 선으로만 보일 것입니다. 하지만 러너와 그가 1초 전에 어디에 있었는지를 함께 찍는다면, 그가 원을 그리며 달리는지, 8자 모양을 그리는지, 아니면 직선으로 달리는지를 알아낼 수 있습니다 있습니다.
• 논문의 주장: 저자들은 음파를 가져와서 그것의 "지연된(delayed)" 버전과 함께 도식화함으로써, 단순한 구불구불한 선을 복잡한 3D 형태(즉, "점 구름(point cloud)")로 변환합니다.

2. 도구: 구멍의 개수 세기

이 3D 형태를 만든 후, TDA를 사용하여 그 안에 있는 "구멍"의 개수를 셉니다.

• 비유: 소리의 형태가 찰흙으로 만들어졌다고 상상해 보세요.
  • 속이 꽉 찬 공은 구멍이 없습니다.
  • 도넛은 구멍이 하나 있습니다.
  • 프레첼은 구멍이 세 개 있습니다.
• 논문의 주장: 순수한 소리(완벽한 사인파)는 하나의 커다란 "구멍"을 가진 단순한 모양(도넛 같은 형태)을 만듭니다. 하지만 실제 악기는 소리에 추가적인 "잔물결(harmonics)"을 가지고 있습니다. 이러한 잔물결은 찰흙의 모양을 변화시켜, 새로운 구멍을 만들거나 기존 구멍의 크기를 변화시킵니다. TDA는 이 구멍들을 세어 악기들을 구별해 냅니다.

3. 핵심 요소: "지연(Delay)" 설정

이 논문의 가장 큰 발견은 어떻게 "지연된 사진"을 찍느냐가 매우 중요하다는 것입니다. 이것은 마치 회전하는 선풍기 사진을 찍는 것과 같습니다.

• 잘못된 속도로 사진을 찍으면, 선풍기는 형체를 알 수 없는 흐릿한 덩어리로 보입니다.
• 적절한 속도로 찍으면, 선풍기 날개의 개별적인 모습을 볼 수 있습니다.

저자들은 어떤 "지연(delays)"이 가장 흥미로운 형태를 드러내는지 확인하기 위해 다양한 지연 값을 테스트했습니다. 그들은 두 가지 "마법의 설정"을 찾아냈습니다.

• 설정 A: 주기의 절반 ($T_0/2$)

  • 역할: 이 설정은 거울과 같습니다. 만약 소리가 완벽한 수학적 파동이라면, 모양은 직선으로 붕괴됩니다(구멍이 없음). 하지만 악기가 "정수(integer)" 배음(완벽한 정수 배의 오버톤)을 더한다면, 선이 끊어지며 새로운 구멍을 형성합니다.
  • 결과: 이 설정은 완벽하고 수학적인 배음을 포착하는 데 탁 thấy 좋습니다. 즉, 순수한 톤과 깨끗한 정수 기반의 배음을 가진 톤 사이의 차이를 강조합니다.

• 설정 B: 주기의 4분의 1 ($T_0/4$)

  • 역할: 이 설정은 소리의 "지저분하거나(messy)" "불완전한(imperfect)" 부분에 더 민감합니다.
  • 결과: 이 설정은 비정수(non-integer) 배음과 노이즈를 포착하는 데 탁월합니다. 실제 악기는 종종 소리에 미세한 불완전함이나 "거칠기(roughness)"를 가지고 있습니다. 이 설정은 이러한 불완전함이 뚜렷한 위상적 특징으로 나타나게 합니다.

4. 실험: 합성음 vs 실제 소리

저자들은 이를 두 가지 방식으로 테스트했습니다.

1. 가짜 소리 (Synthetic): 그들은 완벽한 사인파를 만든 뒤, 특정 "잔물결(harmonics)"이나 "정적(noise)"을 추가하여 컴퓨터 소리를 구축했습니다.
   • 발견: 그들은 "절반 주기"와 "4분의 1 주기" 지연 사이를 전환함으로써, 완벽한 잔물결이 있는 소리와 지저분한 정적(static)이 있는 소리를 수학적으로 구분할 수 있음을 증명했습니다. 전통적인 주파수 도구들은 이러한 미묘한 차이를 놓치는 경우가 많았습니다.
2. 실제 소리: 이 방법론을 기타, 플루트, 바이올린 등 실제 악기 데이터베이스에 적용했습니다.
   • 발견: 이 방법은 효과적이었습니다. 예를 들어, 매우 순수한 소리를 내는 플루트는 "절반 주기" 설정에서 변화가 거의 없었는데, 이는 추가적인 잔물결이 거의 없음을 의미합니다. 반면, 복잡한 소리를 내는 기타는 두 설정 모두에서 큰 변화를 보였으며, 이는 기타가 완벽한 배음과 지저분한 배음 모두로 가득 차 있음을 입증했습니다.

요-약

이 논문은 소리 파동을 특정 지연을 사용하여 시간적으로 펼침으로써, 소리를 3D 형태로 바꿀 수 있다고 주장합니다. 그 형태 속의 구멍을 세는 데 의하면, 소리의 "색깔"을 수학적으로 기술할 수 있습니다.

• 음의 길이의 절반만큼 지연을 사용하면 완벽하고 수학적인 배음을 찾을 수 있습니다.
• 음의 길이의 4분의 1만큼 지연을 사용하면, 악기를 그 자체로 보이게 만드는 지저분하고 독특하며 노이즈가 섞인 부분을 찾을 수 있습니다.

이 방식은 단순히 어떤 주파수가 존재하는지를 보는 것이 아니라, 그 주파수들이 어떻게 상호작용하여 고유한 소리의 형태를 만들어내는지를 바라보는 것입니다.

기술 요약

기술 요약: 음색 특성화를 위한 위상 데이터 분석 기반 시간 지연 임베딩

문제 정의
음색(Timbre)은 동일한 음높이와 크기를 공유하는 음원들을 구별할 수 있게 해주는 근본적인 음향적 속성으로, 음악 정보 검색 및 화자 분리에서 결정적인 역할을 한다. 전통적인 분석 방식은 주파수 기반 지표(예: 날카로움, 스펙트럼 평탄도)나 머신러닝 특징 추출에 의존한다. 그러나 이러한 방법들은 정수 조화파(기본 주파수의 정확한 배수)와 비정수 조화파(튕기는 효과, 공기 흐로 변화 또는 노이즈로 인해 발생하는 것) 사이의 복잡한 상호작용에서 기인하는 음색의 지각적 풍부함을 포착하는 데 어려움을 겪는 경우가 많다. 위상 데이터 분석(TDA)은 데이터의 "형태"를 추출하고 순환(cycles)이나 빈 공간(voids)과 같은 구조적 특성을 식별하는 엄격한 프레임워크를 제공하지만, 음색에 대한 적용은 제한적이었다. 주요 장벽은 1차원 오디오 신호를 TDA에 적합한 고차원 점 구름(point cloud)으로 효과적으로 표현하기 위한 기준, 특히 시간 지연 임베딩 파라미터의 선택 기준이 확립되지 않았다는 점이다.

방법론
본 연구는 시간 지연 임베딩과 위상 데이터 분석을 결합하여 음색 구조를 특성화하는 프레임워크를 제안한다. 핵심 방법론은 다음과 같다:

1. 시간 지연 임베딩(Time Delay Embedding): 1차원 오디오 신호 $x_t$는 임베딩 벡터 $X_d(x_t; \tau) = (x_t, x_{t+\tau}, \dots, x_{t+(d-1)\tau})$를 사용하여 고차원 공간으로 재구성된다. 본 연구는 계산 비용과 특징 추출 사이의 균형을 맞추기 위해 2차원 임베딩($d=2$)에 집중한다.
2. 위상적 특징 추출: 임베딩된 점 구름을 사용하여 필터링된 심플리셜 복합체(특히 Vietoris–Rips 복합체)를 구축한다. 지속성 호몰로지(Persistent homology)를 적용하여 베티 수($\beta_0, \beta_1$)를 계산하며, 이는 연결 성분과 순환(구멍)의 개량을 정량화한다.
3. 음색의 정량화: 음색의 차이를 정량화하기 위해, 본 연구는 분석된 신호의 지속성 다이어그램과 동일한 기본 주파수를 가진 순수 사인파의 지속성 다이어그램 사이의 와서스테인 거리(Wasserstein distance)를 위상적 특징 $m$으로 정의한다. 이 메트릭은 조화 성분에 의해 발생하는 구조적 편차를 측정한다.
4. 합성 및 실제 데이터 검증:
   • 합성 데이터: 제어된 조화 강도($a \in [0,1]$)와 다양한 조화 유형(삼각파/사각파와 같은 정수 조화파, 그리고 유색 노이즈와 같은 비정수 조화파)을 가진 신호를 생성하였다.
   • 실제 데이터: NSynth 데이터셋(1,006개의 악기)을 사용하여 진폭 피크를 중심으로 하는 네 개의 기본 주기를 나타내는 세그먼트를 분석하였다.

주요 기여 및 결과
본 연구는 시간 지연 파라미터 $\tau$가 조화 구조의 탐지에 어떻게 영향을 미치는지 체계적으로 조사한다:

• 시간 지연에 대한 민감도: 임베딩 공간의 기하학적 구조와 그에 따른 위상적 특징은 $\tau$에 매우 민감하다. 모든 신호 유형에 적용되는 단일 최적 지연은 존재하지 않으며, 오히려 특정 지연이 특정 조화 특성의 탐지를 강화한다.
• 정수 vs. 비정수 조화파:
  • $\tau = T_0/2$ (반 기본 주기): 이 지연은 정수 차수 조화파를 포함하는 신호에 특히 효과적이다. 순수 사인파의 경우, 이 지연은 직선 궤적을 생성한다(구멍이 없음). 정수 조화파가 추가되면 이 대칭성이 깨지며, 지속성 호몰로지에 의해 포착되는 뚜렷한 구멍 구조를 생성한다.
  • $\tau = T_0/4$ (사분 기본 주기): 이 지연은 비정수 조화파(노이즈 성분)를 탐지하는 데 더 효과적이다. 순수 사인파는 이 지연에서 원형 궤적을 형성한다. 비정수 조화파가 추가되면 이 원형 구조를 방해하여 구멍 구조의 지속성을 감소시킨다.
• 파형의 구별: 본 방법은 주파수 스펙트럼상으로는 유사해 보이는 파형(예: 약간 디튜닝된 조화파를 가진 사인파 vs. 순수 정수 조로파)을 성공적으로 구별한다. TDA는 스펙트럼 날카로움과 같은 고전적 척도가 놓칠 수 있는 차이를 위상적 구멍의 수와 지속성의 변화로 포착한다.
• 실제 세계 적용: NSynth 데이터셋에 적용했을 때, 본 방법은 악기 카테고리 전반에 걸쳐 뚜렷한 위상적 특징 값의 분포를 드러냈다. 예를 들어, 플루트는 $\tau = T_0/2$에서 낮은 값을 보였고(정수 조화파가 적음을 의미), 기타는 두 지연 모두에서 높은 값을 보여 정수 및 비정수 조화파가 풍부하게 혼합되어 있음을 시사했다.

의의 및 주장
본 논문은 제안된 방법이 소리 데이터의 내재적 위상을 활용함으로써 조화 분석에 대한 새로운 관점을 제공한다고 주장한다. 주요 의의는 다음과 같다:

1. 파라미터 튜닝의 중요성: 시간 지연의 선택은 임의적인 것이 아니라, 어떤 조화적 특징(정수형 vs. 비정수형)을 위상 분석에서 강조할지를 결정한다.
2. 향가된 민감도: 최적화된 시간 지연과 결합된 TDA는 고전적인 주파수 영역 기술자로는 정량화하기 어려운 조화 성분의 미묘한 구조적 차이를 드러낼 수 있다.
3. 실행 가능성: 이 접근법은 합성 신호와 실제 음악 악기 소리 모두에 효과적이다.

저자들은 본 방법이 소리의 위상을 탐구하는 새로운 길을 열어주지만, 계산 비용 문제를 해결하고, 복잡한 소리(예: 화음)를 위한 고차원 임베딩으로 프레임워크를 확장하며, 더 포괄적인 평가를 위해 추가적인 지속성 통계(예: 평균 수명)를 통합하는 후속 연구가 필요하다고 겸허히 결론지었다. 이 연구는 기존의 머신러닝 파이프라인을 대체하려는 것이 아니라, 구조적 특징 추출을 위한 보완적 도구를 제공하는 것을 목적으로 한다.