💻 computer science

Tonnetz-Driven Graph Wedgelet for Harmonic Complexity Reduction in Music Scores

본 논문은 음악적 요소들의 이종 그래프를 구축하고, 6차원 토네츠(Tonnet) 임베딩을 기반으로 음표들을 웨지(wedge)로 분할하는 적응형 탐욕 알고리즘을 통해 피아노 서브그래프를 압축함으로써, 화성적 관계를 보존하면서도 단순화되고 연주 가능한 악보를 생성하여 기호 음악 악보의 화성적 복잡성을 줄이는 방법을 제안한다.

원저자: Emmanuel Caronna, Elisa Francomano, Silvia Licciardi

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Emmanuel Caronna, Elisa Francomano, Silvia Licciardi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 음악을 형상화한 거대하고 정교한 레고 성을 가지고 있다고 상상해 보세요. 각각의 브릭은 하나의 음표이며, 모두 특정한, 복잡한 패턴으로 쌓여 있습니다. 이제 당신은 이 성의 '영혼'을 잃지 않으면서, 주머니에 들어갈 정도로 크기를 줄이고 싶습니다. 단순히 무작정 부술 수는 없습니다. 그러면 더 이상 성처럼 보이지 않을 테니까요. 당신은 브릭들을 묶는 똑똑한 방법이 필요합니다. 그래야 다시 재조립했을 때, 원래와 똑같이 보이고 들리면서도 더 단순해진 형태가 될 수 있기 때문입니다.

이것이 바로 이 논문이 하는 일입니다. 다만 레고 대신 악보를 사용하고, 손 대신 그래프라는 영리한 수학적 도구를 사용합니다.

문제점: 너무 많은 브릭, 부족한 공간

피아노 반주가 포함된 악보, 특히 가수가 노래할 때 뒤따르는 피아노 파트는 반복이 매우 많습니다. 노래 속에서 피아노가 화려하게 굴러가는 패턴을 계속해서 연주한다고 생각해 보세요. 컴퓨터에게 이 굴러가는 패턴 속의 모든 개별 음표는 각각 별개의, 고유한 브릭입니다. 이는 거대하고 무질서한 "그래프"(연결 지도)를 만들어냅니다.

저자들은 기존의 음악 단순화 방식이 3D 조각상을 평면적인 종이 한 장으로 펼치려는 시도와 같다고 주장합니다. 기존 방식들은 음표 사이의 음악적 관계를 무시하거나, 음악을 단순한 소리의 목록처럼 취급하여, 음악을 "옳게" 들리게 만드는 깊은 화성적 연결 고리를 놓쳤습니다.

해결책: "하모니 지도" (Tonnetz)

이를 해결하기 위해 연구진은 Tonnetz라고 불리는 특별한 지도를 만들었습니다. 표준 시계의 숫자가 1부터 12까지 음표를 나타내는 일반적인 시계를 상상해 보세요. 일반적인 시계에서는 1과 2 사이의 거리와 1과 7 사이의 거리가 같습니다. 하지만 음악에서 1과 7(완전 5도)은 절친한 사이인 반면, 1과 2는 남남입니다.

저자들은 이 지도의 6차원 버전을 사용합니다. 이것은 음악적으로 잘 어울리는 음들은 물리적으로 가까이 있고, 서로 충돌하는 음들은 멀리 떨어져 있는, 마법 같은 다층 구조의 놀이터라고 생각하면 됩니다. 이는 컴퓨터가 단순히 음의 순서가 아니라 '화성'을 이해하도록 보장하는 데 매우 중요합니다.

마법의 기술: "웨지(Wedge)" 슬라이서

이것이 그들이 발명한 핵심, 바로 **그래프 웨지릿(Graph Wedgelet)**입니다.

거대하고 무질서한 찰흙 덩어리(음악 그래프)를 가지고 있다고 상상해 보세요. 당신은 이 덩어리를 **웨지(wedge, 쐐기 모양)**라고 불리는 크고 매끄러운 덩어리로 깎아내고 싶습니다. 목표는 각 덩어리를 너무 균일하게 만들어, 그 안의 음표들의 평균값이라는 단 하나의 숫자로 전체 덩어리를 설명할 수 있게 만드는 것입니다.

논문은 "완전 적응형 그리디(Fully Adaptive Greedy)" 알고리즘을 소개합니다. 이는 컴퓨터가 "뜨겁다-차갑다(Hot and Cold)" 게임을 하는 것과 같은 세련된 방식입니다.

컴퓨터는 전체 찰흙 덩어리를 살펴봅니다.
그리고 묻습니다. "지금 이 덩어리를 반으로 자른다면, 어떤 방식으로 잘라야 두 개의 새로운 덩어리가 서로 가장 비슷해질까?"
그 다음 자릅니다.
이 과정을 재귀적으로 반복하여, 원하는 수의 덩어리가 생길 때까지 덩어리를 계속 나눕니다.

이 "자르기"는 무작위가 아닙니다. 컴퓨터는 Tonnetz 지도를 사용하여 묶인 음들이 화성적으로 연관되어 있는지 확인합니다. 만약 한 덩어리에 C 메이저 코드가 포함되어 있다면, 컴퓨터는 이를 하나로 묶어 유지합니다. C와 함께 있으면 아주 어울리지 않는 음을 실수로 묶어버리는 일은 없을 것입니다.

결과: 단순하고 연주 가능한 악보

음악이 이러한 "웨지"들로 잘게 쪼개지면, 컴퓨터는 웨지 안의 모든 음표를 그 그룹의 평균 음으로 대체합니다.

이렇게 생각해보세요. 만약 어떤 웨지에 50개의 음표가 있고 이들이 모두 C 메이저 코드의 변형이라면, 컴퓨터는 이렇게 말합니다. "좋아, 이 구간 전체에 대해서는 그냥 '평균적인 C'를 연주하자."

논문은 이 방식이 훌륭하게 작동함을 보여줍니다. 시뮬레이션에서 연구진은 세 명의 작곡가로부터 얻은 70개의 실제 음악 악보를 가져왔습니다. 그들은 음악을 얼마나 축소(압축률)할 수 있는지 테스트했습니다.

모든 것(100%의 음표)을 유지했을 때, 결과는 완벽했습니다.
음악을 대폭 압축했을 때(단 몇 개의 웨지만 남겼을 때), 음악은 훨씬 단순해졌지만 여전히 원래의 노래처럼 들렸습니다.

논문은 이 방법이 원래 노래에 없던 새로운 음을 도입하지 않는다는 점을 명시합니다. 오직 작곡가가 이미 쓴 음들 중에서만 선택합니다. 이것은 안전 장치입니다. 단순화된 악보는 항상 사람이 읽고 연주 가능하며, 원래의 맥락에 맞지 않는 이상한 외계의 음을 만들어내지 않습니다.

이것이 아닌 것 (그리고 할 수 없는 것)

이 논문이 주장하지 않는 부분도 명확히 아는 것이 중요합니다.

이 방식은 모든 파일을 즉시 압축할 수 있는 마법 지팡이가 아닙니다. 이 방식은 특히 보컬-피아노 악보의 피아노 반주 부분에 특화되어 작동합니다. 아직 멜로디나 가사를 같은 방식으로 처리하지는 못합니다.
이것이 영원히 사용할 수 있는 '완벽한' 압축법이라고 말하는 것도 아닙니다. 저자들은 현재 방식이 웨지 전체를 하나의 고정된 음으로 대체한다는 점을 인정합니다. 향후에는 웨지 내부의 움직임을 포착하기 위해 더 복잡한 형태를 사용하기를 희망하지만, 현재로서는 평평하고 일정한 평균값입니다.
결과는 특정 세트의 70개 악보를 대상으로 한 시뮬레이션과 실험에 기반합니다. 세상의 모든 음악을 테스트한 것은 아니지만, 시도한 곡들에 대해서는 수학적 검증이 완료되었습니다.

결 결론

저자들은 음악을 위한 스마트한 편집기 역할을 하는 도구를 만들었습니다. 이 도구는 복잡한 피아노 파트를 살펴보고, 숨겨진 화성 패턴을 찾아내며, 유사한 음들을 "웨지"로 묶습니다. 그런 다음 그 그룹들을 그들의 평균적인 소리로 대체하여 악보를 단순화합니다.

그 결과물은 원래의 곡처럼 들리면서도 읽고 연주하기 훨씬 쉬운 새로운 버전의 음악입니다. 이는 마치 고해상도 사진을 찍은 뒤, 피사체는 똑같이 보이되 픽셀 수는 훨씬 적은 픽셀 아트 버전으로 바꾸는 것과 같습니다. 이 논문은 이것이 초보자를 위한 간편한 편곡을 자동으로 생성하는 소프트웨어로 가는 첫 단계가 될 수 있음을 시사하며, 이를 통해 음악이 작곡가의 원래 의도를 그대로 유지할 수 있도록 합니다.

기술 요약: 음악 악보의 화성적 복잡도 감소를 위한 토네츠(Tonnetz) 기반 그래프 웨지릿(Wedgelet)

문제 정의
성악 및 피아노 파트가 포함된 상징적 음악 악보는 그 반주 부분에서 상당한 구조적 중복성을 나타낸다. 알베르티 베이스(Alberti bass), 아르페지오 화음, 오스티나토와 같은 화성적 형상들은 긴 시간적 범위에 걸쳐 동일한 화성적 시퀀스를 반복하는 경우가 많다. 알고리즘 정보 이론(예: Lempel-Ziv)부터 메로디 신호에 대한 웨이브릿 변환, 신경망 처리를 위한 토큰화에 이르기까지 기존의 음악 압축 방식들이 존재하지만, 이들은 특정한 한계를 지닌다. 현재의 접근 방식들은 일반적으로 신호, 순차적 이벤트, 또는 상징적 토큰 수준에서 작동한다. 결정적으로, 이들은 다음을 동시에 수행하지 못한다: (i) 기초가 되는 그래프 표현의 기하학적 구조에 적응하고, (ii) 단순한 반음 간격이 아닌 화성적 거리를 고려하며, (iii) 재구성이 원래의 음계와 악기 구성을 벗어나지 않는 유효한 음악 악보임을 보장해야 한다. 따라서 음악적 관계, 노트 관계, 그리고 그래프 구조를 보존하면서 화성적 복잡도를 줄일 수 있는 압축 체계가 필요하다.

방법론
저자들은 성악-피아노 악보의 피아노 서브그래프를 위한 구조 보존 압축 체계로서, 토네츠 기반 그래프 웨지릿(Tonnetz-driven Graph Wedgelet) 프레임워크를 제안한다. 본 방법론은 다음과 같이 그래프 신호 처리와 음악 이론을 통합한다:

그래프 표현: 음악 악보를 노드(멜로디 라인, 가사, 반주)와 에지(순차적, 수직적, 교차 모달 관계를 인코딩)로 구성된 이종 그래프(heterogeneous graph)로 모델링한다. 압축은 특히 피아노 서브그래프( $G_{piano}$ )에 집중한다.
토네츠 임베딩(Tonnetz Embedding): 화성적 관계를 존중하기 위해, 음악적 음들을 세 가지 별개의 정수 인자( $k_1, k_2, k_3$ )를 사용하여 6차원 벡터 공간으로 투영하는 토네츠 임베딩을 활용한다. 이 임베딩은 장3도, 단3도, 그리고 5도권(circle of fifths)을 포착하기 위해 피치 클래스(pitch classes)를 원형으로 투영한다. 이 6D 공간에서의 유클리드 거리는 단순한 반음 간격이 아닌 화성적 근접성을 포착한다.
이진 웨지 분할(Binary Wedge Partitioning, BWP): 완전 적응형 그리디(Fully Adaptive Greedy, FA-greedy) 알고리즘을 사용하여 그래프를 "웨지(wedge)"라고 불리는 영역으로 분할한다.
- 알고리즘은 그래프를 재귀적으로 분할하여 이진 트리를 구축한다.
- 분할 기준: 각 단계에서 알고리즘은 6D 토네츠 임베딩 내에서 결과적인 분할의 $L_2$ 오차를 최소화하는 웨지와 새로운 중심 노드( $v_{m+1}$ )를 선택한다.
- 연결성: 분할은 그래프상의 최단 경로 거리에 기반하며, 이를 통해 생성된 모든 웨지가 연결된 서브그래프(음악적으로 연속적인 형태)를 유지하도록 보장한다.
인코딩 및 디코딩:
- 인코더: FA-greedy 알고리즘은 압축률 $r$ 에 따라 $M$ 개의 웨지 집합을 생성한다. 각 웨지 내의 신호는 토네츠 임베딩 내 음들의 평균값으로 근사된다.
- 디코더: 연주 가능한 악보를 재구성하기 위해 각 웨지의 평균값을 양자화한다. 알고리즘은 해당 영역에서 실제로 사용된 피치 클래스 집합( $PC(V_{vi})$ ) 내에서 웨지의 평균값에 가장 가까운 피치 클래스를 선택한다. 이는 재구성된 음들이 작곡가의 원래 팔레트 내에서 추출되도록 하여, 외부의 생소한 피치 클래스가 도입되는 것을 방지한다.
내보내기(Export): 재구성된 구간 상수(piecewise-constant) MIDI 신호는 원래의 MusicXML 구조로 매핑되며, 이때 피치 값은 업데이트하되 모든 비-피치 속성(길이, 역동성, 아티큘레이션 등)은 그대로 보존한다.

주요 기여

화성 인지형 압축: 본 논문은 단순한 반음 또는 시계열 공간이 아닌 화성 공간(Tonnetz)에서 오차를 명시적으로 최소화하는 압축 방법을 도입하여, 감소된 복잡도가 본질적인 화성 관계를 반영하도록 한다.
그래프 적응형 분할: 악보 그래프에 이진 웨지 분할 트리를 적용함으로써, 음악적 파편의 연결성을 유지하면서 음악적 반주의 특정 토폴로지에 적응한다.
유효한 악보 재구성: 제안된 양자화 전략은 출력물이 원본의 악기 구성과 음계를 유지하면서도 유효하고, 인간이 읽을 수 있으며, 연주 가능한 악보임을 보장한다. 즉, 소스 자료에 존재하지 않는 "환각(hallucination)" 음을 생성하는 것을 방지한다.
프레임워크의 통합: 본 연구는 다차원 피치 임베딩과 결합하여, (이전에 이미지 및 생물 의학 데이터에 적용되었던) 그래프 웨지릿 프레임워크를 상징적 음악학 영역으로 확장한다.

실험 결과
저자들은 세 명의 작곡가가 작성한 70개의 상징적 음악 악보(MusicXML 형식) 코퍼스를 대상으로 접근 방식을 평가하였다.

지표: 성능은 원래의 토네츠 값 신호와 웨지릿 근사치 사이의 루트 평균 제곱 오차(RMSE)를 정점 단위(vertex-wise)로 계산하여 측정되었다.
결과: 실험은 압축률( $r$ )과 재구성 충실도 사이의 트레이드오프를 보여주었다. $r$ 이 감소할수록(웨지 수가 적어질수록) RMSE가 증가하며, 이는 화성적 편차가 커짐을 의미한다. 그러나 재구성된 마디의 시각적 분석(그림 4)에 따르면, 낮은 비율에서도 시스템이 상당 부분의 음들을 원래의 피치로 보존하며(녹색 음표 머리), 재할당(노란색 음표 머리)은 화성적 단순화가 가장 효과적인 곳에서 주로 발생함을 보여주었다. 이 방법은 원곡을 인식 가능한 수준으로 유지하면서도 단순화된 악보를 성공적으로 생성하였다.

의의 및 주장
본 논문은 이 작업이 자동화된 음악 편곡 생성을 위한 필수적인 단계라고 위치시킨다. 저자들은 자신의 방법이 "필요 조건"을 확립한다고 주장한다: 즉, 압축된 편곡이 원곡을 인식할 수 있는 유효한 음악 악보로 남아있음을 보장하는 것이다. 그래프 토폴로지와 화성 구조를 보존함으로써, 이 방법은 반주의 음악적 정체성을 왜곡하지 않고 화성적 복잡도를 줄일 수 있게 한다. 저자들은 현재의 체계가 동질적인 피아노 서브그래프만을 독립적으로 다루고 있음을 겸허히 언급하며, 향에 대한 과제로 전체 이종 그래프(멜로디 및 가사 포함)로 오차 지표와 분할 기준을 확장하고, 웨지 내의 화성적 움직임을 포착하기 위해 비-상수 함수(non-constant functions)를 탐구하는 것을 제시하였다.