기술 요약: 잠재 공간의 달빛 (Moonlight in Latent Space)

문제 제기

본 논문은 음악과 연산이 깊은 구조적 유사성을 공유한다는 직관이 공식화되지 못하고 있다는 점을 다룬다. "조화적 엔트로피(harmonic entropy)"나 "선율적 경사 하강법(melodic gradient descent)"과 같은 은유들이 흔히 사용되지만, 이들은 대개 형식적인 매핑이라기보다 언어적 비유에 머물러 있다. 저자들은 머신러닝(ML) 메커니즘을 지배하는 수학적 구조와 음악적 구조가 단순히 유사한 수준을 넘어, 동일한 것인지—즉, 형식적이고, 양방향적이며, 반증 가능한 형태인지—를 규명할 것을 학계에 도전한다.

본 연구는 통제된 단일 실험, 즉 베토벤의 피아노 소나타 14번 C# 단조 ("월광 소나타", Op. 27 No. 2)에 집중한다. 이 작품의 세 악장은 통일된 조성 체계 내에서 서로 다른 작곡 텍스처를 제공하며, 이를 통해 작곡가, 악기, 화성 언어를 통제하면서 구조적 레짐(regime)을 분리해낼 수 있게 한다.

방법론

연구는 다단계의 계산적 및 현상학적 접근 방식을 채택한다:

1. 데이터 소스 및 특징 추출:

   • music21을 사용하여 KernScores 저장소로부터 세 악장의 디지털 악보를 파싱하였다.
   • 내적 측정치(Intra-measure features): 섀넌 엔트로피(Shannon entropy), 음고 클래스 벡터(12차원), 음표 밀도, 음역대, 그리고 심리음향적 협화도에 의해 가중치가 부여된 음정 기반 불협화도 점수를 추출하였다.
   • 외적 측정치(Inter-measure features): 화성 변화를 위한 젠슨-샤논(JS) 발산(divergence) 및 왼손-오른손 분포 중첩도를 산출하였다.
   • 전역적 특징(Global features): 자기 유사성 행렬(음고 클래스 벡터의 코사인 유사도) 및 시간적 기억 감쇠 곡선을 도출하였다.

2. 구조적 매핑:

   • 저자들은 추출된 음악적 지표들을 특정 ML 개념(예: 어텐션 메커니즘, 메모리 아키텍처, 임베딩 유형)에 매핑하여 구조적 동형성(isomorphism)을 테스트한다.

3. 역 생성 소니피케이션 (디코더):

   • 마디별 통계적 특징 벡터(음고 클래스 분포, 밀도, 레지스터 경계)가 새로운 MIDI 곡을 합성하는 파라미터 역할을 하는 생성 프로세스를 구축하였다.
   • 이 과정은 주변 분포(어떤 음들이 존재하는가)는 보존하지만, 순차적 순서(그 음들이 어떻게 배열되는가)는 폐기한다.

4. 카이랄성(Chirality) 측정:

   • 입체 화학에서 차용하여, "카이랄성"을 원본과 디코딩된 곡 사이의 차이로 정의하되, 이는 오직 순차적 순서의 상실로부터 발생하는 차이만을 의미한다.
   • JS 발산을 유니그램(unigram), 바이그램(bigram), 트리그램(trigram) 수준에서 계산하였다.
   • 카이랄성 갭(Chirality Gap): $JS_n - JS_1$로 정의하며, 이는 분포가 아닌 순서에 포함된 정보를 격리한다.
   • 강건성 검사(Robustness Checks): 고차원 n-gram 공간에서의 언더샘플링 아티팩트를 교정하기 위해 부트스트랩 널 베이스라인(Bootstrap null baselines)을 설정하였다.

5. 현상학적-계산적 피드백 루프:

   • 디코딩된 출력물에 대한 인간 청취자의 질적 관찰("겹쳐질 수 없는 거울 이성질체")이 정량적 카이랄성 분석을 촉발하였다. 이 루프는 핵심적인 방법론적 구성 요소로서, 인간의 지각이 순수 계산이 놓칠 수 있는 구조적 이상을 식별하면, 계산이 이를 공식화하는 역할을 수행한다.

주요 기여 및 결과

1. ML 아키텍처와의 구조적 동형성

분석 결과, 세 악장은 단순한 비유가 아니라 구조적 대응을 통해 세 가지 뚜렷한 ML 아키텍처를 구현함을 보여준다:

• 악장 I (Adagio sostenuto): **주기적 위치 인코딩(periodic positional encoding)을 가진 트랜스포머(Transformer)**로 작동한다. 비단조적 시간적 기억 감쇠(유사도가 떨어졌다가 다시 회복됨)를 보이며, 이는 먼 거리의 마디들에 광범하게 어텐션을 주는 준정적(quasi-stationary) 화성장을 반영한다.
• 악장 II (Allegretto): **평탄한 메모리(flat memory)를 가진 순환 모델(Recurrent model)**로 작동한다. 래그-30(lag-30) 유사도가 래그-1과 거의 동일한 평탄한 감쇠 곡선을 보이며, 이는 긴 유효 컨텍스트 창을 가진 정상 상태(steady state)를 나타낸다.
• 악장 III (Presto agitato): **고처리량 스트리밍 모델(High-throughput streaming model)**로 작동한다. 가장 가파른 메모리 감쇠와 가장 높은 인접 유사성을 보이며, 빠른 망각과 함께 정보를 빠르게 처리한다.

2. 역설적 발견

• 온도로서의 처리량(Throughput): 인지되는 음악적 "온도"(강도)는 분포의 폭(엔트로피)이 아니라 처리량(마디당 시간 $\times$ JS 발산)에 의해 결정된다. 악장 I과 III은 마디당 엔트로피가 거의 동일하지만, 악장 III은 화성 변화율이 2.9배 더 높기 때문에 더 "뜨겁게" 느껴진다.
• 불협화도 역전: 인지적으로 가장 "가벼운" 악장(II)이 가장 높은 음정 기반 불협화도를 가진다. 구조적으로 이는 높은 그래디언트를 가지나 학습률이 낮은(로컬 미니멈에 갇힌) 가파른 손실 지형(loss landscape)에 해당하며, 반면 악장 I은 수렴 근처의 평탄한 손실 표면을 나타낸다.
• 맥락적 음고 정체성: 음고 클래스는 정적 임베딩(Word2Vec와 같은)이 아니라 맥락적 임베딩(BERT와 같은)으로 기능한다. 동일한 음고 클래스(예: E)라도 악장에 따라 서로 다른 맥락적 정체성을 획득한다. 이 컨텍스트 벡터들에 대한 비지도 클러스터링은 사전적인 음악 이론적 입력 없이도 소나타의 조성 구조를 성공적으로 복구해냈다(I과 III을 그룹화하고 II를 분리함).

3. 카이랄성과 순차 정보

• 카이랄성 갭: 디코딩된 곡은 주변 음고 분포는 보존하지만(낮은 유니그램 JS 발산), 순차적 구조는 상실한다(높은 트리그램 JS 발산).
• 정량화: 세 악장 모두 샘플링 노이즈보다 유의미하게 높은 순차 정보를 보유하고 있다. 그러나 원시 카이랄리티 값은 샘플 크치에 의해 혼동될 수 있음이 발견되었다. 베이스라인 교정과 서브샘플링 후, 악장 III(Presto)이 가장 높은 교정된 카이랄리티를 가진 것으로 나타났으며, 이는 가장 강력한 순차적 제약을 가지고 있음을 시사한다.
• 교차 도메인 비교: 자연어(영어 및 중국어 산문)는 음악보다 높은 카이랄성을 보이며, 이는 언어의 순차적 제약이 음악적 구문보다 더 엄격함을 반영한다.

4. 신경과학적 상관관계

본 논문은 음악, ML, 계산 신경과학 사이의 삼각 대응 관계를 도출한다:

• 자기 유사성 행렬은 fMRI 연구에서 사용되는 표현 유사도 분석(RSA)과 수학적으로 동일하다.
• 카이랄성 갭은 뇌의 예측 오류 계층 구조를 반영한다: 주변 분포는 복측 경로(ventral stream, "무엇")와 일치하는 반면, 순차적 발산은 배측 경로(dorsal stream, "어디/어떻게")와 일치한다. 디코딩된 곡은 복측 경로는 일치로 인지하지만, 배측 경로는 불일치로 인지하는 해리 현상을 만들어낸다.

의의 및 주장

본 논문은 월광 소나타와 머신러닝 메커니즘이 단순히 서로를 위한 은유가 아니라, 서로 다른 기질(substrate)을 가진 동일한 형태라고 주장한다.

• 양방향 동형성: 구조적 대응은 형식적이며 양방향적이다. 저자들은 음악적 구조를 ML 호환 벡터로 인코딩한 후, 이를 다시 지각적으로 관련은 있지만 구별되는 음악적 형태로 디코딩함으로써 이를 입증하였다.
• 방법론적 혁신: 본 논문은 현상학적-계산적 피드백을 일반화 가능한 방법론으로 제시한다. 저자들은 인간의 지각과 계산적 분석이 서로 직교하는 관점이라고 주장한다. 인간은 구조적 이상(카이랄성)을 탐지하고, 계산은 이를 정량화하며, 계산은 인간의 귀에는 보이지 않는 위상적 패턴(교차 악장 어텐션)을 드러낸다.
• 윤리적 엄밀성: 저자들은 자기 교정의 중요성을 강조한다. 초기 발견(악장 I이 가장 카이랄적이라는 결과)은 샘플 크치에 관한 강건성 검사를 통해 뒤집혔다. 본 논문은 프레임워크가 유효하려면 반드시 스스로의 강건성 검사를 통과해야 함을 역설하며, "시적이지만 아름다운" 초기 가설보다 "덜 시적이지만 더 진실한" 교정된 결과를 우선시한다.

결론적으로, 본 연구에서 확인된 구조적 대응은 역사적 우연이나 베토벤의 의도적 예견이 아니라, 집단 코드(population codes), 계층적 예측, 그리고 순차적 정보 처리라는 공유된 기저 구조로부터 발생하는 수학적 필연성이다.