What Is Sonification? Toward a Philosophy of Sonification

당신에게 초능력이 있다고 상상해 보세요. 바로 데이터를 '듣는' 능력입니다. 단순히 스프레드시트 위의 숫자가 아니라, 그 숫자 안에 숨겨진 이야기를 듣는 것이죠. 이것이 바로 데이터의 소니피케이션(sonification, 가청화)의 세계입니다. 과학자, 예술가, 디자이너들이 정보를 소리로 바꾸는 분야죠. 이것을 외국어를 번역하는 것과 비슷하다고 생각하면 됩니다. 프랑스 소설을 영어 텍스트로 바꾸는 대신, 기상 지도나 주식 시장 차트를 멜로디나 리듬으로 바꾸는 것입니다. 하지만 여기서 까다로운 문제가 발생합니다. 만약 데이터를 노래로 만든다면, 그것은 과학일까요? 예술일까요? 아니면 전혀 다른 무엇일까요? 수년 동안 사람들은 소니피케이션이 그저 "비트가 있는 과학"인지, 아니면 "목적이 있는 음악"인지를 두고 논쟁하며 정의의 굴레에 갇혀 있었습니다. 이를 해결하기 위해 우리는 두 가지 큰 아이디어에 주목해야 합니다. 첫째, 레시피를 상상해 보세요. 레시피 자체(재료를 섞는 규칙)는 생일 케이크를 굽든 과학 박람회용 케이크를 굽든 동일합니다. 둘째, 씨앗을 상상해 보세요. 씨앗은 고정된 유전 코드를 가지고 있지만, 어떤 토양과 햇빛을 만나느냐에 따라 서로 다른 모양으로 자라납니다. 이 논문은 이러한 아이디어를 사용하여 소니피케이션이 실제로 무엇인지 파악하기 위한 개념적 프레임워크를 제공하며, 소니피케이션이 핵심 정체성을 잃지 않으면서도 엄격한 기술적 도구이자 유연한 창의적 실천이 될 수 있음을 제안합니다.

---

데이터의 소리: 소니피케이션의 본질은 무엇인가?

자, 당신에게 데이터 더미가 생겼습니다. 그것이 별의 온도이든, 로봇의 움직임이든, 환자의 심장 박동이든 상관없습니다. 당신은 그것을 듣고 싶습니다. 당신은 그 숫자들을 소리로 바꾸는 시스템을 구축합니다. 그런데 그때 한 가지 질문이 떠오릅니다. "이것은 음악인가?" 만약 소리가 아름답다면, 그것은 예술일까요? 만약 그 소리가 과학자가 오류를 찾아내는 데 도움을 준다면, 그것은 과학일까요?

제31회 국제 청각 디스플레이 컨퍼런스(International Conference on Auditory Display)에서 발표된 이 논문은 바로 이 혼란을 다룹니다. 저자인 루벤 가르시아-베니토(Rubén García-Benito)는 우리가 질문을 잘못 던지고 있다고 주장합니다. 우리는 소니피케이션을 '음악'이라는 상자나 '과학'이라는 상자에 억지로 끼워 맞추려 했지만, 그것은 어느 쪽에도 맞지 않습니다. 대신, 그는 소니피케이션이 **초범주적 실천(transcategorical practice)**이라고 제안합니다. 이는 소니피케이션이 콘서트 홀, 실험실, 혹은 교실 등 어디로든 이동할 수 있는 기술적 도구이며, 그 과정에서 핵심 정체성을 바꾸지 않는다는 것을 의미하는 멋진 표현입니다.

이를 설명하기 위해, 이 논문은 **설계도(Blueprint)**와 **성장 차트(Growth Chart)**라고 부를 수 있는 두 가지 철학적 도구를 사용합니다.

설계도: 변하지 않는 규칙

먼저 "설계도"를 살펴봅시다. 이 논문은 유물론적 인식론(Materialist Gnoseology)(물리적 행동을 통해 지식을 구축하는 방법을 연구하는 학문)이라는 철학을 사용합니다. 저자는 소니피케이션을 세 가지 층위로 나눕니다:

1. 물리적 실체 (M1): 실제 전선, 스피커, 빛 센서 등입니다.
2. 인간의 경험 (M2): 당신이 느끼는 것, 듣는 것, 그리고 소리가 아름다운지 혹은 짜증 나는지에 대한 것입니다.
3. 규칙 (M3): "데이터가 올라가면 음높이도 올라간다"라고 말하는 보이지 않는 수학적 논리입니다.

논문은 소니피케이션의 정체성이 주로 **규칙 (M3)**에 존재한다고 주장합니다. 이것이 바로 레시피입니다. 당신이 시각 장애인이 방 안을 항해하도록 돕기 위해 이 레시피를 사용하든, 은하를 분석하기 위해 사용하든, 혹은 교향곡을 쓰기 위해 사용하든, 데이터를 소리에 연결하는 규칙은 동일하게 유지됩니다.

여기서 중요한 발견이 있습니다: 소니피케이션은 관객이 아니라 규칙에 의해 정의된다.
논문은 소니피케이션이 소리가 좋다고 해서, 혹은 콘서트에서 연주된다고 해서 단순히 "음악"이 되는 것도 아니며, 실험실에서 사용된다고 해서 그 정체성을 잃는 것도 아니라고 제안합니다. 저자는 만약 데이터에 상관없이 소리를 "더 아름답게" 만들기 위해 규칙을 바꾼다면, 그 실천의 기술적 정체성을 **전치(displacing)**할 위험이 있다고 제안합니다. 즉, 음악적 선호도가 데이터-소리 논리보다 우선하게 되면, 소리는 남아 있을지언정 그 실천은 더 이상 소니피케이션으로서 기능하지 못할 수도 있다는 것입니다. 하지만 데이터-소리 규칙을 엄격하게 유지한다면, 관객이 그것을 아름다운 예술 작품으로 평가하더라도 그것은 여전히 소니피케이션으로 남습니다.

성장 차트: 어떻게 형태를 바꾸는가

다음으로, 이 논문은 깁번 시몬동(Gilbert Simondon)의 철학을 빌려와 성장 차트와 같은 도구를 사용합니다. 이는 소니피케이션이 어떻게 구조를 깨뜨리지 않으면서도 장소에 따라 매우 다르게 보일 수 있는지를 설명해 줍니다.

씨앗을 상상해 보세요. 씨앗은 특정한 유전 코드를 가지고 있습니다 (M3 규칙). 하지만 이 씨앗을 사막에 심으면 한 방식으로 자라고, 열대우림에 심으면 다른 방식으로 자랍니다. 씨앗은 여전히 같은 씨앗이지만, 환경에 맞춰 그 형태를 바꿉니다.

논문은 소니피케이션이 **중간 상태의 체계(metastable system)**라고 제안합니다. 이는 소니피케이션이 완성된 딱딱한 물체가 아니라는 뜻입니다. 그것은 주변 환경에 적응하는 잠재력으로 가득 찬 시스템입니다.

• 과학 실험실에서 "토양"은 엄격한 테스트와 정확성입니다. 소니피케이션은 정밀하고 명확하게 자라납니다.
• 미술 갤러리에서 "토양"은 감정과 표현입니다. 소니피케이션은 몰입감 있고 암시적인 형태로 자라납니다.
• 교실에서 "토양"은 학습입니다. 소니피케이션은 교육적인 형태로 자라납니다.

논문은 이러한 적응성이 약점이 아니라 강점이라고 주장합니다. "씨앗"(기술적 규칙)은 그대로 유지되지만, "식물"(최종적인 소리 경험)은 상황에 맞게 변화합니다. 이것이 왜 동일한 소니피케이션 기법이 진지한 의료 진단과 재미있는 비디오 게임 모두에 사용될 수 있으면서도, 그 기법 자체의 정체성은 잃지 않는지를 설명해 줍니다.

이것이 왜 중요한가?

왜 호기심 많은 십 대가 이 내용을 알아야 할까요? 왜냐하면 이 내용은 사람들이 소니피케이션을 진지하게 받아들이는 것을 가로막는 혼란을 정리해주기 때문입니다.

• 과학자들에게: 여러분의 데이터-소리가 음악적이라 해서 사과할 필요가 없습니다. 규칙이 엄격하다면, 그것은 타당한 과학입니다.
• 예술가들에게: 예술적 전문성을 인정받기 위해 자신의 예술이 "단순히 데이터일 뿐"이라고 가장할 필요가 없습니다. 데이터-소리 논리가 동력이 되는 한, 여러분은 소니피케이션의 규칙을 사용하여 예술을 창조할 수 있습니다.
• 모두에게: 두 가지가 같은 재료(소리)를 사용한다고 해서 반드시 같은 것은 아니라는 점을 이해하게 해줍니다. 망치는 집을 짓는 데 사용하든 노래의 리듬을 맞추는 데 사용하든 여전히 망치입니다. 도구는 같지만, 용도는 다릅니다.

이 논문은 모든 소리와 데이터의 미스터리를 해결했다고 주장하는 것이 아닙니다. 더 나은 소니피케이션을 만드는 새로운 공식을 제시하는 것도 아닙니다. 대신, 소니피케이션을 바라보는 새로운 방식을 제안합니다. 우리는 "이것은 음악인가 과학인가?"라고 묻는 대신, "규칙은 무엇이며, 그것이 어떻게 사용되고 있는가?"라고 묻기 시작해야 합니다.

변하지 않는 규칙(기술적 정체성)과 변하는 경험(예술적 또는 과학적 맥락)을 분리함으로써, 이 논문은 우리에게 데이터에서 소리로 넘어가는 복잡하고 흥미로운 세계를 항해할 수 있는 지도를 제공합니다. 이는 소니피케이션이 과학의 냉철한 사실과 예술의 따뜻한 감성 사이의 간극을 메울 수 있는 독특하고 강력한 실천이며, 그 과정에서도 고유의 정체성을 온전히 유지할 수 있음을 시사합니다.