Statistical Mechanics of Semantic Compression

인간의 기억은 유한한 자원이다. 실험을 통해 우리의 작업 기억이 한 번에 담을 수 있는 구조화되지 않은 정보의 양이 제한적이라는 사실은 오래전부터 밝혀져 왔다. 그럼에도 불구하고 우리는 방대한 시간에 걸쳐 복잡한 이야기, 대화, 그리고 아이디어를 처리해 나간다. 이 능력의 비결은 압축에 있다. 인지 과학에서 이 과정은 종종 '청킹(chunking)'이라 불리는데, 이는 뇌가 가공되지 않은 정보를 더 작고 관리 가능한 형태로 재부호화하는 것을 의미한다. 이러한 현상은 사회적 의사소통에서 끊임없이 일어난다. 친구에게 이야기를 할 때, 우리는 들었던 정확한 단어들을 그대로 반복하지 않는다. 대신 핵심적인 의미는 보존하면서 표면적인 세부 사항들은 제거하여 요점만을 다시 전달한다. 이것은 구체적인 표현은 희생하되 의미는 온전히 유지하는 일종의 '손실 압축(lossy compression)'이다. 그렇다면 의미란 정확히 무엇이며, 뇌는 어떻게 이를 그토록 효과적으로 압축할 수 있는 것일까?

이에 답하기 위해, 에모리 대학교의 한 연구자는 의미의 압축을 물리적 문제로 다루는 수학적 모델을 구축했다. 이 연구는 인지 신경과학과 머신러닝이라는 두 가지 서로 다른 분야에 기초하고 있다. 최근 몇 년 동안 두 분야는 개념과 단어가 연속적인 기하학적 공간으로 매핑될 수 있다는 아이디어로 수렴해 왔다. 이 관점에서 모든 단어나 아이디어는 고차원적인 풍경 속의 한 점이다. 비슷한 의미를 가진 단어들은 서로 가까이 위치하며, 관련 없는 개념들은 멀리 떨어져 있다. 이를 통해 연구자들은 이 공간에서의 거리 계산만으로 두 아이디어 사이의 유사성을 측정할 수 있다. 이 새로운 연구는 다음과 같은 근본적인 질문을 던진다. 만약 우리가 의미를 동일하게 유지하면서 메시지를 짧게 줄이려 한다면 어떤 일이 벌어지는가? 이 과정은 매끄럽게 진행되는가, 아니면 갑작스럽고 극적인 변화를 겪는가?

연구자는 메시지가 어떻게 압축되는지를 설명하는 규칙들의 집합인 통계적 모델을 만드는 방식으로 이 문제에 접근했다. 각 단어에 거대한 다차원 공간 속의 무작위 위치가 할당된 커다란 단어 도서관을 상상해 보자. 메시지는 단순히 이러한 단어들의 모임이다. 목표는 원래의 메시지와 동일한 위치에 놓이는 더 짧은 버전의 메시지, 즉 요약본을 찾는 것이다. 만약 요약본이 너무 짧거나 공간이 너무 붐빈다면, 요약본은 필연적으로 다른 곳에 위치하게 되어 의미가 변하는 '왜곡(distortion)'이 발생할 것이다. 이 연구는 완벽한 요약을 찾는 과정을 복잡한 물질의 물리학인 스핀 글래스(spin glass)에서 빌려온 방법론을 사용하여, 최저 에너지 상태를 찾으려는 물리적 시스템으로 취급한다.

수학적 분석과 컴퓨터 시뮬레이션을 통해 모델을 실행한 결과, 연구자는 의미론적 압축이 단일하고 균일한 방식으로 작동하지 않는다는 것을 발견했다. 대신, 어휘의 크기, 의미 공간의 차원, 그리고 메시지가 얼마나 압축되는지에 따라 서로 다른 단계(phase)를 거치며 움직인다. 압축이 완만할 때, 시스템은 예측 가능한 '손실적' 방식으로 작동한다. 이때 최선의 요약본은 유일하며, 원문에서 단어를 단순히 제거함으로써 만들어진다. 이를 '추출적 압축(extractive compression)'이라고 한다. 그러나 압축 압력이 높아짐에 따라 시스템은 임계점에 도달한다. 이 문턱에서 갑작스러운 전이가 발생한다. 유일한 해답은 사라지고, 시스템은 여러 가지 다른 요약본이 동일한 의미를 전달할 수 있는 새로운 단계로 진입한다.

이 새로운 단계에서 압축은 '의역적(paraphrastic)'이 되어, 원문에 등장하지 않았던 단어들을 사용하여 요약본을 생성할 수 있게 된다. 예를 들어, 긴 문장을 하나의 추상적인 단어로 대체하거나, 복잡한 이야기를 간결한 라벨로 바꿀 수 있다. 단순화된 이론적 모델은 이 영역에서 왜곡이 0으로 떨어질 수 있음을 시사하지만, 본 연구는 최소한의 왜곡에 대해 엄격한 양의 하한선을 설정함으로써, 최상의 시나리오에서도 정밀도의 손실은 불가피함을 입증했다. 그럼에도 불구하고, 이 단계에서는 아이디어를 표현하는 방법이 기하급수적으로 많아지며, 시스템은 핵심 의미의 변화를 최소화하면서 이 방법들 사이를 자유롭게 오갈 수 있다. 이는 우리가 같은 내용을 수없이 다양한 방식으로 말할 수 있는 인간 언어의 작동 방식과 일 mirrors(거울처럼 반영)한다.

또한 연구는 이러한 완벽한 요약본을 찾는 것이 얼마나 어려운지를 탐구했다. 수학적으로 완벽한 압축을 찾는 것은 계산적으로 매우 어려운 작업에 속하는 난제이다. 그러나 시뮬레이션 결과 희망적인 반전이 드러났다 최악의 경우에는 문제가 매우 어렵지만, 메시지의 남은 부분과 의미상 가장 가까운 단어를 순차적으로 선택하는 단순하고 빠른 알고리즘(greedy approach)이 일반적인 경우에는 놀라울 정도로 잘 작동한다는 것이다. 이 탐욕적 알고리즘은 최선의 결과에 근접한 해답을 찾아낸다. 이는 인간의 뇌나 컴퓨터가 효과적인 의사소통을 위해 복잡하고 불가능한 퍼즐을 풀 필요 없이, 의미를 보존하는 요약본을 찾기 위해 단순하고 효율적인 전략을 사용할 수 있음을 시사한다.

이 연구 결과는 인간의 의사소통이 왜 그토록 잘 작동하는지에 대한 새로운 관점을 제공한다. 모델에 따르면 자연 언어가 압축 가능하려면 의미의 공간이 특정한 구조를 가져야 한다. 만약 이 공간의 차원이 어휘의 크기에 비해 너무 작다면, 압축은 어려워지고 항상 메시지를 왜곡하게 된다. 하지만 공간이 충분히 크다면, 시스템은 자연스럽게 여러 의역이 존재하는 단계로 진입한다. 이는 두 사람이 서로를 이해하기 위해서는 그들의 내부적인 의미 지도가 정렬되어 있어야 함을 의미한다. 만약 한 사람의 세계 지도가 다른 사람에 비해 회전되어 있거나 왜곡되어 있다면, 그들이 만들어내는 압축은 서로 일치하지 않아 오해를 불러일으킬 것이다. 연구는 이러한 정렬이 단순히 공유된 문화의 우연이 아니라, 효과적인 의사소통을 위한 수학적 필연성이라고 결론짓는다.

궁극적으로, 이 논문은 압축 과정에서 의미가 어떻게 살아남는지를 이해하기 위한 엄격한 틀을 제공한다. 이는 단순히 단어를 잘라내는 것에서부터 완전히 새로운 추상적 요약을 생성하는 단계로의 전이가 의미가 구조화되는 방식의 근본적인 속성임을 보여준다. 비록 모델이 단어의 의미를 무작위적인 점으로 취급하는 등의 단순화를 포함하고 있지만, 연구 결과는 인간 언어의 풍요로움, 즉 같은 것을 천 가지 방식으로 말할 수 있는 능력이 우연이 아님을 시사한다. 그것은 우리의 의미 공간이 가진 기하학적 구조의 자연스러운 결과이며, 이를 통해 우리는 본질을 잃지 않으면서도 생각을 효율적으로 압축할 수 있는 것이다.