당신이 컴퓨터에게 인간의 언어를 이해하도록 가르치려 한다고 상상해 보십시오. 오랫동안 우리는 이를 위해 '트랜스포머(Transformer)'라고 불리는 도구를 사용해 왔습니다. 트랜스포머를 문장을 단어 하나하나 훑으며 이전에 나왔던 단어들을 바탕으로 다음 단어를 추측하는, 매우 빠르고 주의 깊은 독자라고 생각해보십시오. 이 도구는 이야기를 쓰거나 대화를 나누는 데 놀라운 능력을 갖추고 있지만, 이상한 결함이 하나 있습니다. 때때로 아주 자신만만하게 사실을 지어낸다는 것입니다. 우리는 이러한 지어낸 사실들을 "환각(hallucinations)"이라고 부릅니다.

왜 이런 일이 발생할까요? 이 논문은 이것이 단순히 컴퓨터가 공부를 충분히 하지 못해서가 아니라고 제안합니다. 대신, 그것은 마치 직선만을 사용하여 완벽한 원을 그리려고 하는 것과 같은 구조적인 문제입니다. 컴퓨터는 언어를 가능성들의 매끄러운 수학적 평균으로 인식하지만, 실제 세상은 무질서하고, 들쭉날쭉하며, 항상 그 매끄러운 평균에 들어맞지 않는 구체적인 진실들로 가득 차 있습니다. 이를 해결하기 위해 저자들은 언어를 단순한 단어의 목록이 아니라, 서로 다른 음표를 가진 하나의 노래로 바라보는 새로운 방법을 제안합니다. 그들은 수학적 도구인 이산 푸리에 변환(Discrete Fourier Transform, DFT)을 사용하는데, 이는 복잡한 음파를 베이스, 미드레인지, 트레블과 같은 단순한 주파수 목록으로 변환하는 데 사용되는 것과 동일한 수학입니다. 문장을 음악처럼 다룸으로써, 저자들은 컴퓨터가 "큰 그림"의 의미와 "작은 세부 사항"을 구분하여, 혼란에 빠져 헛소리를 하는 것을 방지하고자 합니다.

문제점: 수학이 너무 매끄러워질 때

저자인 카스부치 키요타카(Kiyotaka Kasubuchi)와 후키야 카즈오(Kazuo Fukiya)는 현재 AI 모델이 작동하는 방식의 근본적인 결함을 지적하며 시작합니다. 그들은 이러한 모델들이 언어를 모든 것이 서로 섞여 버리는 매끄럽고 연속적인 곡선처럼 취급한다고 주장합니다. 그러나 현실 세계에서 진실은 종종 들쭉날쭉하고 구체적입니다. 모델이 가장 "가능성 높은" 다음 단어를 찾기 위해 모든 가능성을 평균화하려고 할 때, 때때로 문법적으로는 완벽하게 들리지만 내용은 완전히 거짓인 문장을 만들어내곤 합니다. 이것은 단순한 오류가 아니라, 저자들의 말에 따르면 수학 자체의 특징입니다. 모델이 평균에 기반하여 구축되었기 때문에, 현실의 날카롭고 평균화되지 않은 진실을 완벽하게 표현할 수 없는 것입니다.

해결책: 문장을 음악으로 바꾸기

이를 해결하기 위해, 이 논문은 WavePhaseNet이라는 새로운 방법을 소개합니다. 종이에 적힌 문장이 있다고 상상해 보십시오. 기존 방식에서 컴퓨터는 왼쪽에서 오른쪽으로 단어를 하나씩 읽습니다. 하지만 WavePhaseNet에서 컴퓨터는 먼저 그 문장을 하나의 음악적 화음으로 바꿉니다.

**이산 푸리에 변환(DFT)**이라는 수학적 과정을 통해, 모델은 음향 엔지니어가 노래를 베이스, 드럼, 보컬로 분리하는 것처럼 문장을 다양한 "주파수"로 분해합니다.

• 저주파(Low Frequencies): 문장의 "베이스" 역할을 하며, 큰 그림, 주요 주제, 그리고 전반적인 의도를 나타냅니다. (예: "이 이야기는 고양이에 관한 것이다.")
• 고주파(High Frequencies): 문장의 "트레블" 역할을 하며, 빠른 변화, 구체적인 문법, 그리고 표현의 작은 디테일을 나타냅니다. (예: "고양이가 매트 위에 앉아 있다.")

저자들은 이러한 주파수를 분리함으로써 컴퓨터가 "큰 아이디어"와 "작 세부 사항"을 다르게 처리할 수 있다고 제안합니다. 즉, 의미가 표류하지 않도록 주요 의미(저주파)를 고정하면서도, 세부 사항(고주파)은 변화할 수 있도록 허용하는 것입니다. 이는 **의미론적 개념 계층 구조(Semantic Conceptual Hierarchy Structure, SCHS)**를 만들어내는데, 이는 컴퓨터가 단순히 흐릿한 추측의 구름을 만드는 것이 아니라, 사물의 의미에 대한 명확하고 조직된 지도를 구축한다는 것을 의미하는 멋진 표현입니다.

마법의 숫자: 뇌를 줄이기

이 논문의 가장 놀라운 주장 중 하나는 이 새로운 방법이 얼마나 많은 공간을 필요로 하는지에 관한 것입니다. GPT-4의 기반이 되는 것과 같은 현재의 강력한 모델들은 정보를 저장하기 위해 엄청난 양의 공간, 구체적으로는 24,576차원(단어의 의미를 조절하는 24,576개의 서로 다른 슬라이더나 노브라고 생각하십시오)을 사용합니다.

저자들은 언어가 지프의 법칙(Zipf's Law)(몇몇 단어는 매우 자주 사용되고 많은 단어는 드물게 사용된다는 법칙)이라는 자연스러운 패턴을 따르기 때문에, 문장의 에너지는 낮은 주파수에 집중되어 있다고 제안합니다. 그들은 수학적 분석을 수행하여 핵심적인 의미를 유지하면서도 24,576차원을 모두 사용할 필요가 없다는 것을 발견했습니다.

그들은 핵심적인 의미나 의도를 잃지 않으면서 모델을 단 3,000차원으로 줄일 수 있다고 계산했습니다. 이는 마치 영화를 즐기기 위해 4K TV가 필요하지 않은 것과 같습니다. 1080p 화면만으로도 이야기를 명확하게 볼 수 있는 것과 마찬가지입니다. 모델의 크기를 24,576에서 3,000으로 줄임으로써, 모델은 더 효율적이 되며, 결정적으로 고주파의 소음 속에서 길을 잃는 대신 필수적인 "저주파"의 진실에 집중하도록 강제되어 환각 현상이 발생할 가능성이 낮아집니다.

조각들을 하나로 붙이기: "코호몰로지(Cohomology)" 기법

음악 비유를 사용하더라도, 컴퓨터가 문장의 서로 다른 부분들을 볼 때 혼란을 겪을 위험은 여전히 존재합니다. 이를 해결하기 위해 저자들은 **코호몰로지(cohomology)**라고 불리는 수학의 한 분야에서 온 개념을 사용합니다.

당신이 거대한 퍼즐을 맞추려고 하는데, 각자 다른 구역을 보고 있는 작은 친구 그룹들만 있다고 상상해 보십시오. 때때로 친구 A는 조각이 이 방향으로 가야 한다고 생각하고, 친구 B는 저 방향으로 가야 한다고 생각할 수 있습니다. 기존 모델에서는 이러한 의견 불일치가 단순히 평균화되어 버려, 결국 깨진 그림을 만들 수 있습니다.

WavePhaseNet은 이러한 지역적 그룹들을 하나의 네트워크로 취급합니다. 이 시스템은 문장의 서로 다른 부분에서 오는 "지역적 아이디어"들이 서로 일치하는지 확인합니다. 만약 일치하지 않는다면, "불일치 점수"(코바운더리/coboundary라고 불림)를 계산합니다. 그런 다음 시스템은 **호지 분해(Hodge decomposition)**라는 수학적 기법을 사용하여 "조화로운(harmonic)" 해답, 즉 모든 지역적 조각들 사이에서 최대한 일관성을 갖는 버전의 이야기를 찾아냅니다. 이는 마치 모든 부분이 전체와 최대한 일치하도록 보장하는 심판과 같아서, AI가 한 문장에서는 "고양이가 매트 위에 있다"라고 했다가 다음 문장에서는 "고양이가 하늘을 날고 있다"라고 말하는 것을 방지하는 역할을 합니다. 다만, 논문은 일부 "진정한 장애물(true obstructions)"이나 피할 수 없는 의미론적 모순은 여전히 남아 있을 수 있으며, 시스템은 이를 완전히 제거하기보다는 줄이는 것을 목표로 한다고 명시하고 있습니다.

이것이 미래에 의미하는 바

이 논문은 AI 문제를 영원히 해결했다고 주장하는 것이 아니라, 문제를 바라보는 새로운 방식을 제시합니다. 단순히 모델에 더 많은 데이터를 쏟아붓는 대신, 그 밑바탕이 되는 수학을 바꾸어야 한다고 제안합니다. 언어를 주파수 기반의 계층 구조로 취급하고, 이러한 "조화로운" 체크를 통해 일관성을 확보함으로써, 저자들은 우리가 더 논리적으로 추론하고 환각을 억제하는 AI를 구축할 수 있다고 믿습니다.

그들은 DFT를 사용하여 "의도"와 "표현"을 분리하고, 모델을 필수적인 3,000차원으로 축소함으로써, 더 빠를 뿐만 아니라 더 엄격한 시스템을 만들 수 있음을 보여줍니다. 이는 AI에게 단순히 "다음 단어를 맞혀보라"고 요구하는 것에서, 음표를 연주하기 전에 "노래를 이해하라"고 요구하는 것으로의 전환입니다. 이 논문은 이론적이며 수학적 증명과 시뮬레이션에 의존하고 있지만, AI의 환각을 크게 줄이고 이를 더욱 엄격하고 수학적으로 견고한 의미 이해로 대체할 수 있는 매력적인 청사진을 제공합니다.