Semantic Space of Parts of Speech

언어는 종종 깔끔한 상자들의 체계로 가르쳐집니다. 우리는 단어가 명사, 동사, 또는 형용사 중 하나이며, 한 번에 오직 하나의 범주에만 속한다고 배웁니다. 이러한 명확한 분류는 우리가 사전을 만들고 문법을 가르치는 데 도움을 주지만, 단어가 실제로 작동하는 복잡한 현실과는 항상 일치하지는 않습니다. 어떤 단어들은 두 곳에 동시에 속해 있는 것처럼 느껴지기도 하고, 어떤 단어들은 범주 사이의 경계에 딱 걸터앉아 규정되기를 거부하기도 합니다. 언어학자들은 오래전부터 이러한 경계가 모호하다는 것을 의심해 왔지만, 전통적인 방식은 인간의 판단과 엄격한 규칙에 의존하기 때문에 이를 증명하는 것은 어려웠습니다. 이제 프라하 카를 대학교와 독일 포츠담 대학교의 연구진은 이 불확실성을 지도화하기 위해 다른 접근 방식을 사용했습니다. 그들은 사람들에게 단어가 어디에 속하는지 결정하라고 묻는 대신, 수백만 개의 문장에서 단어들이 어떻게 행동하는지를 분석함으로써 단어들이 스스로 말하게 했습니다.

연구진은 간단한 아이디어에서 시작했습니다: 유사한 상황에서 나타나는 단어들은 유사한 의미를 가진다는 것입니다. 분포 의미론(distributional semantics)으로 알려진 이 개념은, 만약 당신이 단어가 유지하는 동료들을 살펴본다면 그 단어가 무엇인지 이해할 수 있다는 것을 시사합니다. 예를 들어, "the"나 "big" 옆에 자주 등장하는 단어는 명사일 가능성이 높고, "will"이나 "can" 뒤에 오는 단어는 동사일 가능성이 높습니다. 컴퓨터는 이러한 패턴을 거대한 공간 속의 한 점인 수학적 지도로 바꿀 수 있습니다. 두 점이 가까울수록, 그 단어들은 사용 방식에서 더 유사합니다. 연구팀은 여기서 한 걸음 더 나아가, 컴퓨터가 스스로 품사의 규칙을 학습하도록 했습니다. 그들은 프랑스어, 체코어, 핀란드어, 러시아어, 영어 등 다섯 가지 다른 언어의 방대한 텍스트 모음을 컴퓨터에 입력했습니다. 컴퓨터에는 단어와 그 표준 레이블이 주어졌고, 컴퓨터는 이들을 연결하는 숨겨진 패턴을 찾아내라는 과제를 받았습니다.

복잡한 데이터를 이해하기 위해, 연구진은 모든 정보를 단 세 개의 차원으로 압축하도록 설계된 특수한 종류의 컴퓨터 프로그램인 신경망을 구축했습니다. 수천 개의 떠다니는 점들로 가득 찬 방을 상상해 보십시오. 각 점은 하나의 단어를 나타냅니다. 컴퓨터의 마음속에서 이 점들은 수백 개의 방향을 가진 공간에 존재하며, 이는 인간이 보는 것이 불가능합니다. 연구진은 컴퓨터가 이 공간을 우리가 실제로 시각화할 수 있는 형태인 3차원 지도로 평면화하도록 강제했습니다. 이 지도 위에서 컴퓨터는 의미와 사용법이 얼마나 유사한지에 따라 단어들을 배치했습니다. 그 결과는 규칙의 목록이 아니라 하나의 풍경이었습니다. 이 풍경 속에서 가장 흔한 유형의 단어들은 중심점에서 뻗어 나오는 뚜렷한 군집, 즉 "촉수(tentacles)"를 형성했습니다.

연구진이 이 지도들을 살펴보았을 때, 명사, 동사, 형용사라는 전통적인 범주가 실제로 가장 강력한 집단임을 확인했습니다. 그들이 연구한 모든 언어에서 이 세 그룹은 명확하고 분리된 형태를 만들었습니다. 그러나 그 사이의 공간은 비어 있지 않았습니다. 연구진은 많은 단어가 엄격하게 하나의 촉수 안에 머물지 않고, 오히려 형태들이 서로 맞닿거나 겹치는 공간에 위치한다는 것을 발견했습니다. 예를 들어, 프랑스어에서 "forgotten"처럼 동사와 형용사 둘 다 될 수 있는 단어들은 동사와 형용사 그룹 사이의 경계 바로 위에 있는 것으로 나타났습니다. 영어에서는 "laugh"나 "care"와 같이 명사와 동사가 모두 될 수 있는 단어들이 명사와 동사 촉수가 서로 섞이는 지점에 위치했습니다. 이는 언어학자들이 의심해 온 모호함이 실제적이며 측정 가능하다는 것을 확인시켜 주었습니다. 전통적인 문법에 혼란을 주는 단어들은 자연스럽게 이러한 전이 지대에 거주하는 단어들입니다.

이 연구는 특정 언어에 대한 놀라운 세부 사항들도 밝혀냈습니다. 러시아어의 경우, 연구진은 "그 남자는 젊다"와 같이 상태를 묘사하는 데 사용되는 형용사의 단축형들이 다른 형용사보다 동사에 더 가깝게 군집을 이룬다는 점을 주목했습니다. 이는 러시아어 문법에서 이러한 단축형들이 종종 문장의 주요 동작 역할을 하기 때문에 타당합니다. 다른 구조를 가진 언어인 핀란드어의 경우, 지도는 부사가 자신만의 독특한 그룹을 형성하지 않고 다른 범주들 사이에 흩어져 있음을 보여주었습니다. 이는 핀란드어에서 부사와 다른 품사 사이의 경계가 영어 나 프랑스어보다 훨씬 덜 명확하다는 것을 시사합니다. 규칙이 엄격해 보이는 언어에서조차, 데이터는 단어들이 사용 방식에 따라 자주 표류한다는 것을 보여주었습니다.

가장 인상적인 발견 중 중 하나는 수사, 즉 숫자들이 전통적인 문법에서 때때로 명사나 형용사의 한 유형으로 취급됨에도 불구하고 종종 자신만의 별도 그룹을 형성한다는 것이었습니다. 프랑스어, 체코어, 러시아어의 지도에서 숫자들은 주요 군집으로부터 떨어져 있었으며, 이는 숫자들이 다른 단어들과 구별되는 독특한 의미론적 정체성을 가지고 있음을 시사합니다. 이는 컴퓨터가 숫자를 찾으라고 지시받지 않았음에도 불구하고, 순수하게 실제 텍스트에서 단어들이 어떻게 사용되는지를 분석함으로써 발견한 패턴이었습니다. 연구진은 또한 단어들이 어떻게 그룹화되는지는 특정 데이터 세트에 따라 달라질 수 있으며, 이는 경계가 고정된 것이 아니라 유동적임을 보여준다는 점을 발견했습니다.

연구진은 새로운 문법책을 만들거나 어떤 언어가 다른 언어보다 더 낫다는 것을 증명하려고 하지 않았습니다. 그들의 목표는 데이터가 범주를 결정하게 내버려 두었을 때 어떤 일이 일어나는지 보는 것이었습니다. 그들은 명사, 동사, 형용사라는 주요 범주가 강력하고 안정적이지만, 그 가장자리는 부드럽다는 것을 발견했습니다. 단어들은 종종 동시에 여러 범주에 속하거나, 맥락에 따라 변화합니다. 이 연구는 우리가 문법을 가르칠 때 사용하는 엄격한 상자들이 유용한 도구이긴 하지만, 언어가 작동하는 전체 모습을 포착하지는 못한다는 것을 시사합니다. 단어의 진정한 본질은 단일한 레이블이 아니라, 다양한 아이디어들과 가까워질 수 있는 광대하고 변화하는 공간 속의 한 위치입니다.

이러한 관계를 시각화함으로써, 연구진은 언어의 구조를 볼 수 있는 새로운 방법을 제공했습니다. 어떤 단어가 명사인지 동사인지 논쟁하는 대신, 이제 우리는 그것이 양쪽 모두와 관련하여 정확히 어디에 위치하는지 볼 수 있습니다. 이 접근 방식은 오래된 규칙을 대체하는 것이 아니라, 인간 의사소통의 복잡성을 보여주는 깊이의 층을 더해줍니다. 지도는 언어가 고립된 섬들의 집합이 아니라, 단어들이 서로에게 흘러 들어가는 연속적인 풍경임을 보여줍니다. 이 연구는 언어의 모호함이 실수가 아니라, 우리가 세상을 설명하기 위해 단어를 사용하는 방식의 근본적인 특징임을 확인시켜 줍니다.