Measuring Grammatical Diversity from Small Corpora: Derivational Entropy Rates, Mean Length of Utterances, and Annotation Invariance

개요: 언어의 "풍미"를 세는 법

당신이 요리사의 요리 다양성을 심사하려는 음식 평론가라고 상 imagination 해보세요. 당신은 그들의 요리 샘플(즉, "코퍼스")을 조금 가지고 있습니다. 당신이 알고 싶은 것은 이것입니다: 이 요리사의 메뉴는 얼마나 다양한가? 그저 평범한 파스타만 만드는 것인가, 아니면 방대한 규모의 복잡한 소스, 향신료, 그리고 기술들을 보유하고 있는 것인가?

언어학 연구자들도 이와 똑같은 문제에 직면합니다. 그들은 개인이나 집단의 문법적 다양성(또는 "통사적 복잡성")을 측정하고자 합니다. 그들이 단순한 문장을 사용하는지, 아니면 복잡하고 중첩된 구조들을 엮어내는지 알고 싶은 것입니다.

문제는 우리가 누군가가 말하는 것의 아주 작은 샘플(예: 일기의 몇 페이지나 짧은 대화)만을 가질 때가 많다는 점입니다. 다양성을 측정하기 위한 전통적인 방법들은 데이터가 제한적일 때 혼란을 겪기 때문에 종종 실패하곤 합니다.

이 논문은 매우 작은 샘플로도 작동하는 새로운 다양성 측정법을 소개하며, 놀라운 비밀 하나를 밝혀냅니다: 문장의 길이는 사실 그 복잡성을 나타내는 직접적인 척도라는 것입니다.

---

과거의 방식 vs. 새로운 방식

"대리 지표(Proxy)"의 문제

오랫동안 연구자들은 **평균 발화 길이(MLU)**라는 간단한 트릭을 사용해 왔습니다. 이는 단순히 문장의 평균 단어 수를 세는 것입니다.

• 비유: 접시의 크기로 요리사의 숙련도를 판단한다고 상상해 보세요. "와, 이 접시는 정말 크네! 분명 복잡한 기술을 쓰고 있을 거야!"
• 결함: 때로는 거대한 접시가 그저 거대한 샐러드(단순함)일 수도 있고, 아주 작은 접시가 섬세하고 다층적인 수플레(복잡함)일 수도 있습니다. 연구자들은 MLU가 단지 "대리 지표"—즉, 대개는 작동하지만 실제 본질은 아닌 추측치—라고 생각했습니다.

"엔트로피(Entropy)"의 문제

진정한 복잡성을 측정하기 위해 언어학자들은 **파생 엔트로피(Derivational Entropy)**라는 개념을 사용합니다.

• 비유: "문법 나무"를 상상해 보세요. 당신이 말을 할 때마다, 당신은 이 나무에 가지를 하나씩 키워 나갑니다. 엔트로피는 이 나무가 얼마나 다양한 방식으로 자랄 수 있는지를 측정합니다. 높은 엔트로피는 나무가 수백만 가지의 다른 방향으로 자랄 수 있음을 의미합니다(높은 다양성). 낮은 엔트로피는 나무가 오직 몇 개의 직선으로만 자랄 수 있음을 의미합니다(낮은 다양성).
• 결함: 이를 계산하려면 방대한 양의 데이터가 필요합니다. 만약 샘플이 몇 문장에 불과하다면, 수학적 계산이 엉키고 편향됩니다. 이는 마치 식당에서 딱 한 가지 요리만 보고 식당 전체의 메뉴를 추측하려는 것과 같습니다. 당신은 나머지 메뉴를 놓치게 될 것입니다.

---

위대한 발견: "엔트로피율(Entropy Rate)"

이 논문의 저자는 위의 두 개념 사이에 근본적인 연결 고리가 있음을 발견했습니다. 그는 문장 길이(MLU)와 문법적 다양성(엔트로피)이 서로 연관되어 있을 뿐만 아니라, 수학적으로 결속되어 있다는 것을 찾아냈습니다.

그는 이 새로운 측정치를 **파생 엔트로피율(Derivational Entropy Rate)**이라고 부릅니다.

• 비유: "복잡성 세금(Complexity Tax)"을 상상해 보세요.
  • 문장에 단어를 하나씩 추가할 때마다, 당신은 세금을 내야 합니다.
  • 파생 엔트로피율은 바로 그 세금의 "가격"입니다.
  • 저자는 특정 유형의 언어(예: 미국 영어)와 특정 분석 방식(예: 특정 문법 규칙서)에 대해 이 "가격"이 일정하다는 것을 발견했습니다.
  • 만약 당신이 평균 문장 길이를 안다면, 정확한 다양성을 계산할 수 있습니다. 만약 다양성을 안다면, 길이를 계산할 수 있습니다. 이 둘은 동전의 양면과 같습니다.

이것이 왜 대단한가요?
이는 "단순한" 측정치(단어 수 세기)가 특정 언어와 분석 스타일을 위한 "세율"(엔트로피율)을 알고 있다면, 복잡성을 측정하는 완벽한 척도가 된다는 것을 의미합니다. 다양성을 추측하기 위해 복잡한 수학을 사용할 필요가 없습니다. 단지 단어 수를 세기만 하면 됩니다.

---

도구: "SITE" (매끄러운 스펀지)

이 논문은 또한 SITE(Smoothed Induced Treebank Entropy)라고 불리는 도구를 소개합니다.

• 문제: 아주 작은 샘플(예: 50개의 문장)을 가지고 있을 때, 표준 수학 도구들은 "편향"됩니다. 아직 모든 가능한 문장 유형을 보지 못했기 때문에 다양성이 실제보다 낮다고 판단합니다.
• 해결책: SITE는 스마트 스펀지와 같습니다. 데이터의 작은, 건조한 샘플을 가져와 통계적 보정을 통해 "적십니다". 이는 실제로 말할 수 있었지만 말하지 않았던 빈틈을 채워줍니다.
• 결과: SITE는 단 100개의 문장(표준 문법의 경우) 또는 1,000개의 문장(의존 구문 문법의 경우)만으로도 언어의 진정한 다양성을 정확하게 추측할 수 있습니다. 기존 방식은 동일한 정확도를 얻기 위해 15,000개 이상의 문장이 필요했습니다.

---

"어노테이션 불변성(Annotation Invariance)"의 놀라움

저자는 두 가지 다른 언어 분석 방식에 대해 이 실험을 진행했습니다:

1. 구조 문법 (Constituent Grammar, CFG): 문장을 중첩된 상자들의 집합(명사구 내부의 동사구 등)으로 보는 방식.
2. 의존 문법 (Dependency Grammar, DG): 문장을 단어 사이의 연결망(단어 A가 단어 B에 연결됨)으로 보는 방식.

발견된 사실:
이 두 방식은 문장을 매우 다르게 바라보지만, 파생 엔트로피율은 각 방식 내에서 일정하게 유지되었습니다.

• 만약 당신이 방식 A를 사용한다면, "세율"은 $X$입니다.
• 만약 당신이 방식 B를 사용한다면, "세율"은 $Y$입니다.
• 하지만 일단 방식을 정하면, 누가 말하든 무엇에 대해 말하든 그 비율은 일정하게 유지됩니다.

이는 두 집단(예: 아이와 성인)을 비교할 때, 두 그룹 모두에 대해 동일한 분석 방식을 사용한다면 그 결과를 신뢰할 수 있다는 것을 의미합니다. 분석 방식 자체가 누가 더 복잡한지에 대한 상대적 순위를 바꾸지는 않습니다.

---

"지저리한(Messy)" 데이터는 어떻게 되나요?

저자는 12세기부터 21세기까지의 텍스트를 포함하는 거대하고 복잡한 역사적 코퍼스(IcePaHC)를 대상으로 테스트했습니다.

• 결과: 이 모든 다른 시대와 저자들을 한데 섞었을 때, 수학적 모델은 무너집니다. "다양성" 수치가 계속 요동치며 결코 안정되지 않습니다.
• 교훈: 이는 언어의 "문법"이 단 하나의 정적인 것이 아님을 알려줍니다. 문법은 시간과 저자에 따라 변합니다. 이 도구(SITE)는 다음과 같이 똑똑하게 알려줍니다: "이 데이터는 너무 뒤섞여 있어서 단일한 수치를 제공할 수 없습니다."
• 하지만 단일 저자의 특정 시기를 살펴본다면, 수학은 완벽하게 작동하며 다양성이 빠르게 수렴합니다.

---

주장 요약

1. 길이 = 다양성: 문장의 평균 길이는 단순한 추측이 아니라, 문법적 다양성을 나타내는 근본적이고 이론적인 척도입니다.
2. 비율은 일정함: 특정 언어와 특정 분석 방식을 사용할 때, "단어당 복잡성"(엔트로피율)은 고정된 상수입니다.
3. 작은 샘플로도 가능: 새로운 SITE 방식을 사용하면, 기존 방식이 방대한 데이터셋을 필요로 했던 것과 달리 아주 작은 샘플(단 100개의 문장)만으로도 정확한 다양성 측정이 가능합니다.
4. 방식이 중요함: 문법을 분석하는 방식(예: 상자 형태에서 웹 형태로)을 바꾸면 수치는 달라지지만, 그 방식 내에서의 길이와 다양성 간의 관계는 일관되게 유지됩니다.
5. 동질성이 핵심: 이러한 측정은 데이터가 일관된 출처(한 명의 화자, 한 시기)에서 왔을 때만 유효합니다. 모든 것을 섞어버리면 측정은 실패하며, 이는 데이터가 단일 그룹으로 취급하기에는 너무 다양하다는 유용한 신호가 됩니다.

요약하자면: 누군가의 언어가 얼마나 복잡한지 측정하기 위해 슈퍼컴퓨터가 필요한 것은 아닙니다. 그들의 단어 수를 세고 "게임의 규칙"(어노테이션 스타일)을 알고 있다면, 당신은 답을 얻을 수 있습니다. 그리고 만약 아주 작은 샘플을 가지고 있다면, 올바른 답을 빠르게 얻기 위해 새로운 "SITE" 스펀지를 사용하십시오.