기술 요약: GLeMM – 형태론 연구를 위한 대규모 다국어 데이터셋

1. 문제 제기

파생 형태론(derivational morphology)에서 단어의 형태-의미 관계를 규정하는 메커니즘을 이해하는 작업은 전통적으로 직관과 제한된 데이터로부터 얻은 관찰에 의존해 왔다. 많은 연구가 광범어적인 언어들을 고려하지만, 이러한 연구들은 대규모 코퍼스(corpus)를 통해 재현하거나 일반화하거나 검증하기 어려운 경우가 많다. 기존의 범용 형태론 자원(예: CELEX)은 다음과 같은 이유로 복잡한 파생 현상을 연구하기에 불충분한 경우가 많다:

1. 불충분한 범위: 형태론적으로 복잡한 어휘, 특히 일반적인 것보다 드물게 나타나는 비전형적 현상을 충분히 반영할 만큼 규모가 크지 않다.
2. 다층적 기술의 부재: 형태, 범주, 의미라는 형태론의 세 가지 전통적 층위에 걸친 파생 관계에 대한 설명을 제공하지 못한다.
3. 데이터 품질과 양의 상충 관계: 수동으로 주석을 달아 만든 "골드 스탠다드(gold standard)" 자원(예: Démonette, Derivatario)은 정확하지만 통계적/신경망 모델 학습을 위한 데이터 기반 분석을 수행하기에는 너무 작다. 반대로, 자동 생성된 자원은 의미론적 주석이 부족하고 상당한 오류를 포함하는 경우가 많다.

따라서 파생 형태론과 굴절 형태론 사이의 간극을 메우고, 실험 및 데이터 기반 연구를 지원할 수 있도록 넓은 범위의 커버리지와 상세한 의미론적 설명을 모두 갖춘, 대규모의 다국어 자동 구축 자원이 필요하다.

2. 방법론

저자들은 독일어, 영어, 스페인어, 프랑스어, 이탈리아어, 폴란드어, 러시아어 등 7개 유럽 언어를 다루는 자원인 GLeMM(Gros Lexique Morphologique Multilingue)을 제시한다. GLeMM의 구축은 Wiktionary(위키낱말사전) 항목을 주요 데이터 소스로 사용하는 완전 자동화된 파이프라인에 기반한다.

2.1 데이터 소스

파이프라인은 다음으로부터 후보 어휘 쌍(lexeme pairs)을 수집한다:

• Wiktionary 정의: 특히 "파생적 정의(derivational definitions)"를 타겟팅한다. 이는 정의된 용어의 의미가 형태론적으로 연관된 다른 어휘와 관련하여 설명되는 경우를 말한다 (예: spryness = "being spry의 속성").
• Wiktionary 형태론 섹션: "파생어(Derived terms)", "합성어(Compounds)", "관련 어휘(Related terms)" 등을 포함한다.
• MorphyNet: Wiktionary의 어원 섹션을 파싱하여 도출된 자원으로, 후보 쌍을 보충하는 데 사용된다.
• 사전 파싱 데이터: 저자들은 정의와 형태론적 데이터를 정확하게 추출하기 위해 기존의 파싱된 Wiktionary 버전들(GLAWI, GLAW-IT, ENGLAWI)과 Kaikki 프로젝트를 활용한다.

2.2 FAPinette 알고리즘

본 방법론의 핵심은 형식적 유추(formal analogy) 접근법(Lepage 1998, 2003; Stroppa and Yvon 2005)을 변용한 FAPinette 방식이다. 과정은 세 가지 주요 단계로 구성된다:

1. 후보 쌍 형성: 표제어(headword)와 그 정의 또는 형태론적 섹션에 등장하는 단어들 사이에 쌍을 형성한다. MorphyNet 항목도 포함된다.
2. 형식적 유추 및 시그니처 매칭:
   • 시스템은 레벤슈타인 편집 거리(Levenshtein edit distance)와 문자 빈도 차이를 기반으로 각 쌍에 대한 "유추 시그니처(analogy signature)"를 계산한다.
   • 동일한 시그니처를 공유하는 쌍들을 그룹화한다. 관찰된 차이가 노이즈가 아닌 체계적인 규칙성을 나타내도록 하기 위해, 시그니처를 공유하는 쌍의 개수가 최소 5개 이상(빈도 $\ge$ 5)인 경우에만 해당 쌍을 유지한다.
3. 교체 패턴 추출 (FAP 선택):
   • 유지된 각 쌍에 대해, 정규 표현식을 사용하여 "세밀한 교체 패턴(Fine-grained Alternation Patterns, FAPs)"을 식별한다 (예: ^(.+)$` 대 `^(.+)ness$).
   • 알고리즘은 "가장 연결성이 높은(most connecting)" 패턴, 즉 유추 체계 내에서 가장 많은 단어 쌍을 설명하는 패턴을 선택한다. 이는 특이하고 개별적인 패턴보다는 일반적이고 언어학적으로 타당한 파생 스키마를 선호하도록 한다.
   • 이 방법은 유추의 "수단 교환(exchange of the means)" 성질(만약 $A:B::C:D$ 이면, $A:C::B:D$ 이다)을 활용하여, 직접 접사 결합(direct suffixation)과 교차 형성(cross-formation, 예: -ist와 -ism)을 구분하는 것과 같은 더 깊은 구조적 규칙성을 식별한다.

2.3 의미론적 인코딩

어휘집의 상당 부분은 의미론적 기술을 포함한다. 정의 내의 두 번째 어휘가 첫 번째 어휘를 사용하여 정의되는 Wiktionary의 정의들을 추출함으로써, 시스템은 defs.ts v 테이블을 생성한다. 이 테이블은 형태론적 패턴을 의미론적 템플릿(예: "의 행위")에 연결하여, 연구자들이 형태-의미 관계에 따라 쌍들을 그룹화할 수 있게 한다.

3. 주요 기여

• 규모와 범위: GLeMM은 7개 대상 언어에 대해 알려진 가장 큰 규모의 파생 어휘 쌍 컬렉션을 제공하며, 230만 개 이상의 순서가 있는 쌍(ordered pairs, 약 116만 개의 무순서 쌍 세트)을 포함한다.
• 다국어 균일성: 이 자원은 7개 언어 모두에 대해 동일한 완전 자동화 설계를 사용하여 구축되었으므로 직접적인 교차 언어 비교가 가능하다.
• 의의론적 주석: 대부분의 대규모 자원과 달리, GLeMM은 전체 항목의 약 절반(약 726,000개 쌍)에 대해 의미론적 기술(정의)을 포함하고 있어 형태-의미 불일치 연구를 가능하게 한다.
• 현상의 다양성: GLeMM은 직접 파생, 간접 파생, 전환(conversion), 역형성(back-formation), 부가적 합성(parasynthetic constructions), 접사 경쟁(affix rivalry)을 포함한 광범위한 파생 현상을 포착한다.
• 오픈 액세스: 이 자원은 CC-BY-4.0 라이선스 하에 공개된다.

4. 결과 및 검증

• 정확도: 영어, 프랑스어, 이탈리아어에 대해 100개의 무작위 쌍을 수동 검토한 결과, 쌍의 유효성(pair validity)에 대해서는 94%100%, 교체 패턴의 최적성(optimality)에 대해서는 84%93%의 높은 정확도를 보였다. 저자들은 일부 패턴이 최적이 아닐 수 있지만(예: 어간의 첫 글자를 포함하는 경우), 이러한 오류는 드물며 구조적 경향을 파악하는 데 지장을 주지 않는다고 언급했다.
• 비교 규모: GLeMM은 대부분의 대상 언어에서 MorphyNet, UniMorph, UDer와 같은 유사 자원의 규모를 상회한다. 예를 들어, 영어 어휘집은 약 395,886개의 쌍 세트를 포함하고 있는데, 이는 UDer의 약 32,483개보다 현저히 많다.
• 구조적 통찰:
  • 대칭성: 분석 결과, 파생 관계는 주로 방향성을 띠고 있다(oriented). 상호 동기화된(대칭적인) 쌍은 1%~4%에 불과하며, 이는 파생 그래프가 완전 그래프(complete graph)라는 가설을 반박한다.
  • 삼각형과 순환: 이행적 관계(transitive relations, 삼각형)는 드물며(두 개의 에지 경로 중 2%13%), 순환 관계(cyclic relations)는 매우 예외적이다(0.1%1.5%). 이는 형태론적 가족(morphological families)이 완전 그래프보다는 스타형(star-shaped) 또는 루트가 있는 트리(rooted tree) 구조라는 가설을 뒷받침한다.
  • 역형성(Back-formation): GLeMM은 해당 언어의 지배적인 방향과 반대로 교체 패턴의 방향이 역전된 쌍(예: helicopter $\to$ helicopt)을 탐지함으로써 역형성을 성공적으로 식별한다.
  • 접사 경쟁: 의미론적 템플릿을 통해 동일한 형태-의미 관계를 실현하는 경쟁 접사(예: 영어의 -ness 대 -ity)를 체계적으로 식별할 수 있다.

5. 의의 및 주장

본 논문은 GLeMM이 파생 체계의 패러다임적 조직에 대한 "창(window)"을 제공함으로써 형태론의 경험적 접근 방식을 근본적으로 변화시킨다고 주장한다. 이 연구의 의의는 다음과 같다:

• 이론과 데이터의 가교: 연구자들이 직관이 아닌 대규모 데이터 기반 방법을 사용하여 단어 형성에서의 형태와 의미의 역할에 관한 어려운 질문들을 다룰 수 있게 한다.
• 가설 검증: 이 자원은 이전에는 불가능했던 규모로 계산적 방법론이나 이론적 가설(예: 형태론적 가족의 구조에 관한 가설)을 실험적으로 테스트할 수 있게 해준다.
• 비전형적 현상 처리: 체계적인 추출을 우선시함으로써, 소규모의 수동 큐레이션 자원에서 놓치기 쉬운 비전형적 현상(부가적 합성, 역형성, 과잉 존재 등)을 포착한다.
• 미래 활용성: 저자들은 GLeMM을 미래 연구, 즉 음운론적 전사(phonemic transcription)의 통합을 통한 형태음운론 연구 및 패러다임 기술의 정교화를 위한 토대로 설정한다.

저자들은 수동 검증의 부재로 인해 이것이 "골드 스탠다드"는 아니며 일부 항목에 오류나 최적이지 않은 패턴이 포함될 수 있음을 인정하며, 자원의 한계에 대해 겸허한 태도를 유지한다. 그러나 광범위한 실험적 연구를 위해서는 이 자원의 규모와 체계적인 성격이 이러한 결함보다 더 중요하며, 파생 형태론의 경향을 파악하고 가설을 수립하는 데 있어 강력한 기초를 제공한다고 주장한다.