A Computational Approach to Language Contact -- A Case Study of Persian

기술 요약: 언어 접촉에 대한 계산적 접근 – 페르시아어 사례 연구

문제 제기
언어 접촉은 어휘 차용에서부터 심층적인 문법 재구조화에 이르기까지, 구조적 다양화와 변화를 일으키는 주요 동력이다. 전통적인 언어학은 이러한 현상, 특히 투르크어족, 아랍어 및 기타 어족과 수천 년간 접촉해 온 페르시아어(파르시)의 사례를 광범하고 상세하게 기록해 왔다. 그러나 이러한 접촉 유도 변화가 단일 언어 신경 언어 모델의 내부 표현 내에서 탐지, 정량화 및 해석 가능한지는 여전히 불분명하다. 구체적으로, 페르시아어 데이터로만 학습된 모델이 접촉 언어들의 잠재적인 구조적 흔적을 인코딩하는지, 아니면 그 표현이 오직 학습 언어의 고유한 구조와 보편적 통사적 속성에 의해서만 형성되는지는 알려져 있지 않다.

연구 방법론
본 연구는 약 39억 개의 페르시아어 토큰으로 학습된 단일 언어 인코더 전용 트랜스포머 모델인 ParsBERT의 중간 표현을 조사하기 위한 계산적 프레임워크를 채택한다. 방법론은 8개 접촉 언어(아랍어, 영어, 프랑스어, 독일어, 힌디어, 일본어, 러시아어, 터키어)의 문장을 페르시아어 모델에 통과시키고 그 결과로 나타나는 임베딩을 분석하는 과정을 포함한다.

분석에는 두 가지 주요 기법이 사용된다:

1. 정보 이론적 프로빙(Information-Theoretic Probing): **변분 가용 정보($\hat{IV}$)**를 사용하여, 언어 식별, 보편적 품사(UPOS) 태그, 격(CASE), 성(GENDER)과 같은 특정 대상 변수($Y$)에 대해 모델의 중간 계층에 인코딩된 언어 정보의 양을 정량화한다. 이 지표는 대상 특징의 주변 엔트로피로 정규화되어, 표현으로부터 회복 가능한 불확정성의 비율을 반영한다.
2. 기여도 분석(Attribution Analysis): **언어 활성화 확률 엔트로피(LAPE)**를 사용하여, 표현 내의 어떤 특정 요소(뉴런)가 이러한 특징을 인코딩하는 데 가장 강력하게 기여하는지 식별한다. 낮은 LAPE 점수는 높은 선택성(특정 조건에 우선적으로 반응하는 뉴런)을 나타내며, 높은 점수는 균일하거나 변별력이 없는 활성화를 시사한다.

데이터셋은 병렬 유니버설 의존 구문(Parallel Universal Dependencies, PUD) 트리뱅크로 구성되며, 이는 일관된 주석과 정렬된 문장 구조를 통해 교차 언어적 비교 가능성을 보장한다. 선택된 테스트 언어들은 페르시아어와의 접촉 정도와 유형(역사적, 현대적, 지역적 또는 최소한의 접촉)에 따라 다양하게 구성되었다.

주요 결과
본 연구는 보편적 통사 범주와 형태적 특징이 언어 접촉의 존재 하에서 어떻게 인코딩되는지에 대한 뚜렷한 비대칭성을 밝혀냈다:

• 언어 식별: ParsBERT는 단일 언어 학습에도 불구하고 비페르시아어 언어에 대한 상당한 정보를 인코딩한다. 정보 획득량은 세 번째 계층 이후 정점에 도달한다. 특히 모델은 아랍어, 힌디어, 러시아어에 대해 가장 많은 정보를 보유하고 있는데, 이는 상당한 어휘적 영향이나 계통적 연관성을 반영하는 것으로 보인다. 그러나 LAPE 분석 결과, 언어 특이적 신호는 드물게 압축되고 선택적인 특징으로 국지화되며, 대신 공유된 표현 전반에 걸쳐 분산되어 나타난다. 단, 일본어는 철자 불일치로 인해 높은 선택성을 보였다.
• 보편적 통사론 (UPOS): UPOS 태그를 위해 회복 가능한 정보는 계층 전반에 걸쳐 대체로 안정적이며, 역사적 접촉 정도에 민감하지 않다. 유형론적 유사성이나 접촉 강도가 보편적 통사 범주의 인코딩에 유의미한 영향을 미치지 않는다는 것은, 이러한 표현이 접촉 유도 변이에 대해 견고함을 시사한다.
• 형태적 특징 (격 및 성):
  • 격(CASE): 모델은 격 표지가 최소적이거나 잔존하는 언어(예: 영어, 프랑스어, 일본어)에 대해 강한 편향을 보이며, 여기서 정보 획득량이 높다. 반대로, 페르시아어에 존재하지 않는 풍부한 굴절 격 체계(예: 독일어, 러시아어, 터키어)를 인코딩하는 데는 실패한다. 아랍어는 어휘적 중첩과 현대 서술 아랍어에서의 제한적인 격 실현으로 인해 중간 정도의 성능을 보인다. 힌디어의 후치사 격은 구조적 불일치로 인해 제대로 포착되지 않는다.
  • 성(GENDER): ParsBERT는 문법적 성이 없는 언어(일본어, 터키어)와 대명사에서의 경미한 성 실현(영어)과 관련된 단서를 효과적으로 포착한다. 완전한 문법적 성 체계를 가진 언어의 경우 성능이 낮아진다. 2성 체계(프랑스어, 힌디어, 아랍어)는 중간 정도의 회복력을 보이며, 3성 체계는 거의 나타나지 않는다. 모델의 선택성은 중성 명사와 관련된 특징에 집중되어 있으며, 이는 해당 범주의 의미론적 다양성을 반영한다.

주요 기여

• 페르시아어 접촉에 대한 최초의 계산적 연구: 본 연구는 신경 표현 수준에서 페르시아어 언어 접촉을 조사한 최초의 계산적 조사를 제시한다.
• 접촉의 선택적 인코딩: 본 연구는 단일 언어 모델이 선택적이고 구조적으로 제약된 언어 접촉의 흔적을 인코딩한다는 증거를 제공한다. 접촉 효과는 보편적 통사 범주보다는 학습 언어(분석적/구성적)와 일치하는 형태론적 및 구문적 패턴에서 더 쉽게 반영된다.
• 방법론적 프레임워크: 정보 이론적 프로빙과 기여도 분석을 결합함으로써, 본 논문은 신경 모델을 사용하여 고전적인 접촉 언어학 문제를 조사하기 위한 원칙적인 프레임워크를 제공한다.

의의 및 주장
본 논문은 단일 언어 모델이 단순히 학습 데이터를 반영하는 것이 아니라, 접촉 흔적이 학습 언어의 구조적 속성과 일치할 경우 역사적 언어 접촉의 흔적을 암묵적으로 인코딩한다고 주장한다. 연구 결과는 보편적 통사 표현은 접촉 유도 변이에 대해 견고하게 유지되는 반면, 형태적 특징은 언어 특이적 구조에 매우 민감하다는 것을 보여준다.

저자들은 이러한 모델에서의 접촉 효과가 접촉 언어에 대한 직접적인 노출 때문이 아니라, 다음과 같은 요인에서 기인한다고 결론짓는다:

1. 역사적 접촉을 반영하는 페르시아어 자체의 구조적 특징.
2. 차용, 칼크(calque), 혼성 구조의 통계적 각인.
3. 여러 언어 간에 공유되는 보편적 언어적 속성.

본 연구는 신경 모델이 심층적인 문법 재구조화(예: 굴절 패러다임의 전이)보다는 표층적 또는 의미론적 정렬(예: 어휘 차용, 분석적 전략)을 포착한다는 점을 강조한다. 이는 신경 언어 모델을 언어 변화 연구의 도구로 사용하는 것의 한계와 가능성을 부각하며, 모델이 접촉 현상을 처리할 때 학습 언어의 "구조적 제약"을 반영함을 나타낸다.

한계점
저자들은 PUD 데이터셋이 아제르바이잔어, 투르크어, 우르두어 등 페르시아어 역사에 중요한 몇몇 언어를 제외하고 있음을 인정하며, 이는 지속적인 이중 언어 사용 및 구조적 수렴의 가장 강력한 사례들을 평가하는 데 한계가 있음을 시사한다. 결과적으로, 본 분석은 PUD 프레임워크 내에서 사용 가능한 언어들로 제한된다.