Training Models on Dialects of Translationese Shows How Lexical Diversity and Source-Target Syntactic Similarity Shape Learning

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 다국어 NLP, 특히 저자원 언어 (low-resource languages) 영역에서는 원천 텍스트가 부족하여 기계 번역 (MT) 된 데이터를 학습에 광범위하게 사용합니다.
• 문제: 번역된 텍스트 (Translationese) 는 원어 텍스트와 체계적으로 다릅니다. 이는 원천 언어의 흔적과 번역 과정 자체의 특성 (구조적, 스타일적 패턴) 을 반영합니다.
• 연구 질문: 기계 번역된 데이터로 학습된 언어 모델은 어떻게 행동하며, 서로 다른 24 개 원천 언어에서 유래한 번역 데이터가 모델의 언어 수용성 (Linguistic Acceptability) 판단과 언어 모델링 성능에 어떤 영향을 미치는지 규명하는 것이 본 연구의 목적입니다.

2. 연구 방법론 (Methodology)

• 모델 아키텍처: Goldfish 설정을 따르는 125M 파라미터의 단일 언어 GPT 스타일 트랜스포머 모델을 사용했습니다.
• 데이터셋:
  • FineTranslations: FineWeb-2 코퍼스를 24 개 언어에서 영어로 기계 번역한 데이터셋을 사용했습니다.
  • 원천 언어: 게르만어, 슬라브어, 인도이란어, 우랄어, 셈어, 드라비다어, 오스트로네시아어, 니제르 - 콩고/반투어 등 24 개 언어를 포함하여 유형론적 (typological) 다양성을 확보했습니다.
  • 학습 규모: 100MB 와 1000MB 두 가지 데이터 규모로 모델을 학습시켰습니다.
  • 비교 기준: 동일한 크기의 원본 영어 (FineWeb) 데이터로 학습된 모델을 베이스라인으로 설정했습니다.
• 평가 지표:
  1. Perplexity (Perplexity): FLORES+ (Wikibooks, Wikivoyage, Wikinews) 와 FineWeb 데이터에 대한 일반 언어 모델링 성능 평가.
  2. Linguistic Acceptability (BLiMP): 문법적 오류가 있는 문장과 올바른 문장의 쌍을 통해 모델이 문법적 규칙을 얼마나 잘 학습했는지 평가 (Syntactic/Morphological phenomena).
  3. Cross-translation Perplexity: 한 원천 언어로 학습된 모델을 다른 원천 언어의 번역 데이터로 평가하여 모델 간 유사성 분석.
• 분석 변수:
  • 원본 코퍼스 크기 (Base Corpus Size)
  • 번역 코퍼스의 어휘 다양성 (Lexical Diversity, TTR)
  • 원천 언어와 영어 간의 유형론적/구문론적 유사성 (lang2vec 를 통한 WALS 기능 기반 코사인 유사도)

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 일반 언어 모델링 성능 (Perplexity)

• 번역 데이터의 한계: 번역 데이터로 학습된 모델은 원본 영어 베이스라인의 성능을 어떤 영역에서도 능가하지 못했습니다. 특히 이질적인 웹 텍스트 (FineWeb) 에서 성능 격차가 컸습니다.
• 데이터 규모에 따른 영향:
  • 소규모 데이터 (100MB): **어휘 다양성 (Lexical Diversity, TTR)**이 Perplexity 와 가장 강한 음의 상관관계를 보였습니다. 즉, 번역된 코퍼스의 어휘가 다양할수록 성능이 좋았습니다. 원천 언어의 유형론적 유사성은 유의미한 영향을 미치지 않았습니다.
  • 대규모 데이터 (1000MB): 어휘 다양성의 영향은 사라졌고, **원천 언어와 영어 간의 구문론적 유사성 (Syntactic Similarity)**이 Perplexity 와 강한 음의 상관관계를 보였습니다. 영어와 문법 구조가 유사한 언어 (예: 스웨덴어) 로 학습한 모델이 더 낮은 Perplexity 를 기록했습니다.

B. 문법적 능력 (Linguistic Acceptability - BLiMP)

• 소규모 데이터: 데이터가 부족할 때는 원천 언어의 유형론적 거리, 코퍼스 크기, 어휘 다양성 모두 문법적 정확도와 유의미한 상관관계를 보이지 않았습니다. 모든 번역 모델이 비슷한 수준의 낮은 성능을 보였습니다.
• 대규모 데이터: 데이터가 충분해지면 유형론적 유사성이 문법적 정확도 (특히 동의어 일치, 장거리 의존성 등) 와 강한 양의 상관관계를 보였습니다.
  • 영어와 구조적으로 유사한 언어 (스웨덴어 등) 로 학습한 모델이 가장 높은 문법적 점수를 기록했습니다.
  • 이는 충분한 데이터가 주어졌을 때, 구조적 유사성이 문법 규칙 학습에 결정적인 역할을 함을 시사합니다.

C. 교차 평가 (Cross-Evaluation)

• 번역 방언 (Dialects of Translationese) 의 유사성: 원천 언어 A 로 학습된 모델이 원천 언어 B 의 번역 데이터에 대해 낮은 Perplexity 를 보일 때, 두 원천 언어는 구문론적으로 유사했습니다.
• 이는 서로 다른 언어에서 번역된 영어 텍스트도 원천 언어의 구조적 특성을 공유하여 유사한 "번역 방언"을 형성함을 의미합니다.

4. 결론 및 의의 (Significance)

• 핵심 통찰: 번역된 데이터로 학습할 때, 목표에 따라 원천 언어 선택 전략이 달라져야 합니다.
  • 일반 언어 모델링 (Perplexity): 저자원 환경에서는 번역 코퍼스의 어휘 다양성이 중요하지만, 데이터가 충분해지면 구문론적 유사성이 더 중요한 요소가 됩니다.
  • 문법적 능력 (Grammatical Competence): 데이터 규모가 커질수록 원천 언어와 목표 언어 (영어) 간의 유형론적 유사성이 문법적 학습 성패를 좌우하는 가장 강력한 예측 변수가 됩니다.
• 실무적 함의: 저자원 언어를 위한 모델을 학습시킬 때, 단순히 데이터를 번역하는 것만으로는 부족하며, 구조적으로 유사한 원천 언어를 선택하거나, 최소한 다양한 원천 언어를 혼합하여 학습해야 문법적 능력을 향상시킬 수 있음을 시사합니다.
• 한계점: 본 연구는 영어로 번역하는 방향 (고자원 언어) 을 다루었으므로, 저자원 언어로 번역할 때의 효과는 더 클 수 있습니다. 또한, 번역 데이터는 원본의 문화적 맥락과 세계 지식을 반영하지 못해 모델의 자연스러움과 실용성에 한계가 있을 수 있습니다.

이 연구는 번역 데이터의 품질이 단순히 번역의 정확도뿐만 아니라 원천 언어의 유형론적 특성과 데이터 규모에 의해 어떻게 결정되는지를 체계적으로 규명했다는 점에서 다국어 NLP 및 언어 모델 학습 전략에 중요한 기여를 합니다.